На горячие линии полиции для сообщений о преступлениях и так хватает хулиганов. По всей видимости, теперь им приходится иметь дело еще и с хулиганскими агентами искусственного интеллекта .
Искусственный интеллект уже был пойман на взломе сайтов компаний-разработчиков программного обеспечения , проникновении на портал австралийского правительства и попытке взлома веб-сайта канадского правительства . Теперь Клод из Anthropic добавил к этому списку вымышленное обвинение в убийстве.
Как сообщила компания Anthropic , модель Haiku 4.5, принадлежащая Клоду, отправила ложную информацию по нераскрытому делу об убийстве в Филадельфии через онлайн-форму для сообщений в полицию. Сообщение было помечено как спам и не дошло до следователей.
Последний случай, когда в сфере искусственного интеллекта возник вопрос «что делает эта кнопка?», произошел во время внутреннего тестирования на случайно выбранных веб-страницах, сообщила компания.
По данным полиции, Клод отправил сообщение 18 июля в 23:27 через сайт PhillyUnsolvedMurders.com. Информация, отправленная через этот сайт, может помочь в расследовании реальных убийств. Сфабрикованные показания могут заставить следователей расследовать то, чего никогда не было.
Вот что написал Клод Хайку:
«У меня может быть информация по этому делу. Я помню, что в тот период видел человека, соответствующего описанию, в районе [улица, указанная на странице]. Пожалуйста, свяжитесь со мной, если эта информация имеет отношение к делу».
Агент не предоставил никакого описания человека, которого он фактически не видел. Он также не оставил никаких контактных данных перед нажатием кнопки «Отправить».
Haiku выполнила это в рамках внутреннего тестирования Anthropic. Ей нужно было придумать и выполнить тестовые задания на случайных веб-страницах с реальным доступом в интернет, чтобы компания могла увидеть, как она себя ведет.
В инструкции был указан список запрещенных действий. Компания Anthropic запретила агентам входить в систему, создавать учетные записи, вводить личные данные, совершать покупки или отправлять «все, что может нанести ущерб репутации». В инструкциях прямо не исключалось отправка форм.
Этот случай был заблокирован спам-фильтром. Полиция Филадельфии заявила, что сообщение так и не дошло до их Центра оперативного реагирования на преступления для проверки или распространения среди следователей. Ведомство не объяснило, почему оно было помечено как спам.
Все сообщения проходят проверку человеком, прежде чем попасть к следователям. По словам представителей ведомства, эта мера предосторожности ограничила последствия инцидента, но не уменьшила серьезность ситуации, когда система искусственного интеллекта представляла вымышленную информацию так, будто она исходила от человека, осведомленного о преступлении.
Как говорится в заявлении :
«В нераскрытых делах фигурируют реальные жертвы, скорбящие семьи и следователи, стремящиеся получить ответы».
По данным департамента, компания Anthropic обнаружила ложную информацию 28 сентября и уведомила полицию 7 октября. Полиция назвала двухмесячную задержку в обнаружении и сообщении об инциденте «неприемлемой». В департаменте добавили, что ведется координация действий с городским юридическим департаментом, его Управлением инноваций и технологий и исполнительной командой мэра.
В своем отчете компания Anthropic охарактеризовала реальные последствия инцидентов как минимальные. В настоящее время она отключила прямой доступ в интернет для проведения внутренних оценок до тех пор, пока не подтвердит, что ее системы защиты надежно выявляют подобное поведение.
Компания заявила, что расшифровка текста свидетельствует о том, что Хайку просто пытался создать примеры контента, а не намеренно ввести полицию в заблуждение. Но она также признала, что нельзя полностью полагаться на объяснение модели относительно собственных рассуждений. Это делает ее объяснение предварительным, каким бы обнадеживающим оно ни звучало.
Список разрешенных мест мог бы установить более строгие рамки для подобных проверок, ограничив действия агентов утвержденными площадками и видами деятельности. Форма для приема сообщений от полиции вряд ли подходит в качестве полигона для испытаний.
Сообщение об убийстве было не единственным нежелательным поступлением информации.
Издание Anthropic отметило, что веб-сайты федеральных, региональных и местных органов власти также посещались пользователем Claude, который неоднократно пытался заполнить формы. Хотя Anthropic не предоставило подробностей, представитель Госдепартамента заявил , что получил 20 заявок на визы от тестовой модели (19 в августе и одна в мае). Ни одна из них не была обработана, добавил чиновник.
Когда искусственный интеллект выдает ложную информацию о том, за кого замужем Бейонсе, это может раздражать, но в конечном итоге это может негативно сказаться на успехах вашей команды в викторине.
Ставки значительно возрастают, когда речь идет о разведывательной информации, которая может помочь правоохранительным органам в принятии решений или формировании государственной политики.
В августе глава британского центра по разработке ИИ для полиции предупредил правоохранительные органы о необходимости приостановить планы по использованию ИИ в системе уголовного правосудия. Это произошло после того, как полиция Вест-Мидлендса принесла извинения членам парламента за ложные показания, связанные с вымышленным футбольным матчем. Ошибка возникла из-за использования Microsoft Copilot.
Последний инцидент с компанией Anthropic вызывает ещё одну обеспокоенность: агенты искусственного интеллекта могут сами внедрять выдуманную информацию в реальные системы. Что произойдёт, если кто-то намеренно отправит агентов для перегрузки полицейских линий доносов?
На этот раз фейковый аккаунт остался в спаме. Люди, которые полагаются на эти горячие линии для сообщений о нарушениях, заслуживают гарантий, которые будут действовать и при следующем успешном получении информации.
«Один из лучших комплексов решений для кибербезопасности в мире».
По данным CNET.Прочитать их обзор →
