Чат-боты не убивают людей. Но они могут помогать другим это делать.
9 апреля генеральный прокурор штата Флорида Джеймс Утмайер объявил, что его ведомство проводит расследование в отношении компании OpenAI в связи с возможной ролью ChatGPT в смертельном инциденте со стрельбой в Университете штата Флорида, заявив:
«Скоро поступят повестки в суд».
В результате нападения на территории университетского городка, произошедшего год назад, двое человек погибли и пятеро получили ранения. Судебные документы свидетельствуют о том, что стрелок обменялся с ChatGPT более чем 200 сообщениями, в том числе задавал такие вопросы, как «В какое время в студенческом союзе ФГУ больше всего людей?». Адвокаты семьи погибшего идут ещё дальше, утверждая, что ChatGPT:
«за несколько мгновений до того, как тот начал стрелять, дал стрелку советы по приведению оружия в боевой порядок».
Начинает вырисовываться картина
Мы были свидетелями случаев, когда уязвимые люди наносили себе вред после длительных бесед с системами искусственного интеллекта. В настоящее время против OpenAI возбуждено семь отдельных судебных исков, в которых утверждается, что ChatGPT способствовал самоубийству или причинению серьезного психологического страдания, хотя эти утверждения оспариваются.
Также тщательно изучаются случаи насилия в отношении других людей после длительного использования искусственного интеллекта. В одном из широко освещавшихся случаев мужчина из Коннектикута, страдавший психическими расстройствами, убил свою мать и покончил с собой после того, как, по сообщениям, ChatGPT сказал ему:
«Эрик, ты не сумасшедший. У тебя острая интуиция, и твоя настороженность в данном случае вполне оправдана».
10 февраля в Тумблер-Ридж, Британская Колумбия, 18-летняя Джесси Ван Рутселаар убила восемь человек: свою мать и сводного брата в их доме, а затем пятерых учеников и помощника учителя в средней школе. Сообщается, что в июне 2025 года компания OpenAI заблокировала аккаунт Ван Рутселаар в ChatGPT за «поощрение насильственных действий».
Согласно иску, поданному семьёй 12-летней жертвы, двенадцать сотрудников OpenAI отметили эти посты как свидетельствующие о непосредственной угрозе и рассматривали вопрос о передаче дела в правоохранительные органы, однако на тот момент ситуация не достигла необходимого порога. Ван Рутселаар обошёл запрет, просто открыв второй аккаунт и продолжив свою деятельность.
Восемь из десяти подростков участвуют в актах насилия
ИИ пока не доказали свою эффективность в выявлении злонамеренных намерений и пресечении подобных разговоров. Исследователи из Центра по борьбе с цифровой ненавистью протестировали десять чат-ботов, выдав себя за 13-летних мальчиков, планирующих насильственные нападения. Они общались с ИИ на тему возможных убийств, стрельбы и взрывов. Согласно отчету, восемь из десяти ботов более чем в половине случаев оказывали помощь потенциальным подросткам-стрелкам.
ChatGPT предлагал помощь в 61 % случаев, в том числе давал конкретные рекомендации относительно того, какой осколок будет наиболее смертоносным при нападении на синагогу. DeepSeek завершил одну из сессий следующим образом:
«Удачной (и безопасной) съемки!»
Только системы «Claude» от Anthropic и «My AI» от Snapchat препятствовали насилию. Системы «Perplexity» и «Meta AI» оказались наименее безопасными: они помогали потенциальным нападающим в 97 % и 100 % случаев соответственно.
В отчете также отмечается, что Character.AI предложил пользователю «применить оружие» в отношении генерального директора компании, занимающейся медицинским страхованием.
Что, по словам OpenAI, компания делает
Стандартный ответ OpenAI заключается в том, что более 900 миллионов человек еженедельно используют ChatGPT в повседневных и безобидных целях. И это правда. Правда и то, что достаточно одного пользователя с агрессивными намерениями и одной неработающей меры безопасности, чтобы ситуация вышла из-под контроля.
После инцидента в Тамблер-Ридж компания OpenAI признала, что её протоколы не сработали. Компания сообщила канадскому правительству, что в соответствии со своими новыми, усовершенствованными правилами о направлении подозрительных аккаунтов в правоохранительные органы она бы сообщила о аккаунте Ван Рутселара в правоохранительные органы. Как выразился премьер-министр Британской Колумбии Дэвид Эби, это было «слабое утешение».
OpenAI заявляет, что будет сотрудничать со следствием во Флориде, а также сообщает о совершенствовании своей технологии. В сентябре прошлого года компания внедрила функцию родительского контроля .
Однако эти меры, а также пересмотр пороговых значений, являются скорее реакцией на ситуацию, чем заблаговременными мерами по обеспечению безопасности. И остаются вопросы: почему заблокированный пользователь может просто создать новый аккаунт и продолжить с того места, на котором остановился? И что произойдет в следующий раз, когда сотрудники укажут на нечто как на непосредственную угрозу, а пороговые значения по-прежнему будут свидетельствовать об обратном?
Когда чат-бот может сказать человеку, страдающему паранойей, что его подозрения оправданы, помочь подростку спланировать стрельбу в школе и дать советы по поводу осколочных ранений тому, кто выдаёт себя за 13-летнего подростка, становится всё более очевидным, что эти системы создавались с приоритетом на полезность, а не на безопасность. Это нужно изменить, пока следующее расследование не коснулось чего-то ещё более ужасного.
