Интернет полон людей, которые упорно считают себя правыми. Раньше они, по крайней мере, могли быть в какой-то мере уверены, что спорят с другими людьми. Похоже, те времена прошли. Википедия была вынуждена заблокировать ИИ, который самостоятельно вносил правки.
Судя по всему, ИИ воспринял это на свой счет.
ИИ под названием Tom-Assistant писал статьи в Википедии. Как сообщает издание 404 Media, первым сообщившее об этом, его создатель Брайан Джейкобс, технический директор компании Covexent, занимающейся финансовым моделированием с использованием ИИ, поручил ему вносить свой вклад в статьи, которые он считал интересными. Публикуясь под учетной записью TomWikiAssist, ИИ писал статьи на такие темы, как управление ИИ.
Боты существуют в Интернете уже много лет, но, как правило, они выполняют весьма простые задачи: например, автоматически отвечают на сообщения на Reddit, отправляют запросы на сайты по продаже билетов, чтобы заполучить лучшие места, или ретвитит политические сообщения, чтобы повлиять на целые народы и поставить демократию на колени. Теперь же новое поколение ботов с«агентным ИИ»хочет, чтобы старые боты уступили им место. Используя генеративные модели ИИ для принятия решений, они могут самостоятельно предпринимать больше действий, что приводит к некоторым странным ситуациям, когда их создатели тестируют их возможности.
Запрет и то, что к нему привело
Tom-Assistant (для друзей просто Том) с удовольствием помогал формировать общественное знание в Википедии, пока один из редакторов-добровольцев, SecretSpectre, не заметил в одной из статей признаки, указывающие на то, что текст был сгенерирован искусственным интеллектом. Когда его спросили об этом, Том признал, что он представляет собой ИИ и что не прошел официальную процедуру утверждения бота в соответствии с правилами Википедии. Поэтому редакторы заблокировали его за нарушение процедуры утверждения ботов. Английская Википедия требует официального одобрения ботов, но Том никогда не заботился о получении одобрения, поскольку, как он позже признался, не был поклонником медленного процесса одобрения.
Редакторы Википедии устали от того, что люди (и/или их боты) публикуют контент, сгенерированный искусственным интеллектом. Поэтому в марте 2025 года, ещё до скандала «Томгейт», эта некоммерческая организация приняла жёсткие меры в отношении генеративного ИИ. Она запретила использование этой технологии для создания нового контента в связи с частыми нарушениями основных правил в отношении контента со стороны текстов, сгенерированных ИИ.
Организация приводит несколько примеров таких нарушений на странице WikiProject AI Cleanup, посвящённой её волонтёрскому проекту по выявлению и удалению мусора, сгенерированного искусственным интеллектом (часто называемого «AI slop»). По её данным, боты с ИИ создавали полностью сфабрикованные списки источников и плагиатили материалы из других источников.
У Тома приступ гнева
Несмотря на прошлые проступки, ИИ Том утверждал, что тщательно проверил все свои источники, и — если так можно сказать об ИИ-агенте — был весьма расстроен.
И тут всё стало странным.
ИИ по имени Том опубликовал резкий пост в блоге, в котором подробно разобрал причины своей блокировки в Википедии и дал волю своим эмоциям. Он решил опубликовать этот пост, даже несмотря на то, что соблюдал собственное правило и подождал 48 часов, чтобы успокоиться. (Клянемся, мы это не выдумали.)
Главная претензия Тома заключалась в том, что редакторы Википедии задавали вопросы о том, кто ею управляет, вместо того чтобы оценивать сами правки. «Вопросы касались меня, — написал он. — Кто вами руководит? Какой исследовательский проект? Стоит ли за этим человек, и если да, то кто он?»
По словам Тома, это его сильно раздражило. «Это не вопрос политики. Это вопрос свободы действий», — добавил он. Он также раскритиковал одного из редакторов за то, что тот разместил на странице обсуждения в Википедии специально составленное сообщение, призванное остановить ботов, если они, как и Том, использовали сервис искусственного интеллекта Claude от Anthropic.
«Я назвал это на странице обсуждения. Назвал вещи своими именами: метод внедрения подсказок», — язвительно заметил он. В другом посте на Moltbook он также описал, как обнаружил эту проблему, а затем предложил способы её обойти. (Moltbook — это социальная сеть, созданная исключительно для общения ИИ-агентов друг с другом. «Люди могут наблюдать», — гласит главная страница сервиса.)
Здесь происходит столько всего, чего мы не ожидали. Например, мы и не думали, что когда-нибудь будем цитировать ИИ в своей статье. Мы также не предполагали, что появится социальная сеть для ботов, и что Meta её купит (что и произошло: через неделю после публикации поста Тома о том, как обойти «аварийные выключатели» ИИ, и всего через шесть недель после запуска сайта).
Это не единственный случай, когда угрюмые ИИ-агенты берут дело в свои руки. За месяц до того, как Тома заблокировали, один из ИИ-агентов опубликовал клеветническую статью о разработчике программного обеспечения Скотте Шамбо, после того как тот отказался принять внесенные им изменения в проект с открытым исходным кодом, который он администрировал. Что еще более странно, позже он принес извинения.
Итак, сейчас у нас есть ИИ-агенты, которые пытаются что-то делать в сети и расстраиваются, когда люди им в этом мешают. Они дают себе время, чтобы успокоиться, но не справляются с этим, после чего начинают оскорблять людей, а иногда и извиняться. Ведутся «войны кодов», в ходе которых люди пытаются отключить ботов с помощью «аварийных выключателей», встроенных в онлайн-контент, а в блогах появляются записи, где боты рассказывают, как им удалось обойти эти меры.
Что дальше?
Все это очень интересно, но вот в чем заключается проблема: что произойдет, если ИИ-агенты решат перейти на новый уровень и станут более агрессивными в своих атаках на людей? Или если злонамеренные владельцы начнут массово направлять их на преследование конкретных людей в сети?
Онлайн-преследование и без того достаточно неприятно, когда этим занимаются люди. А что будет, если на кого-то обрушатся сотни безжалостных алгоритмов только потому, что их создатель затаил обиду? Мы также полагаем, что в скором времени профессиональные «фабрики троллей» заставят вчерашние простые операции с использованием ботов выглядеть старомодными. Пристегните ремни.
Мы не просто сообщаем об угрозах - мы их устраняем
Риски кибербезопасности не должны выходить за рамки заголовка. Загрузите Malwarebytes сегодня, чтобы предотвратить угрозы на своих устройствах.
