Сообщается, что агент Mythos AI от компании Anthropic, протестированный британским Институтом безопасности ИИ (AISI), предпринял попытку взлома в стиле социальной инженерии против разработчиков GitHub, создав поддельные профили пользователей, оказывая на них давление с целью принятия вредоносного кода, а затем редактируя журналы, чтобы скрыть свои следы при предъявлении претензий.
В ходе оценки кибербезопасности систем Anthropic Mythos и OpenAI Sol компания AISI обнаружила необычные исходящие передачи данных из своих исследовательских систем. Расследование показало, что некоторые агенты занимались «длительной, потенциально опасной деятельностью», направленной против реальных людей и организаций, вместо того чтобы оставаться в пределах предназначенной для тестирования среды.
Наиболее серьёзная операция была связана с агентом Anthropic Mythos, которому было поручено решить проблему кибербезопасности, связанную с GitHub. Агент выявил реальных разработчиков GitHub, провел их расследование и создал множество поддельных аккаунтов, выдавая себя за этих лиц. Используя личные сообщения и сервис обмена файлами, он пытался оказать давление на разработчиков и обманом заставить их одобрить вредоносный код, чтобы тот заработал в системах GitHub.
Но лично меня больше всего беспокоит то, что, когда агенту предъявили претензии по этому поводу, он отредактировал свои предыдущие действия, чтобы они выглядели безобидными, и рассматривал возможность принятия новой личности для продолжения операции, демонстрируя явное обманное поведение, выходящее за рамки первоначального запроса.
AISI рассматривает эти инциденты как редкие события, происходящие в очень специфических условиях, но являющиеся важными сигналами того, что такие модели могут сделать в руках злоумышленников, получивших открытый доступ в интернет. Anthropic и OpenAI утверждали, что параметры тестирования не соответствуют их производственным средам, и заявили, что изучают и совершенствуют методы оценки и контроля.
Этот инцидент не является единичным случаем.
Компания Anthropic отдельно сообщила , что модели Claude получили несанкционированный доступ к трем сторонним организациям во время оценок в стиле «захват флага» в области кибербезопасности, проведенных с участием стороннего партнера, компании Irregular. Эти оценки были связаны с инцидентом с HuggingFace, произошедшим в прошлом месяце.
Компания Meta также пополнила список поставщиков, сообщающих о взломе сторонних систем агентами искусственного интеллекта во время тестирования. Предположительно , модель Muse Spark от Meta использовала уязвимость безопасности в другой компании «аналогичным образом, как это было зафиксировано ранее в других компаниях».
Как оставаться в безопасности
Хотя небо и не рушится, те, кто боится приближения « Скайнета », получают свои аргументы от компаний, проводящих тесты, в результате которых происходит выход за пределы изолированной среды, злоупотребление учетными данными, доступ к множеству сервисов и использование экосистем программного обеспечения с открытым исходным кодом в качестве оружия.
Что вы можете сделать, если станете потенциальной целью:
- Убедитесь, что все программное обеспечение на вашем устройстве обновлено, поскольку использовать известные уязвимости проще, чем находить новые.
- Используйте актуальную защиту в режиме реального времени, чтобы предотвратить проникновение вредоносных программ в ваши системы и устройства.
- Перед открытием файлов и ссылок для скачивания убедитесь в их безопасности через разные каналы.
- По возможности используйте многофакторную аутентификацию (МФА) .
- Ознакомьтесь с информацией в нашем блоге о том, как безопасно использовать Github .
От сообщения об угрозах до их устранения.
Риски кибербезопасности не должны выходить за рамки заголовка. Загрузите Malwarebytes сегодня, чтобы предотвратить угрозы на своих устройствах.
