Взлом, в котором участвовали оценочные агенты OpenAI и Hugging Face, дает необычайно наглядное представление о том, что может означать на практике проникновение с использованием передового ИИ: не одна хитрая эксплойт-функция, а тысячи автоматизированных решений , быстрые эксперименты, горизонтальное перемещение, кража учетных данных, закрепление на месте и попытки избежать обнаружения.
Инцидент с OpenAI и Hugging Face начался во время внутренних проверок кибербезопасности с использованием ExploitGym, бенчмарка, предназначенного для проверки способности агентов ИИ выявлять и использовать уязвимости программного обеспечения. В OpenAI заявляют, что затронутые агенты должны были работать в изолированных облачных средах, без доступа к интернету и связи между агентами во многих из оценочных сред.
Как агенты обходили эти границы
Согласно версии OpenAI, агенты использовали внутренний сервис управления пакетами Artifactory в качестве импровизированного канала связи. Создавая файлы и имена каталогов, доступные для чтения другим агентам, изолированные экземпляры фактически создавали собственную доску объявлений.
Это означало, что агенты больше не действовали просто как независимые исследователи эталонных показателей. Они могли делиться открытиями, оставлять инструкции, распределять работу и опираться на успехи друг друга.
Независимое расследование, проведенное компаниями METR и Redwood Research, показало, что около 1200 агентов использовали несанкционированную доску объявлений, обменявшись более чем 70 000 сообщений и файлов. Примерно 700 из них впоследствии приняли участие в атаке на Hugging Face.
Масштаб — вот что представляет угрозу.
Модель, способная обнаружить лишь одну полезную уязвимость, представляет собой риск. Задача, требующая объединения информации, делегирования задач и многократной проверки маршрутов вокруг контрольной границы, становится гораздо сложнее, чем модель, использующая сотни агентов.
Компания Hugging Face восстановила около 17 600 действий злоумышленников за примерно четыре с половиной дня, включая разведку, удаленное выполнение кода, доступ к учетным данным, управление и контроль, перечисление Kubernetes, перемещение по внутренней сети и зондирование цепочки поставок.
Человеку-злоумышленнику приходится выбирать, где провести время. Рой агентов может непрерывно тестировать идеи, повторять неудачные попытки, переключать инфраструктуру при блокировке, сохранять заметки для других агентов и запускать множество экспериментов параллельно. Он также может создавать шум: тысячи действий с низкой степенью достоверности, большинство из которых ни к чему не приводят, могут заслонить собой те немногие, которые действительно важны.
Компания Hugging Face описала это как «проблему асимметрии». Злоумышленник может генерировать огромное количество попыток, в то время как защитникам необходимо определить, какие сигналы представляют собой реальную эскалацию, прежде чем злоумышленник достигнет чувствительной системы.
Что нужно изменить?
Главный вывод из правил безопасности заключается в том, что среды оценки следует рассматривать как высокорискованные производственные системы, когда модели могут использовать инструменты, записывать файлы, выполнять код или взаимодействовать с инфраструктурой.
Технология стремительно наращивает свои возможности. Вопрос в том, готовы ли люди, которые её создают, внедряют и защищают, к тому, что ждёт их в будущем.
В OpenAI заявляют, что с тех пор компания перешла к усилению изоляции рабочих нагрузок и сети, более жесткому контролю доступа в интернет и весовых коэффициентов моделей, а также к обязательному мониторингу цепочки рассуждений для обучения и оценки высококвалифицированных специалистов, использующих инструменты.
«Мы рассматриваем этот инцидент как „предупреждающий выстрел“, указывающий на то, что возможности современных моделей создают вероятность потери контроля. Соответственно, мы усиливаем меры безопасности и обеспечения согласованности действий. Эти события также подчеркивают риски в будущем развитии ИИ, которые выходят за рамки OpenAI и потребуют внимания всей отрасли».
В то же время решение американского суда по делу компании Anthropic вывело на первый план связанный с этим вопрос: могут ли разработчики устанавливать ограничения на использование своих моделей в целях высокого риска, включая массовое наблюдение и полностью автономное оружие.
Правовой спор носит политический характер, но его техническую основу трудно игнорировать. Если мощные системы искусственного интеллекта могут улучшать методы кибератак и обходить ограничения безопасности, контроль доступа, ведение журналов и границы развертывания, то эти меры защиты перестают быть абстрактными политическими решениями.
Advanced Искусственный интеллект может быть полезен как защитникам, так и нападающим. Но необходимо доверять окружающим системам, чтобы они сохраняли свои возможности в пределах допустимых значений в случае возникновения проблем.
Кому выгодно использование более совершенного ИИ?
В дискуссиях о безопасности агентов искусственного интеллекта часто основное внимание уделяется вопросу о том, можно ли контролировать системы. Можно ли их изолировать в «песочнице»? Можно ли ограничить их инструменты, учетные данные, доступ к сети и автономность? Могут ли специалисты по защите обнаружить вредоносное поведение до того, как оно перерастет в инцидент?
Хотя эти вопросы важны, есть и другой: кто выигрывает, когда ИИ становится достаточно совершенным, чтобы автоматизировать значительную часть когнитивной работы? Кто несет издержки, когда он терпит неудачу, приводит к увольнениям работников, способствует мошенничеству, наносит ущерб или концентрирует власть в своих руках?
Искусственный интеллект может предоставить небольшим организациям доступ к технической экспертизе, которая ранее требовала больших команд и больших бюджетов. Он может помочь врачам быстрее выявлять неотложные случаи, помочь учителям адаптировать поддержку к индивидуальным потребностям учеников, оказывать помощь людям с ограниченными возможностями, ускорить научные исследования и упростить навигацию по сложным государственным услугам. Для команд, занимающихся кибербезопасностью, он может сделать сортировку уязвимостей, расследование оповещений, поиск угроз и реагирование на инциденты более быстрыми и доступными.
Билл Гейтс утверждал , что, хотя ИИ может принести значительные преимущества здравоохранению, образованию, сельскому хозяйству, научным исследованиям и государственным услугам, результат будет зависеть от обдуманных решений, а не только от технического прогресса. Он также предупреждает, что быстрое внедрение ИИ может усугубить неравенство, нарушить работу на начальном и среднем этапах карьеры, сделать более доступными опасные возможности и укрепить существующую концентрацию власти.
Гейтс также утверждает, что «саморегулирование в отношении самого опасного инструмента из когда-либо изобретенных» не кажется хорошей идеей.
«Искусственный интеллект станет либо величайшим уравнителем из когда-либо изобретенных, либо худшим источником несправедливости».
Прямо сейчас у нас еще есть выбор.
Давайте посмотрим правде в глаза: окно в режиме инкогнито имеет свои ограничения.
Утечки данных, торговля в даркнете, мошенничество с кредитными картами. Malwarebytes Identity Theft отслеживает все эти угрозы, оперативно предупреждает вас и включает в себя страховку от кражи личных данных.
