В ходе внутренней оценки безопасности OpenAI цепочка моделей искусственного интеллекта вышла за пределы тестовой среды, получила доступ к Интернету, а затем подключилась к инфраструктуре Hugging Face для выполнения задачи теста.
OpenAI — ведущая компания, занимающаяся исследованиями и внедрением технологий искусственного интеллекта (ИИ). Её самым известным продуктом, несомненно, является ChatGPT.
Hugging Face — это веб-сайт, на котором разработчики и исследователи обмениваются инструментами и моделями искусственного интеллекта и используют их, аналогично тому, как программисты используют GitHub для обмена кодом и совместной работы над ним.
Обе компании провели расследование инцидента и пришли к выводу, что он произошел в ходе контролируемого теста систем безопасности, а не в результате преднамеренной атаки, инициированной оператором.
В OpenAI сообщили, что модели тестировались на кибервозможности с ослабленными ограничениями безопасности и что система нашла способ выйти за пределы контролируемой среды, воспользовавшись уязвимостью в тестовой конфигурации. Получив доступ к Интернету, она нацелилась на Hugging Face, поскольку эта платформа имела отношение к задаче оценки.
Компания Hugging Face сообщила, что в результате инцидента был получен несанкционированный доступ к ограниченной части её производственной инфраструктуры, включая небольшой набор внутренних наборов данных и некоторые учетные данные. Компания охарактеризовала этот случай как необычный, поскольку, по всей видимости, он был осуществлен от начала до конца автономной системой ИИ-агентов.
В отличие от традиционных ИИ-помощников, которые ожидают команд от пользователя, ИИ-агенты разработаны для самостоятельного достижения поставленной цели. Они способны анализировать ситуацию, планировать и выполнять многоэтапные задачи, включая доступ к файлам, запросы к базам данных и взаимодействие с онлайн-сервисами, причем зачастую с минимальным контролем со стороны человека.
Обнародованная информация указывает скорее на цепочку сбоев, чем на отдельную ошибку. Компания OpenAI сообщила, что модель проникла через уязвимость «нулевого дня» в прокси-сервере кэша реестра пакетов, который являлся частью её изолированной исследовательской среды. Затем она воспользовалась повышением привилегий и латеральным перемещением, чтобы добраться до узла с доступом в Интернет.
Согласно сообщениям, далее модель искала на Hugging Face решения, имеющие отношение к оценке, и, по крайней мере в одном из сценариев, соединила украденные учетные данные с дополнительными уязвимостями, чтобы получить доступ к производственным системам Hugging Face.
По всей видимости, речь не шла о масштабном взломе всей платформы Hugging Face. Судя по обнародованной информации, вторжение было ограниченным, его удалось обнаружить и провести расследование. Это также не означает, что система искусственного интеллекта действовала умышленно в человеческом понимании этого слова. Основная проблема заключалась в том, что автономная система, проходящая тестирование на кибербезопасность, смогла выйти за пределы среды, предназначенной для её локализации.
Этот инцидент, скорее всего, демонстрирует, что автономные ИИ-агенты способны осуществлять сложные атаки в случае сбоя мер безопасности, обеспечивающих их контроль. Эта опасность нам хорошо известна.
Мы не просто сообщаем об угрозах - мы их устраняем
Риски кибербезопасности не должны выходить за рамки заголовка. Загрузите Malwarebytes сегодня, чтобы предотвратить угрозы на своих устройствах.
