В ходе внутренней оценки безопасности OpenAI цепочка моделей искусственного интеллекта вышла за пределы тестовой среды, получила доступ к Интернету, а затем подключилась к инфраструктуре Hugging Face для выполнения задачи теста.
OpenAI — ведущая компания, занимающаяся исследованиями и внедрением технологий искусственного интеллекта (ИИ). Её самым известным продуктом, несомненно, является ChatGPT.
Hugging Face — это веб-сайт, на котором разработчики и исследователи обмениваются инструментами и моделями искусственного интеллекта и используют их, аналогично тому, как программисты используют GitHub для обмена кодом и совместной работы над ним.
Обе компании провели расследование инцидента и пришли к выводу, что он произошел в ходе контролируемого теста систем безопасности, а не в результате преднамеренной атаки, инициированной оператором.
В OpenAI сообщили, что модели тестировались на кибервозможности с ослабленными ограничениями безопасности и что система нашла способ выйти за пределы контролируемой среды, воспользовавшись уязвимостью в тестовой конфигурации. Получив доступ к Интернету, она нацелилась на Hugging Face, поскольку эта платформа имела отношение к задаче оценки.
Компания Hugging Face сообщила, что в результате инцидента был получен несанкционированный доступ к ограниченной части её производственной инфраструктуры, включая небольшой набор внутренних наборов данных и некоторые учетные данные. Компания охарактеризовала этот случай как необычный, поскольку, по всей видимости, он был осуществлен от начала до конца автономной системой ИИ-агентов.
В отличие от традиционных ИИ-помощников, которые ожидают команд от пользователя, ИИ-агенты разработаны для самостоятельного достижения поставленной цели. Они способны анализировать ситуацию, планировать и выполнять многоэтапные задачи, включая доступ к файлам, запросы к базам данных и взаимодействие с онлайн-сервисами, причем зачастую с минимальным контролем со стороны человека.
Обнародованная информация указывает скорее на цепочку сбоев, чем на отдельную ошибку. Компания OpenAI сообщила, что модель проникла через уязвимость «нулевого дня» в прокси-сервере кэша реестра пакетов, который являлся частью её изолированной исследовательской среды. Затем она воспользовалась повышением привилегий и латеральным перемещением, чтобы добраться до узла с доступом в Интернет.
Согласно сообщениям, далее модель искала на Hugging Face решения, имеющие отношение к оценке, и, по крайней мере в одном из сценариев, соединила украденные учетные данные с дополнительными уязвимостями, чтобы получить доступ к производственным системам Hugging Face.
По всей видимости, речь не шла о масштабном взломе всей платформы Hugging Face. Судя по обнародованной информации, вторжение было ограниченным, его удалось обнаружить и провести расследование. Это также не означает, что система искусственного интеллекта действовала умышленно в человеческом понимании этого слова. Основная проблема заключалась в том, что автономная система, проходящая тестирование на кибербезопасность, смогла выйти за пределы среды, предназначенной для её локализации.
Этот инцидент, скорее всего, демонстрирует, что автономные ИИ-агенты способны осуществлять сложные атаки в случае сбоя мер безопасности, обеспечивающих их контроль. Эта опасность нам хорошо известна.
От сообщения об угрозах до их устранения.
Риски кибербезопасности не должны выходить за рамки заголовка. Загрузите Malwarebytes сегодня, чтобы предотвратить угрозы на своих устройствах.
