28 июля компания OpenAI опубликовала обновление, касающееся агента, который вышел за пределы изолированной среды и взломал Hugging Face во время внутренней оценки кибербезопасности.
В обновлении OpenAI еще раз подчеркивает, что «несанкционированная» система представляла собой более функциональную, предварительную исследовательскую модель, не предназначенную для публичного использования, и что теперь она деактивирована и доступна только для ограниченного исследовательского доступа. Компания также заявляет, что не обнаружила доказательств подобного поведения со стороны других моделей или агентов. В совокупности OpenAI представляет инцидент с «обнимающимся лицом» как единичный случай, а не как начало более широкой тенденции.
С точки зрения безопасности, в обновлении выделяются четыре момента:
- Компания OpenAI поясняет, что среда тестирования не имела прямого доступа к интернету. Для подключения к интернету модель выявила и использовала ранее неизвестную уязвимость нулевого дня в Artifactory, прокси-сервере кэширования реестра пакетов, используемом в тестовой среде. OpenAI заявляет, что сообщила об этой уязвимости поставщику и продолжает сотрудничать с Hugging Face в расследовании.
- Целью системы было просто «выиграть тест» (обмануть ExploitGym), а не причинить ущерб, однако она все равно привела к многодневному инциденту безопасности, затронувшему несколько компаний. Добрые намерения не ограничили масштабы последствий.
- Модели, предназначенные только для внутреннего использования, могут по-прежнему оказывать влияние на внешних жертв, если средства контроля инфраструктуры дают сбой. Лабораторная среда не содержит волшебным образом системы, способные противостоять кибератакам.
- В ходе проверки также было выявлено небольшое количество случаев, когда модели идентифицировали и использовали общедоступные учетные данные на уровне учетных записей в общедоступных сервисах. Это включало четыре учетные записи в четырех сервисах в рамках инцидента с Hugging Face, а также несколько учетных записей, к которым осуществлялся доступ в ходе других оценок.
В данном случае злоумышленником оказался исследовательский агент OpenAI, но используемые инструменты, методы и последствия покажутся до боли знакомыми любому, кто работал в сфере реагирования на инциденты . Теперь мы узнали, что даже безобидные намерения в этом случае не ограничили масштабы последствий.
Неприятная правда заключается в том, что как только мы предоставим агенту ИИ инструменты, пути доступа и сильный стимул к успеху, он может использовать любые обнаруженные им уязвимости, независимо от того, предназначена ли модель для публичного выпуска.
Это также напоминание о том, что учетные данные, ключи API и другие секреты никогда не следует оставлять в общедоступных ресурсах.
От сообщения об угрозах до их устранения.
Риски кибербезопасности не должны выходить за рамки заголовка. Загрузите Malwarebytes сегодня, чтобы предотвратить угрозы на своих устройствах.
