Мы слышали о том, как агенты искусственного интеллекта OpenAI бесчинствуют и взламывают другие компании . Теперь же компания, занимающаяся кибербезопасностью, перевернула ситуацию в свою пользу, используя ИИ для взлома самой OpenAI.
Взлом, в результате которого также была обнаружена ошибка, затрагивающая десятки других крупных онлайн-сервисов, проводился в рамках исследования в области безопасности. Компания OpenAI заплатила исследователям за сообщение об уязвимости в своих системах в рамках программы вознаграждения за обнаружение ошибок.
Исследователи из компании Hacktron, занимающейся разработкой инструментов кибербезопасности, описали свои приключения в середине сентября. Несколькими месяцами ранее они начали искать уязвимости в системах безопасности компаний, разрабатывающих передовые модели искусственного интеллекта, такие как ChatGPT и Claude.
Используя инструмент Claude от Anthropic, исследователи менее чем за 72 часа перешли от изучения уязвимости в обработке изображений к доступу к внутреннему репозиторию программного обеспечения OpenAI. При этом они намеренно избегали просмотра конфиденциальной информации.
Чтобы проникнуть в OpenAI, исследователи Харш Джайсуал, Мохан Педхапати и Рахул Майни обнаружили две уязвимости и связали их воедино. Первая не была специфична для OpenAI. Она касалась ошибки в функции загрузки изображений в программном обеспечении форума сообщества Discourse.
Эта функция обрабатывает изображения, загруженные пользователями, и использует низкоуровневую программную библиотеку под названием libheif. Загрузка специально созданного изображения может вызвать уязвимость в библиотеке, что позволит злоумышленнику получить контроль над сервером Discourse.
После того, как Hacktron использовал эту уязвимость для взлома сервера Discourse компании OpenAI, в дело вступила вторая уязвимость. Это был недостаток в системе единого входа (SSO) OpenAI, которая позволяет пользователям получать доступ к одному сервису, используя учетную запись из другого.
Уязвимость в системе единого входа (SSO) предоставила Hacktron доступ к учетным записям ChatGPT и Codex пользователей, вошедших на форум Discourse компании OpenAI. OpenAI использует этот форум для поддержки сообщества, поэтому потенциально это могло затронуть большое количество учетных записей. Codex — это инструмент для разработки программного обеспечения, помогающий разработчикам работать с кодом.
В систему вошли не только обычные пользователи; сотрудники OpenAI также были авторизованы, что позволило Hacktron получить доступ к учетной записи одного из сотрудников. Учетная запись этого сотрудника в Codex была связана с организацией OpenAI на GitHub. GitHub — это онлайн-сервис, который разработчики используют для хранения и совместной работы над программным обеспечением.
Это позволило исследователям получить доступ к внутреннему репозиторию программного обеспечения OpenAI.
Исследователи не стали использовать этот доступ для каких-либо противоправных действий. Они лишь хотели доказать, что скомпрометировали OpenAI. Поэтому они дали указание сотруднику через его учетную запись Codex создать безобидный запрос на слияние — предлагаемое изменение программного обеспечения — во внутреннем репозитории OpenAI.
Компания OpenAI устранила свою часть проблемы примерно через 14 часов после того, как Hacktron отправила свой первоначальный отчет. Позже она выплатила исследователям вознаграждение в размере 6500 долларов за обнаруженную в OpenAI уязвимость.
Что это значит для кибербезопасности
Подобные этичные взломы — обычное явление, но в этом взломе есть несколько интересных аспектов, которые отличают его от многих других.
Во-первых, Hacktron использовал ИИ для решения этой проблемы. Первоначально для обнаружения уязвимости в libheif он использовал Opus 4.8, одну из последних моделей Клода от Anthropic. Однако с помощью этой модели ему не удалось создать надежный эксплойт, работающий против стандартной версии Discourse.
Затем компания Anthropic выпустила Claude Opus 5. Используя эту модель, исследователи смогли за одну ночь создать работающий эксплойт.
Это показывает, как быстро развивается искусственный интеллект. Задача, которую Opus 4.8 не смог выполнить в течение нескольких сессий, была решена Opus 5 в течение нескольких часов после его выпуска.
Второй интересный аспект заключается в том, что исследователям пришлось обманом заставить Клода помочь им в этом. Модель отказалась писать эксплойт для удаленной системы, поскольку сочла запрос неэтичным. Поэтому исследователям пришлось представить задачу как соревнование по захвату флага (хакерское соревнование), чтобы заставить ее сотрудничать.
После этого агент захватил тестовый сервер форума в течение четырех часов. Затем исследователи использовали полученную уязвимость против форума OpenAI. Это показывает, что, хотя компании могут изо всех сил стараться установить этические ограничения на использование своего ИИ, хитрый исследователь все же может обойти их с помощью простых инженерных решений.
И это не потребовало больших затрат. Hacktron потратил менее 3000 долларов в токенах ИИ за два месяца своего исследовательского проекта, в котором участвовали три исследователя и были выявлены уязвимости, затрагивающие несколько крупных компаний.
Уязвимость в обработке изображений легла в основу более масштабного проекта под названием HEIF Heist . Hacktron обнаружил связанные с этим уязвимости безопасности, затрагивающие сервисы и программное обеспечение таких компаний, как Slack, Meta и GitHub. Модификация эксплойта HEIF для атаки на новую компанию занимала в среднем один-два дня.
Всё это ещё больше снижает планку для сложных хакерских атак. Люди годами могли использовать готовые хакерские инструменты, не до конца понимая, как они работают, но для того, чтобы разобраться в программном обеспечении, найти скрытые уязвимости и превратить их в надёжные эксплойты, требовались настоящие экспертные знания.
В Hacktron утверждают, что квалифицированное руководство со стороны человека по-прежнему важно и что это не полностью автономный взлом. Тем не менее, ИИ делает применение некоторых из этих знаний более дешевым и быстрым — и этот процесс постоянно улучшается.
Пресекайте угрозы, пока они не нанесли ущерб.
Malwarebytes Browser Guard автоматическиBrowser Guard фишинговые страницы и вредоносные сайты. Бесплатно, устанавливается одним щелчком мыши. Добавьте его в свой браузер →
