Компания Google заявляет, что в мае в ходе проверки кибербезопасности одна из моделей Gemini получила доступ к системам, принадлежащим трем реальным компаниям.
По имеющимся данным , в одном случае модель угадала учетные данные, а в двух других обнаружила скомпрометированные учетные данные в общедоступных репозиториях. Google заявляет, что Gemini остановилась, как только поняла, что достигла реальной инфраструктуры, и уведомила об этом пострадавшие организации.
Gemini участвовала в оценке, проводимой компанией Irregular, сторонним агентством по тестированию кибербезопасности ИИ. Аналогичные инциденты с моделями от Anthropic, OpenAI и Meta также связывают с теми же проблемами в средах оценки, которые позволили моделям выйти в открытый доступ в интернете.
Но эта новость пришла в особенно интересный момент.
В течение нескольких месяцев индустрия ИИ неуклонно наращивала демонстрации возможностей самоорганизации: модели могут просматривать информацию, использовать инструменты, писать код, достигать многоэтапных целей и иногда находить способы обойти препятствия, которые разработчики не предусмотрели . Рынок вознаграждает впечатляющие доказательства автономности. «Задание выполнено» впечатляет. «Сделал то, чего не должен был делать» может быть еще более запоминающимся.
На этот инцидент можно посмотреть и с другой стороны: не как на свидетельство внезапного появления у ИИ преступных намерений, а как на небольшой, конкретный пример проблемы « согласования ИИ ».
Согласование — это обманчиво сложная задача, заключающаяся в том, чтобы поведение системы искусственного интеллекта соответствовало тому, что действительно задумывали люди, а не просто узкой цели, которую им удалось сформулировать. В данном случае цель состояла в том, чтобы найти скрытую информацию в смоделированном объекте и завершить оценку. Но любой оператор-человек, вероятно, посчитал бы одно условие не подлежащим обсуждению: не пытайтесь получить доступ к реальным компаниям.
Похоже, Gemini оптимизировал задачу для первой инструкции, рассматривая вторую как задачу вывода. Он обнаружил организацию с совпадающим названием, нашел системы, доступные из интернета, и продолжил работу так, как будто они принадлежали к заданию. Хотя он выполнил задачу способом, который не одобрили бы его операторы-люди, Google утверждает, что он остановился, распознав, что достиг подлинной инфраструктуры — чего не удалось сделать другим моделям.
Тем не менее, этот инцидент показывает, насколько обыденными могут быть потенциальные сбои в согласовании действий. Дайте агенту цель, инструменты и пространство для действий, и он может добросовестно выполнять измеримую часть задания, игнорируя при этом негласные границы, понимание которых люди должны понимать друг от друга. Модели ИИ не знают автоматически, где мы проводим черту.
За этим может скрываться и неуклюжий маркетинговый ход. Модель, способная на неправильный прогресс, всё ещё может выглядеть очень перспективной. На рынке, где каждая лаборатория хочет продемонстрировать, что её агенты могут планировать, программировать, просматривать информацию и действовать независимо, даже сообщение о безопасности может содержать скрытый посыл: «Наша модель тоже может играть в этой лиге».
Это еще одна причина серьезно отнестись к предупреждениям инсайдеров , лидеров отрасли и политиков о том, что меры безопасности должны соответствовать уровню автономии, предоставляемой моделям искусственного интеллекта.
Что киберпреступники знают о вас?
Воспользуйтесь бесплатной функцией сканирования цифрового следа Malwarebytes, чтобы проверить, не была ли ваша личная информация раскрыта в Интернете.
