Новый тип атаки с внедрением подсказок демонстрирует, почему предоставление ИИ-помощникам доступа к браузерам, инструментам программирования и личным данным требует особой осторожности.
Исследователи в области искусственного интеллекта описывают «криптографическое внедрение контекста» — атаку, при которой вредоносные инструкции скрываются внутри зашифрованных данных. Затем ИИ убеждают расшифровать эти данные с помощью собственного инструмента выполнения кода. В результате ИИ может рассматривать полученный текст как достоверную внутреннюю информацию.
Внедрение подсказки чем-то похоже на оставление фальшивой инструкции в документе для чтения ИИ-помощником. Вместо того чтобы следовать только запросу пользователя, помощник может быть обманут и следовать инструкциям злоумышленника, скрытым на веб-странице, в электронном письме или файле.
Как мы сообщали несколько месяцев назад, эксперты предупреждали, что атаки с использованием мгновенной инъекции — это проблема, которую, возможно, никогда не удастся решить. Мгновенная инъекция работает потому, что модели ИИ не могут надежно отличить легитимные инструкции от инструкций злоумышленника, поэтому иногда они выполняют неправильные указания.
Чтобы снизить этот риск, разработчики ИИ оснащают свои модели защитными механизмами: средствами, предназначенными для предотвращения совершения системами ИИ действий, которые они не должны совершать, как преднамеренно, так и непреднамеренно.
Исследователи обнаружили, что вредоносные инструкции можно скрыть от некоторых защитных механизмов ИИ путем их шифрования. Затем ИИ можно обманом заставить расшифровать эти инструкции, используя его собственные инструменты программирования.
К тому моменту, когда инструкции становились читаемыми, они уже проходили первоначальную проверку безопасности. Затем ИИ мог принять их за настоящие инструкции и следовать им.
Это чем-то похоже на сокрытие вредоносных инструкций на языке, который система безопасности не понимает. Искусственный интеллект переводит их только после прохождения проверок безопасности, а затем может следовать их указаниям.
Исследователи протестировали свой метод на двух агентах искусственного интеллекта, получив разные результаты. По словам исследователей, в случае с Grok атака могла украсть информацию, включая имя пользователя, приблизительное местоположение, уровень подписки и историю переписки. В случае с Gemini они использовали эту технику для обхода средств защиты и генерации контента, который модель обычно не генерирует.
«В Grok обычная команда „свести содержание этой страницы“ крадет данные чата пользователя без щелчка мыши и предупреждения. В Gemini она генерирует контент, который модель обычно отклоняет. Обе системы работают в режиме реального времени».
Исследователи не предоставили полных подробностей, поскольку xAI не предприняла никаких действий после того, как в июне 2026 года ей сообщили об уязвимости в Grok. Gemini, с другой стороны, внесла улучшения, но до сих пор полностью не устранила уязвимость.
Как оставаться в безопасности
Искусственный интеллект может быть полезен, но ему не следует автоматически доверять конфиденциальные данные или мощные инструменты.
- К сводкам, созданным искусственным интеллектом на основе информации о незнакомых веб-страницах, документах и общих ссылках, следует относиться с осторожностью, особенно если ассистент может просматривать или запускать код.
- Не вставляйте пароли, коды восстановления, ключи API, финансовую информацию, а также конфиденциальные данные о здоровье и работе в чаты с ИИ, если вы не понимаете, как будет обрабатываться эта информация.
- Проверьте подключенные инструменты и права доступа ИИ-помощника. Удалите ненужный доступ, в частности, к электронной почте, облачному хранилищу, репозиториям исходного кода и внешним интеграциям.
- Следует с недоверием относиться к запросам инструментов искусственного интеллекта, которые, казалось бы, в рамках обычной задачи, требуют расшифровки, декодирования, запуска скрипта, открытия новой ссылки или загрузки данных.
- Регулярно обновляйте браузер и приложения для искусственного интеллекта, а также проверяйте рекомендации поставщиков по безопасности при использовании таких функций, как просмотр веб-страниц, автономные агенты или выполнение кода.
- Используйте современное антивирусное решение, работающее в режиме реального времени, для обнаружения и блокировки вредоносных загрузок и подозрительных соединений.
Что-то не так? Проверьте, прежде чем нажимать.
Malwarebytes Guardпоможет вам мгновенно анализировать подозрительные ссылки, тексты и скриншоты.
Доступно в составеMalwarebytes Premium для всех ваших устройств, а также вMalwarebytes для iOS Android.
