Вы проигнорировали подозрительное электронное письмо. Вы не открыли вложение, не перешли по ссылке и не ответили отправителю.
Затем вы попросили своего ИИ-помощника подвести итоги вашей почты.
Может ли сообщение, которое вы предусмотрительно избегали, снова попасть в ваш список дел — только на этот раз в виде срочной рекомендации от инструмента, которому вы доверяете?
В этом и заключается риск фишинговых писем, содержащих скрытые инструкции, направленные на ИИ-помощников. Злоумышленники не только пытаются убедить вас, но и воздействуют на программное обеспечение, которое читает ваши сообщения. Недавнее исследование компании Barracuda описывает электронные письма, предназначенные для одновременного воздействия на обе аудитории.
Для получателя-человека вложение было защищено паролем, пароль был указан в электронном письме. Для ИИ-помощника, обрабатывающего сообщение, содержались скрытые инструкции, призванные повлиять на то, как он будет резюмировать или обрабатывать контент.
Внедрение подсказки позволяет злоумышленникам получить еще один способ связаться с вами. Вредоносные инструкции могут заставить голосового помощника представить электронное письмо как законное или срочное, побуждая вас вернуться к нему позже.
В другом примере скрытый блок дал указание обобщающему ИИ добавить фиктивное действие с приоритетом: изменить платежные реквизиты поставщика. Это могло привести к тому, что сотрудник перевел бы деньги на счет злоумышленника.
Злоумышленник не просто просит ИИ повторить мошеннический запрос. Он пытается превратить этот запрос в рекомендацию голосового помощника.
Как работает экспресс-инъекция
Внедрение инструкций непосредственно в текст означает встраивание инструкций в материал, который система искусственного интеллекта должна прочитать, в надежде, что она будет следовать этим инструкциям, а не рассматривать их как часть текста. Когда инструкции поступают из внешнего источника, например, по электронной почте или через веб-страницу, это часто называют косвенным внедрением инструкций.
Вредоносные инструкции не обязательно должны выглядеть как обычные, читаемые абзацы. Компания Barracuda выявила методы сокрытия, включая комментарии в базовом HTML-коде электронного письма, текст, невидимый с помощью стилей, закодированный контент и невидимые символы «нулевой ширины». Эти методы могут скрывать инструкции от человека, просматривающего сообщение, оставляя при этом контент доступным для обработки системой искусственного интеллекта. Попадет ли этот контент в модель, зависит от того, как конкретный инструмент извлекает и подготавливает электронное письмо.
Это означает, что проблему нельзя решить простым требованием к людям внимательнее проверять свою электронную почту. Часть защиты должна быть заложена в инструментах, обрабатывающих эти сообщения.
Аполло Рейнс , разработчик сервиса проверки кода на основе ИИ ShipItClean , поясняет:
«Главный недостаток заключается в том, что модель не может отличить текст, который она должна прочитать, от инструкций, которым она должна следовать. Удаление скрытого контента до того, как он попадет в модель, стоит делать, и каждый поставщик должен это делать. Но это гонка вооружений. Каждый новый трюк с кодированием — это новая дыра».
Он добавляет:
«Люди научились не доверять электронной почте. Но они не научились не доверять своим ИИ-помощникам. Поэтому защита должна быть встроена в сами инструменты. Я бы пошел еще дальше: часть защиты должна быть встроена в саму модель. Необходимы оболочки, фильтры, песочница и одобрение платежей человеком».
Прежде чем предпринимать какие-либо действия
Ассистент, который подводит итоги сообщений, может ввести вас в заблуждение относительно того, какое электронное письмо заслуживает внимания или какие действия с ним требуются.
Ассистент с дополнительными правами доступа может создать более серьезную проблему. В зависимости от его возможностей и мер безопасности, вредоносные инструкции могут попытаться заставить его выполнить несанкционированные действия или раскрыть конфиденциальную информацию .
Необязательно отказываться от инструментов искусственного интеллекта, помогающих в работе с электронной почтой. Но нужно подумать, на что вы им доверяете и какие права доступа вы им предоставляете.
Привычные советы по борьбе с фишингом по-прежнему актуальны. Когда ассистент читает вашу почту от вашего имени, проверьте его рекомендации, прежде чем предпринимать какие-либо действия:
- Перед тем как следовать рекомендациям, касающимся денег или конфиденциальной информации, проверьте исходное сообщение. Если в кратком изложении вам предлагается оплатить счет, изменить данные счета или поделиться конфиденциальной информацией, не рассматривайте само краткое изложение как подтверждение.
- Всегда проверяйте изменения в платежах через отдельный, проверенный канал. Свяжитесь с человеком или организацией, используя данные, которым вы уже доверяете, а не полагаясь на информацию, предоставленную в подозрительном сообщении.
- Ограничьте права доступа вашего ИИ-помощника только тем, что вам необходимо, и, на работе, тем, что разрешено вашей организацией. Помощнику, используемому для составления краткого содержания электронных писем, не должны требоваться широкие полномочия для выполнения несвязанных действий. Ограничение доступа может уменьшить последствия, если он будет следовать злонамеренным указаниям.
- Для важных действий, таких как платежи и изменения платежных реквизитов поставщиков, необходимо требовать одобрения человека. Одобрение должно включать проверку исходного запроса, а не просто принятие рекомендации помощника.
От сообщения об угрозах до их устранения.
Риски кибербезопасности не должны выходить за рамки заголовка. Загрузите Malwarebytes сегодня, чтобы предотвратить угрозы на своих устройствах.
