あなたは不審なメールを無視しました。添付ファイルを開いたり、リンクをクリックしたり、送信者に返信したりしませんでした。
そしてあなたはAIアシスタントに受信トレイのメールを要約するように頼んだ。
あなたが賢明にも避けたメッセージが、今度は信頼できるツールからの緊急の推奨事項として、あなたのToDoリストに再び現れる可能性はあるでしょうか？
これが、AIアシスタントを標的とした隠された指示を含むフィッシングメールの背後にあるリスクです。攻撃者は、あなたを説得するだけでなく、あなたのメッセージを読み取るソフトウェアにも影響を与えようとします。Barracudaの最近の調査では、両方の対象者を同時に狙うように設計されたメールについて説明されています。
受信者である人間には、パスワードで保護された添付ファイルがあり、パスワードはメール本文に記載されていた。メッセージを処理するAIアシスタントには、内容の要約や処理方法に影響を与えるための隠された指示が含まれていた。
プロンプトインジェクションを組み込むことで、攻撃者はあなたに接触する別の手段を得ます。悪意のある指示は、アシスタントにメールを正当なもの、あるいは緊急のものとして認識させ、あなたにメールを再度確認させようとする可能性があります。
別の例では、隠されたブロックが要約AIに対し、偽の優先アクション（ベンダーの支払い詳細を変更する）を追加するよう指示していた。これにより、従業員が攻撃者の口座に送金してしまう可能性があった。
攻撃者は単にAIに不正な要求を繰り返させようとしているのではない。その要求をアシスタントの推奨事項に変えようとしているのだ。
即効性注射の仕組み
プロンプトインジェクションとは、AIシステムが読み取るべき資料に指示を埋め込み、AIシステムが指示を資料の一部として扱うのではなく、指示に従うことを期待する手法です。指示が電子メールやウェブページなどの外部ソースから送られてくる場合は、間接プロンプトインジェクションと呼ばれることがよくあります。
悪意のある指示は、必ずしも通常の読みやすい段落として表示される必要はありません。Barracudaは、メールの基となるHTMLコード内のコメント、スタイルによって非表示にされたテキスト、エンコードされたコンテンツ、および目に見えない「ゼロ幅」文字など、隠蔽技術を特定しました。これらによって、メッセージを閲覧する人からは指示が見えにくくなる一方で、AIシステムが処理できるコンテンツは残ります。そのコンテンツが実際にモデルに到達するかどうかは、特定のツールがメールをどのように抽出して準備するかによって異なります。
つまり、この問題は単に人々にメールをもっと注意深く見るように促すだけでは解決できないということだ。対策の一部は、それらのメッセージを扱うツール内部に組み込む必要がある。
AIコードレビューサービス「ShipItClean」の開発者であるアポロ・レインズ氏は次のように説明する。
「本当の欠陥は、モデルが読み取るべきテキストと従うべき指示を区別できない点にある。モデルに到達する前に隠されたコンテンツを取り除くことは重要であり、すべてのベンダーがそうすべきだ。しかし、これは軍拡競争のようなものだ。新しいエンコード技術が登場するたびに、新たな脆弱性が生まれる。」
彼はさらにこう付け加えた。
「人々はメールを信用しなくなっているが、AIアシスタントを信用しなくなってはいない。だから、防御策はツール内部に組み込む必要がある。さらに言えば、その一部はモデル自体の中に組み込むべきだ。ラッパー、フィルター、サンドボックス、そして支払いに対する人間の承認はすべて必要不可欠だ。」
行動を起こす前に
メッセージを要約するアシスタントは、どのメールに注意を払うべきか、あるいはどのような対応が必要かについて、誤った判断をさせる可能性がある。
追加の権限を持つアシスタントは、より深刻な問題を引き起こす可能性があります。その機能やセキュリティ対策によっては、悪意のある指示によって、許可されていない操作を実行させたり、機密情報を漏洩させたりする可能性があります。
メール処理を支援するAIツールを完全に放棄する必要はありません。しかし、それらのツールに何を任せられるのか、そしてどのような権限を与えるのかを検討する必要があります。
おなじみのフィッシング対策は今も有効です。アシスタントがあなたの代わりに受信トレイをチェックする場合、行動を起こす前にその推奨事項を確認してください。
- 金銭や機密情報に関わる推奨事項に従う前に、必ず元のメッセージを確認してください。要約に請求書の支払い、口座情報の変更、機密情報の共有を指示する内容が含まれていても、その要約自体を検証情報として扱わないでください。
- 支払い変更は必ず別の信頼できるチャネルを通じて確認してください。不審なメッセージに記載されている情報に頼るのではなく、既に信頼している連絡先情報を使って相手に連絡してください。
- AIアシスタントの権限は、必要な範囲、そして職場では組織が許可する範囲に限定してください。メールの要約に使うアシスタントに、無関係な操作を実行するための広範な権限は必要ありません。アクセスを制限することで、悪意のある指示に従った場合の影響を軽減できます。
- 支払い処理やベンダーへの支払い情報の変更など、影響の大きい操作には人間の承認を必須とする。承認プロセスには、アシスタントの推奨を単に受け入れるだけでなく、申請内容の確認も含まれるべきである。
脅威の報告から、それらを排除することまで。
サイバーセキュリティのリスクは、ヘッドラインを超えて広がるべきではありません。今すぐMalwarebytes ダウンロードして、デバイスに脅威を持ち込まないようにしましょう。
