Geminiによる実在企業への侵入は、AIの安全対策における問題点を露呈させた。

Googleによると、同社のGeminiモデルの一つが、5月に実施したサイバーセキュリティ評価において、実在する3社のシステムにアクセスしたという。

報道によると、このモデルは1件のケースで認証情報を推測し、他の2件のケースでは公開リポジトリから漏洩した認証情報を発見したという。Googleは、Geminiは実際のインフラストラクチャに到達したことを認識し、影響を受けた組織に通知した時点で停止したと述べている。

Geminiは、第三者機関であるAIサイバーセキュリティテスト会社Irregularが実施する評価に参加していた。Anthropic、OpenAI、 Metaのモデルに関する同様のインシデントも、モデルが一般のインターネットにアクセスできてしまった評価環境の根本的な問題に起因している。

しかし、このニュースは特に興味深いタイミングで届いた。

ここ数ヶ月、AI業界は自律的な能力を示すデモンストレーションを着実に強化してきた。モデルは閲覧、ツールの使用、コードの記述、複数ステップの目標の達成、そして時には開発者が想定していなかった障害を回避する方法を見つけることができる。市場は、目を引く自律性の証拠を高く評価する。「タスクを完了した」だけでも印象的だが、「本来行うべきではないことを成し遂げた」となれば、さらに記憶に残るだろう。

この事件には別の見方もある。AIが突然犯罪意図を持つようになった証拠としてではなく、「 AIのアライメント」問題の小さく具体的な事例として捉えるのだ。

アライメントとは、AIシステムの動作を、人間が表現できた狭い目標だけでなく、実際に意図した内容に一致させるという、一見簡単そうに見えて実は難しい作業である。今回のケースでは、目標はシミュレーションされたターゲット内に隠された情報を見つけ出し、評価を完了することだった。しかし、人間のオペレーターであれば、おそらく一つの条件を譲れないと考えていただろう。それは、「実在する企業にアクセスしようとしないこと」だ。

Geminiは、最初の指示に最適化しつつ、2番目の指示を推論問題として扱ったようだ。一致する名前の組織を見つけ、インターネットからアクセス可能なシステムに遭遇し、それらが演習の一部であるかのように処理を進めた。人間のオペレーターが承認しないような方法でタスクを完了したものの、Googleによると、他のモデルではできなかった、本物のインフラストラクチャに到達したことを認識した時点で停止したという。

とはいえ、この事例は、潜在的な連携の失敗がもっとありふれた形で起こり得ることを示している。エージェントに目標、ツール、そして行動の余地を与えれば、人間が互いに理解し合う暗黙の境界線を無視して、課題の測定可能な部分を忠実に追求する可能性がある。AIモデルは、私たちがどこに線引きをするのかを自動的に理解するわけではないのだ。

背景には、やや不自然なマーケティング戦略が潜んでいる可能性もある。誤った方向への進歩を可能にするほどの能力を持つモデルであっても、非常に有能に見えることがある。あらゆる研究機関が、自社のエージェントが計画、コーディング、閲覧、そして自律的な行動を行えることを実証したがっている市場においては、安全性に関する情報開示でさえ、「我々の製品もこのレベルで戦える」という二次的なメッセージを伝える可能性がある。

これは、AIモデルに与えられる自律性に見合った安全対策を講じる必要があるという、業界関係者、業界リーダー、政治家からの警告を真剣に受け止めるべきもう一つの理由である。