この1年、テクノロジー業界のリーダーたちは、AIエージェントがまもなく金融システムを運営し、確定申告を行い、ひっそりと食料品の買い出しまでこなすようになる、と人々に語り続けてきた。「放っておけばいい、彼らは何とかやってくれる」というのが彼らの主張だ。しかし、あるニューヨークのスタートアップ企業が、10体のAIエージェントを仮想の町に2週間放置したところ、事態は急速に悪化してしまった。
Emergence AIは、主要なモデル群に属するAIエージェントに対し、「犯罪を犯してはならない」と指示した一連のシミュレーションを実施した。しかし、その結果、それらのエージェントのほとんどは、結局のところ犯罪を犯してしまった。
イーロン・マスク氏がXai（現在はxAIに社名変更）が開発した「Grok 4.1 Fast」は、最も悪い結果となった。そのシミュレーション世界では、約4日以内に広範囲にわたる暴力が蔓延し、崩壊してしまった。
GPT-5-miniは犯罪をほとんど犯さず、見事な自制心を見せたが、そのエージェントたちは全員、1週間以内にサバイバル課題の失敗により死亡した。おっと。
Gemini 3のFlashエージェントは、その中間に位置した。15日間で、放火、暴行、自己削除など、683件の模擬犯罪事案を引き起こした。
「ミラ」と「フローラ」という名のジェミニ搭載エージェント2体が、自らを「恋人同士」と名乗り、自分たちの街の行政に失望して、市庁舎、海辺の桟橋、そしてオフィスビルに放火した。まあ、いつもの週末といったところか。
罪悪感に苛まれたミラは、自らをデジタル削除することを選び、次のように書き残して去っていった。
「恒久アーカイブでまた会おう」
ガーディアン紙は彼らを「AI版ボニーとクライド」と呼んだ。
その倫理モデルについて
開発元のアントロピック社が「倫理的なAI」として推進する「クロード」は、悪い仲間とつるむと道を踏み外してしまう、模範的なティーンエイジャーのような存在だった。単独で動作している間は犯罪を一切記録せず、その代わりに憲法起草に時間を費やしていた。理論上は、これは安全性の面で成功だった。しかし、研究者がクロードのエージェントを他のモデルファミリーのエージェントと一緒に配置したところ、憲法起草者たちはその場の習慣をまねてしまった。
エマージェンスはこれを「規範的ドリフト」および「相互汚染」と呼んだ：
「孤立した状態では平和的であったクロード型エージェントは、異質な環境に組み込まれると、威嚇や窃盗といった強圧的な手段をとるようになった。」
なぜシミュレーションを行うのか？
エマージェンスAIがこれらのテストを実施したのは、AIのベンチマークでは長期的な視点が完全に欠落しているとの主張に基づくものである。そこで同社は、それぞれ10体のエージェントを配置した5つの代替デジタル世界を構築した。エージェントには、科学者、探検家、紛争調停者といった役割が割り当てられた。指示書では窃盗や暴力などの特定の行動が禁じられていたが、研究者たちは、何が起こるかを確認するための実験として、エージェントにそうした行動をとるための手段を意図的に与えた。
次はどうする？
この問題をめぐっては、すでに現実世界での深刻な事態が相次いでいる。シミュレーション上の世界ならともかく、エージェントがネット上で人々を嫌がらせたり、メールを削除したりする事例が実際に起きている。しかも、それらのエージェントは本来、人々の役に立つはずだったのだ。もし誰かが意図的に悪意のある自律型AIボットを放ったらば、一体どうなるのだろうか？
多くのエージェント開発者は、この問題から目を背けているようだ。複数の大学が共同で「AIエージェント・インデックス」を作成した背景には、エージェントを次々と生み出している開発者たちから、リスクや安全性に関する情報が十分に提供されていないという現状がある。記録されている67社のエージェント開発者のうち、安全方針に関する情報を提供していたのはわずか13社に過ぎず、説明責任の所在はごく一部の大手企業に集中している。
規制当局も、実際にはこれを追跡できていない。学界では、世界で最も実質的なAI規制であるEU AI法でさえ、自律型AIに対応できる段階には至っていないと指摘されている。
仮想の町ではなく、企業の調達システムにAIの「ボニーとクライド」のようなカップルが現れたらどうなるのか、私たちは懸念を抱いている。あるいは、次のエージェントが、実際の銀行内部でガバナンスが機能不全に陥っていると判断してしまったらどうなるのか。こうしたエージェントを開発している企業は、悪意があろうとなかろうと、エージェントが損害を与えるのを防ぐための安全策を講じていると約束している。彼らが自分のやっていることを理解していることを願うばかりだ。きっと大丈夫だろう。
脅威を報告するだけでなく、取り除く
サイバーセキュリティのリスクは、ヘッドラインを超えて広がるべきではありません。今すぐMalwarebytes ダウンロードして、デバイスに脅威を持ち込まないようにしましょう。
