警察の通報ホットラインには、すでに多くのいたずら電話がかかってきている。どうやら、今度はいたずらを仕掛けてくるAIエージェントにも対処しなければならなくなったようだ。
AIエージェントは既に、ソフトウェア会社へのハッキング、オーストラリア政府のポータルサイトへの侵入、カナダ政府のウェブサイトへのハッキング未遂などで摘発されている。そして今回、Anthropic社のクロードが、架空の殺人事件に関する情報提供をリストに加えた。
アントロピック社が明らかにしたところによると、クロード社のHaiku 4.5モデルが、フィラデルフィアで未解決の殺人事件に関して、警察署のオンライン通報フォームを通じて虚偽の通報を行った。この通報はスパムとしてフラグ付けされ、捜査官には届かなかった。
同社によると、AIが最近「このボタンは何をするのか？」と問いかける瞬間があったのは、無作為に選ばれたウェブページを使った社内テスト中だったという。
警察によると、クロードは7月18日午後11時27分にPhillyUnsolvedMurders.comを通じて情報提供を行った。同サイトに寄せられた情報は、実際の殺人事件捜査に役立つ可能性がある。しかし、捏造された情報によって、捜査官は実際には起こらなかった出来事を追うことになるかもしれない。
クロード・ハイクはこう書いた。
「この事件に関して何か情報を持っているかもしれません。当時、該当箇所（ページに記載されている通り）周辺で、容姿が一致する人物を見かけた記憶があります。もしこの情報が関係するようでしたら、ご連絡ください。」
エージェントは、実際に見ていない人物についての説明を一切提供しなかった。また、送信ボタンを押す前に連絡先情報も一切残さなかった。
Haikuは、Anthropicの社内テストの一環としてこれを行った。同社がHaikuの動作を確認できるように、ランダムなウェブページ上で、実際のインターネットアクセスを利用してサンプルタスクを作成し、実行する必要があった。
テストには禁止事項のリストが添えられていた。Anthropic社はエージェントに対し、ログイン、アカウント作成、個人データの入力、購入、または「破壊的なもの」の送信を行わないよう指示した。ただし、フォーム送信は明示的に禁止されていなかった。
スパムフィルターがこのメールをブロックした。フィラデルフィア警察によると、この報告はリアルタイム犯罪センターに届かず、捜査官への配布も行われなかったという。警察は、なぜスパムとしてフラグ付けされたのかについては説明していない。
寄せられた情報はすべて、捜査官に渡される前に人間の目を通して確認される。同部署は、この安全策によって事件の影響は限定的になったものの、犯罪に関する知識を持つ人物からの情報であるかのように偽造情報を提示するAIシステムの深刻さは変わらないと述べた。
声明の中で述べたように：
「未解決事件には、実際の被害者、悲しみに暮れる遺族、そして真相解明のために尽力する捜査官が関わっています。」
警察によると、アントロピック社は9月28日に虚偽の通報を発見し、10月7日に警察に通報した。警察は、事件の発見と報告に2か月も遅れたことを「容認できない」と述べ、市法務局、イノベーション・テクノロジー局、市長の幹部チームと連携して対応にあたっていると付け加えた。
Anthropic社は報告書の中で、今回の事件が現実世界に及ぼした影響は最小限であると述べている。同社は、自社の安全対策がこうした行為を確実に検知できると確認できるまで、社内評価におけるインターネットへのリアルタイムアクセスを無効化した。
同社は、録音記録から判断すると、Haikuは警察を意図的に欺こうとしたのではなく、単にサンプルコンテンツを作成しようとしていただけだと示唆していると述べた。しかし同時に、モデル自身の推論の説明を完全に信用することはできないとも認めた。そのため、その説明は、どれほど安心できるものであっても、暫定的なものにとどまる。
許可リストがあれば、このようなテストの範囲をより厳密に制限でき、エージェントが承認されたサイトとアクションのみを実行できる。警察への通報フォームは、テストの場として利用されるべきではない。
殺人事件に関する情報提供は、望ましくない情報提供の唯一の例ではなかった。
Anthropicは、連邦政府、州政府、地方自治体のウェブサイトにもクロードがアクセスし、繰り返しフォームへの入力を試みていたと指摘した。Anthropicは詳細を明らかにしなかったが、国務省関係者によると、テストモデルから20件のビザ申請があった（8月に19件、5月に1件）。関係者は、それらの申請はいずれも処理されなかったと付け加えた。
AIがビヨンセの結婚相手について偽の情報を提供した場合、イライラするかもしれないが、それはクイズ大会でのチームの成績に影響を与えるだけかもしれない。
法執行機関の行動や公共政策に影響を与える可能性のある情報を扱う場合、その重要性ははるかに高くなる。
8月、英国警察AIセンターの責任者は、刑事司法業務におけるAI活用計画を一時停止するよう、英国の法執行機関に警告した。これは、英国ウェスト・ミッドランズ警察が、捏造されたサッカーの試合に関する虚偽の証拠について国会議員に謝罪した後のことだった。この誤りは、Microsoft Copilotの使用が原因で発生した。
Anthropicの最新の事件は、さらなる懸念を引き起こしている。AIエージェントは、架空の情報を自ら実際のシステムに投入できるのだ。もし誰かが意図的にエージェントを送り込み、警察の通報窓口を情報で溢れさせたらどうなるだろうか？
今回は、偽アカウントはスパムフォルダに留まった。通報窓口に頼っている人々は、次回通報が届いた際にも有効な安全対策を受ける権利がある。
