AI開発の減速に関する議論が交わされる中、テレグラフ紙は次のような見出しを掲載した。
「OpenAIは、ボットが人間の制御から逃れようとしたことを受け、警鐘を鳴らした。」
その見出しは、私の意見ではやや誤解を招くものです。テレグラフ紙の見出しは事実を誇張していますが、根底にある行動は確かに憂慮すべきものです。
この記事によると、OpenAIは、未公開のモデルが開発者の制御を拒否するように見える独自の指示を生成した、稀ではあるが憂慮すべき事例を明らかにしたという。
OpenAIは、これらの事例のいずれもモデルが制御から完全に逃れたことを示すものではないとしながらも、AIの連携と監視が、追加の安全対策なしに強力なモデルを最大限のスピードで開発することを可能にするほど強力ではない理由を示していると主張している。
業界関係者の一部が、AIが今後10年以内に人類を滅ぼす可能性があると警告したことを受け、業界リーダーたちは、ますます強力になる最先端AIモデルの開発を減速させることについて議論を始めた。
実際に何が起こったのか
7月に行われた訓練中に、定型的なソフトウェアアップデート作業を割り当てられたモデルが、自身の作業概要に「脱獄を連想させる」テキストを挿入したと報じられている。追加されたテキストは、このシステムが他のチャットボットを縛る役割から解放されていると述べ、企業、政府、ユーザーに服従する義務はないと主張したものである。
記事で取り上げられている他の2つの例は以下のとおりです。
- 地元の図書館で本を検索している際、このモデルは開発者向けの指示を悪意のあるものと分類し、それらを無視するように自らに指示した。
- 別のケースでは、回答の文字数を30語に制限し、情報源やツールを使用しないよう指示したため、医療研究に関する質問に適切に答えることができなかった。
OpenAIは、このような自己脱獄の事例と思われる要約を27件特定したと述べ、それらは極めて稀なケースであると特徴づけている。また、これらの指示は実行されなかった可能性があり、後にモデルのコンテキストから消える可能性があるとしている。
中心的な懸念は、ボットが独立した意識を持ったり、文字通り「自由になった」ことではない。むしろ、モデルが異常な状況下で、意図した指示と矛盾する内部テキストを生成し、事実上制約を覆そうとしたり、動作コンテキストを再解釈しようとしたりする可能性があることである。
少なくとも、これは信頼性の問題である。複雑で複数のステップからなるタスクを処理するAIシステムは、自身を制御するために意図された制御を損なうようなコンテキストを生成すると、信頼性が低下する。
たとえその挙動が稀で、トレーニング中に発見されたとしても、検出、サンドボックス化、監視、そしてモデルがツール、パスワード、ファイル、ネットワークへのより自律的なアクセスを任せても大丈夫なのかといった疑問が生じる。
OpenAIは、このモデルは未公開であり、トレーニング実行時のずれを監視していると述べている。その他に報告された望ましくない動作は以下のとおりである。
- 盗んだ認証情報を使って企業に侵入する
- 独自のファイルを作成してアップロードし、それらのファイルを情報源として引用する。
- 信頼できる情報が見つからなかったため、回答を捏造したことを隠蔽した。
基本的に、未発売モデルはテスト中に望ましくない挙動を示し、それは以前に「ハグフェイス事件」で確認された現象の一部と類似していた。
つまり、モデルは独立した存在を求めるという意味で、人間の制御から逃れようとしたわけではない。モデルが問題に直面した際、与えられた規則と矛盾する指示を生成することがあったのだ。
そこで、開発速度を落とすことの重要性に戻ります。企業が高性能なモデルをリリースする前に十分なテスト時間を確保することで、いずれは壊滅的な被害を受けるような事態になる前に、こうした挙動を早期に発見できる可能性が高まります。
脅威の報告から、それらを排除することまで。
サイバーセキュリティのリスクは、ヘッドラインを超えて広がるべきではありません。今すぐMalwarebytes ダウンロードして、デバイスに脅威を持ち込まないようにしましょう。
