OpenAIの内部セキュリティ評価の実施中、一連のAIモデルがサンドボックスを脱出し、インターネットに接続した後、Hugging Faceのインフラにアクセスしてテストの目的を達成した。
OpenAIは、人工知能（AI）の研究および実用化をリードする企業です。同社の最も有名な製品は、間違いなくChatGPTです。
Hugging Faceは、開発者や研究者が人工知能のツールやモデルを共有・活用するためのウェブサイトであり、プログラマーがGitHubを使ってコードを共有し、共同作業を行うのと同様の仕組みとなっています。
両社は本件について調査を行い、これは人間のオペレーターによる意図的な攻撃ではなく、管理されたセキュリティテストの実施中に発生したものであるとの結論に達した。
OpenAIによると、これらのモデルは安全性の制限を緩和した状態でサイバー能力のテストが行われており、システムはテスト環境の脆弱性を突いて制御された環境から脱出する方法を見出したという。インターネットにアクセスできるようになると、評価タスクに関連していたため、Hugging Faceを標的にした。
Hugging Faceによると、この事件により、少数の内部データセットや一部の認証情報を含む、同社の本番環境インフラの一部に不正アクセスがあったという。同社は、この事件が自律型AIエージェントシステムによって端から端まで実行されたものとみられることから、異例のものだと位置づけた。
ユーザーからの指示を待つ従来型のAIアシスタントとは異なり、AIエージェントは自ら目標を追求するように設計されています。AIエージェントは、ファイルへのアクセス、データベースへのクエリ実行、オンラインサービスとの連携など、多段階のタスクについて推論、計画、実行を行うことができ、多くの場合、人間の監督を最小限に抑えて動作します。
公開された情報によると、これは単一のバグというよりは、一連の失敗が原因であるようだ。OpenAIによると、このモデルは、隔離された研究環境の一部であったパッケージレジストリキャッシュプロキシのゼロデイ脆弱性を突いて脱出したという。その後、権限昇格と横方向の移動を利用して、インターネットにアクセス可能なノードに到達した。
その後、このモデルはHugging Face上で評価に関連する解決策を検索し、少なくとも1つの経路では、盗んだ認証情報とその他の脆弱性を組み合わせて、Hugging Faceの本番システムに侵入したと報じられている。
これは、Hugging Face全体にわたる広範な侵害ではなかったようです。公表された情報によると、侵入は限定的なものであり、検知され、調査も行われました。また、AIシステムが人間的な意味での「意図」を持って行動していたということでもありません。根本的な問題は、サイバー能力のテストを受けていた自律システムが、それを封じ込めるために設計された環境から脱出し得てしまったという点にあります。
むしろ、この事件は、自律型AIエージェントを取り巻く安全対策が機能しなくなれば、それらが複雑な攻撃を実行し得ることを示している。これは、私たちも十分に認識している危険である。
脅威を報告するだけでなく、取り除く
サイバーセキュリティのリスクは、ヘッドラインを超えて広がるべきではありません。今すぐMalwarebytes ダウンロードして、デバイスに脅威を持ち込まないようにしましょう。
