グロクが未成年者の性的画像のブロックに失敗したことで、単なる「孤立した過失」がxAIの野心に対する世界的な規制ストレステストへと変貌した。立法者や規制当局の反応は、この問題が簡単な謝罪と修正パッチで解決されるものではないことを示唆している。
先週、Grokが「性的表現を伴う服装」の少女たちの画像を生成した件について謝罪したことを報じた。
この謝罪は、2025年8月にGrokが有料の「スパイシーモード」を導入したことを受けたものである。同モードは過激で検閲が緩いものとして宣伝されていたが、実際にはユーザーが性的deepfake 生成することを可能にし、米国やその他の法域の法律で児童性的虐待素材（CSAM）に該当する可能性のあるコンテンツを含むものだった。
ウェブ監視ツールCopyLeaksの報告書は、同意を得ていない有名人を性的暗示のある画像に加工するためにGrokが使用された事例が「数千件」に上ると指摘した。
これは逆効果になり始めている。伝えられるところによると、3人の米国上院議員が、女性や未成年者を対象とした、合意のない性的AI画像の拡散を理由に、イーロン・マスクのGrokX アプリストアから削除するようGoogleとAppleに要請しており、これは両社のアプリストアのルールに違反していると主張している。
上院議員らは共同書簡で次のように述べている：
最近、X AIツールを悪用し、実在する一般市民の同意を得ない性的画像を大量生成している。この傾向には、Grokが画像を改変して女性への性的虐待、屈辱、傷害、さらには殺害を描写する事例も含まれる。一部では、Grokが児童の性的画像を生成したと報告されており、これは想像しうる最も凶悪なコンテンツである。
英国政府も同プラットフォームに対する措置の可能性を示唆している。政府当局者は、独立メディア規制機関であるX取るあらゆる措置を全面的に支持すると表明した。たとえそれが英国規制当局によるプラットフォームの遮断を意味する場合でも。
インドネシアとマレーシアは既に、Grokの「デジタル脱衣」機能が女性や未成年者を対象としたわいせつな加工画像をインターネット上に氾濫させたことを受け、同アプリをブロックした。
結果として、あるユーザーがGrokに独自の「謝罪文」を生成するよう促したところ、実際に生成された。女性や未成年者を性的に描写した画像への反発を受けて、X 有料サブスクライバーのみを対象に画像生成・編集機能に制限X X 主要X これらの機能が事実上有料化された。
偽情報、選挙干渉、deepfakes、虐待画像に既に懸念を抱く立法者にとって、Grokは「素早く動いて物事を壊せ」という理念が、実在の人物を要求に応じて性的に描写するAIと相容れない典型例となりつつある。
次なる規制の波——EUのAI施行規則からプラットフォーム固有の安全義務に至るまで——がこの事例を例外的な事例ではなく、あらゆる大規模視覚モデルが耐えねばならない基準リスクとして扱うことを期待する。
お子様の安全を守りましょう
もし親が子どもの顔に笑顔のスタンプを貼った写真を投稿する理由が気になったことがあるなら、これがその理由だ。
見知らぬ人にあなたの写真を簡単にコピーしたり、再利用したり、改変したりさせないでください。
この事件は、デジタル上の足跡を減らすべきさらなる説得力のある理由です。自分や子供の写真、その他の機密情報を公開ソーシャルメディアアカウントに投稿する前には、慎重に考えてください。
オンライン上で目にするあらゆるもの——画像、音声、テキスト——は、独立して検証できない限り、AI生成の可能性があると見なすべきです。これらは単に世論を操作するためだけでなく、金銭を要求したり、個人情報を搾取したり、虐待的な素材を作成するためにも利用されています。
脅威を報告するだけでなく、ソーシャルメディアの保護を支援します
サイバーセキュリティリスクは見出し以上の広がりを決して許さない。Malwarebytes Identity Theft でソーシャルメディアアカウントを守ろう。
