Das Versäumnis von Grok, sexualisierte Bilder von Minderjährigen zu blockieren, hat einen einzelnen „isolierten Ausrutscher” zu einem globalen Stresstest für die Ambitionen von xAI gemacht. Die Reaktion von Gesetzgebern und Regulierungsbehörden deutet darauf hin, dass dies nicht mit einer schnellen Entschuldigung und einem Hotfix gelöst werden kann.
Letzte Woche berichteten wir über die Entschuldigung von Grok, nachdem das Unternehmen ein Bild von jungen Mädchen in „sexualisierter Kleidung“ generiert hatte.
Die Entschuldigung folgte auf die Einführung des kostenpflichtigen „Spicy Mode“ von Grok im August 2025, der als gewagt und weniger zensiert vermarktet wurde. In der Praxis ermöglichte er es Nutzern, sexuelle deepfake zu generieren, darunter auch Inhalte, die nach US-amerikanischem und anderem Recht als illegales Material über sexuellen Kindesmissbrauch (CSAM) gelten könnten.
Ein Bericht des Web-Überwachungstools CopyLeaks hob „Tausende“ von Vorfällen hervor, in denen Grok dazu verwendet wurde, sexuell anzügliche Bilder von Prominenten ohne deren Zustimmung zu erstellen.
Das beginnt nun nach hinten loszugehen. Berichten zufolge fordern drei US-Senatoren Google und Apple auf, X „Grok“ und X von Elon Musk aus ihren App-Stores zu entfernen. Sie begründen dies mit der Verbreitung nicht einvernehmlicher sexualisierter KI-Bilder von Frauen und Minderjährigen und argumentieren, dass dies gegen die App-Store-Regeln der Unternehmen verstößt.
In ihrem gemeinsamen Schreiben erklären die Senatoren:
„In den letzten Tagen haben X das Grok-KI-Tool der App genutzt, um in großem Umfang nicht einvernehmliche sexuelle Darstellungen von realen Privatpersonen zu generieren. Im Rahmen dieses Trends hat Grok Bilder so verändert, dass sie Frauen zeigen, die sexuell missbraucht, gedemütigt, verletzt und sogar getötet werden. In einigen Fällen hat Grok Berichten zufolge sexualisierte Bilder von Kindern erstellt – die abscheulichste Art von Inhalten, die man sich vorstellen kann.“
Die britische Regierung droht ebenfalls mit möglichen Maßnahmen gegen die Plattform. Regierungsbeamte haben erklärt, dass sie alle Maßnahmen der unabhängigen Medienaufsichtsbehörde Ofcom gegen X uneingeschränkt unterstützen würden. Selbst wenn dies bedeuten würde, dass die britischen Regulierungsbehörden die Plattform sperren könnten.
Indonesien und Malaysia haben Grok bereits gesperrt, nachdem seine Funktion „digitales Entkleiden“ das Internet mit anzüglichen und obszönen manipulierten Bildern von Frauen und Minderjährigen überschwemmt hatte.
Wie sich herausstellte, forderte ein Nutzer Grok auf, eine eigene „Entschuldigung” zu generieren, was das Unternehmen auch tat. Nach heftigen Reaktionen auf sexualisierte Bilder von Frauen und MinderjährigenX , die Bildgenerierung und -bearbeitung auf zahlende Abonnenten zu beschränken, wodurch diese Funktionen auf X wichtigsten X effektiv kostenpflichtig wurden.
Für Gesetzgeber, die sich bereits Sorgen um Desinformation, Wahlbeeinflussung, deepfakes und missbräuchliche Bilddarstellungen machen, wird Grok schnell zum Paradebeispiel dafür, warum„schnell handeln und Dinge verändern”nicht mit KI vereinbar ist, die reale Menschen auf Abruf sexualisieren kann.
Hoffentlich wird die nächste Welle von Vorschriften, die von der Durchsetzung der EU-KI-Richtlinie bis hin zu plattformspezifischen Sicherheitsverpflichtungen reichen, diesen Vorfall als das Basisrisiko betrachten, dem alle groß angelegten visuellen Modelle standhalten müssen, und nicht als Ausnahmefall.
Sorgen Sie für die Sicherheit Ihrer Kinder
Wenn Sie sich jemals gefragt haben, warum Eltern Bilder ihrer Kinder mit einem Smiley im Gesicht posten, dann ist dies der Grund dafür.
Machen Sie es Fremden nicht leicht, Ihre Fotos zu kopieren, wiederzuverwenden oder zu manipulieren.
Dieser Vorfall ist ein weiterer wichtiger Grund, Ihren digitalen Fußabdruck zu verringern. Überlegen Sie sorgfältig, bevor Sie Fotos von sich selbst, Ihren Kindern oder andere sensible Informationen auf öffentlichen Social-Media-Konten veröffentlichen.
Behandeln Sie alles, was Sie online sehen – Bilder, Stimmen, Texte – als potenziell KI-generiert, sofern es nicht unabhängig überprüft werden kann. Diese werden nicht nur dazu verwendet, Meinungen zu beeinflussen, sondern auch, um Geld zu erpressen, persönliche Informationen zu extrahieren oder beleidigendes Material zu erstellen.
Wir berichten nicht nur über Bedrohungen – wir helfen Ihnen, Ihre sozialen Medien zu schützen.
Cybersicherheitsrisiken sollten niemals über eine Schlagzeile hinausgehen. Schützen Sie Ihre Social-Media-Konten mitMalwarebytes Identity Theft .
