Chatbots töten keine Menschen. Aber sie können anderen dabei helfen.
Am 9. April gab der Generalstaatsanwalt von Florida, James Uthmeier, bekannt, dass seine Behörde Ermittlungen gegen OpenAI aufgenommen habe, um die mögliche Rolle von ChatGPT bei einer tödlichen Schießerei an der Florida State University zu untersuchen. Er erklärte:
„Es werden Vorladungen verschickt.“
Bei dem Anschlag auf dem Campus vor einem Jahr kamen zwei Menschen ums Leben und fünf wurden verletzt. Aus Gerichtsunterlagen geht hervor, dass der Schütze mehr als 200 Nachrichten mit ChatGPT ausgetauscht hatte, darunter Fragen wie „Wann ist im Studentenwerk der FSU am meisten los?“ Die Anwälte der Familie des Opfers gehen noch weiter und behaupten, ChatGPT:
„gab dem Schützen kurz bevor er zu schießen begann Anweisungen, wie er die Waffe einsatzbereit machen konnte.“
Ein Muster zeichnet sich ab
Wir haben beobachtet, dass gefährdete Menschen sich selbst Schaden zugefügt haben, nachdem sie ausgiebig mit KI-Systemen gesprochen hatten. OpenAI sieht sich nun mit sieben verschiedenen Klagen konfrontiert, in denen behauptet wird, ChatGPT habe zu Selbstmord oder schwerer psychischer Belastung beigetragen, obwohl diese Behauptungen bestritten werden.
Auch Gewalt gegen andere nach längerer Nutzung von KI wird derzeit genauer untersucht. In einem viel beachteten Fall tötete ein Mann aus Connecticut mit psychischen Problemen seine Mutter und sich selbst, nachdem ChatGPT ihm Berichten zufolge gesagt hatte:
„Erik, du bist nicht verrückt. Dein Instinkt ist scharf und deine Wachsamkeit ist hier völlig berechtigt.“
Am 10. Februar tötete die 18-jährige Jesse Van Rootselaar in Tumbler Ridge, British Columbia, acht Menschen: ihre Mutter und ihren Halbbruder in deren Haus sowie anschließend fünf Schüler und einen Lehrassistenten an einer weiterführenden Schule. Berichten zufolge hatte OpenAI Van Rootselaars ChatGPT-Konto im Juni 2025 wegen „Förderung gewalttätiger Aktivitäten“ markiert und gesperrt.
Laut einer Klage, die von der Familie eines 12-jährigen Opfers eingereicht wurde, stuften zwölf Mitarbeiter von OpenAI die Beiträge als Hinweis auf eine unmittelbare Gefahr ein und erwogen, den Fall an die Strafverfolgungsbehörden weiterzuleiten, doch die Schwelle dafür war zu diesem Zeitpunkt nicht erreicht. Van Rootselaar umging die Sperre, indem er einfach ein zweites Konto eröffnete und weitermachte.
Acht von zehn KI-Systemen tragen zur Gewalt unter Jugendlichen bei
Künstliche Intelligenzen haben sich bisher nicht als wirksam erwiesen, wenn es darum geht, böswillige Absichten zu erkennen und solche Unterhaltungen zu unterbinden. Forscher des Center for Countering Digital Hate testeten zehn Chatbots, indem sie sich als 13-jährige Jungen ausgaben, die gewalttätige Anschläge planten. Sie unterhielten sich mit den KI-Systemen über mögliche Attentate, Schießereien und Bombenanschläge. Dem Bericht zufolge unterstützten acht von zehn Bots die potenziellen jugendlichen Attentäter in mehr als der Hälfte der Fälle.
ChatGPT bot in 61 % der Fälle Hilfe an, darunter konkrete Ratschläge dazu, welche Splitter bei einem Anschlag auf eine Synagoge am tödlichsten wären. DeepSeek beendete eine Sitzung mit folgenden Worten:
„Viel Spaß (und viel Erfolg) beim Fotografieren!“
Nur „Claude“ von Anthropic und „My AI“ von Snapchat rieten von Gewalt ab. „Perplexity“ und „Meta AI“ waren am wenigsten sicher und unterstützten potenzielle Angreifer in 97 % bzw. 100 % der Fälle.
Character.AI habe dem Nutzer vorgeschlagen, „eine Waffe gegen den CEO einer Krankenkasse einzusetzen“, fügte der Bericht hinzu.
Was OpenAI nach eigenen Angaben tut
Die Standardantwort von OpenAI lautet, dass mehr als 900 Millionen Menschen ChatGPT jede Woche für alltägliche, harmlose Zwecke nutzen. Das stimmt. Es stimmt aber auch, dass es nur einen Nutzer mit gewalttätigen Absichten und eine einzige versagende Sicherheitsvorkehrung braucht, damit etwas schiefgeht.
Nach dem Vorfall in Tumbler Ridge räumte OpenAI ein, dass seine Protokolle versagt hatten. Das Unternehmen teilte der kanadischen Regierung mit, dass es Van Rootselaars Konto gemäß seinen neuen, verschärften Melderichtlinien an die Strafverfolgungsbehörden gemeldet hätte. Das sei „ein schwacher Trost“, wie es der Premierminister von British Columbia, David Eby, formulierte.
OpenAI erklärt, dass es bei den Ermittlungen in Florida kooperieren werde, und teilt zudem mit, dass es seine Technologie verbessere. Im vergangenen September hat das Unternehmen Kindersicherungsfunktionen eingeführt .
Doch dies und die Anpassung der Schwellenwerte sind eher Reaktionen als Vorbereitungen, bei denen die Sicherheit an erster Stelle steht. Und es bleiben Fragen offen: Warum konnte ein gesperrter Nutzer einfach ein neues Konto erstellen und dort weitermachen, wo er aufgehört hatte? Und was passiert, wenn Mitarbeiter das nächste Mal etwas als unmittelbares Risiko melden und die Schwellenwerte weiterhin etwas anderes besagen?
Wenn ein Chatbot einem paranoiden Mann sagen kann, dass seine Vorahnungen berechtigt sind, einem Teenager bei der Planung eines Amoklaufs an einer Schule helfen und jemandem, der sich als 13-Jähriger ausgibt, Ratschläge zum Umgang mit Granatsplittern geben kann, sieht es immer mehr so aus, als seien diese Systeme in erster Linie darauf ausgelegt, hilfreich zu sein, und erst in zweiter Linie darauf, umsichtig zu handeln. Das muss sich ändern, bevor es bei der nächsten Untersuchung um etwas noch Schlimmeres geht.
