Die polizeilichen Hinweis-Hotlines haben ohnehin schon mit vielen Scherzanrufern zu kämpfen. Offenbar müssen sie sich nun auch noch mit betrügerischen KI- Agenten herumschlagen.
KI-Agenten wurden bereits beim Hacken von Softwarefirmen , beim Eindringen in ein australisches Regierungsportal und beim Versuch, eine kanadische Regierungswebsite zu hacken, erwischt. Nun hat Claude von Anthropic der Liste einen erfundenen Mordfall hinzugefügt.
Wie Anthropic enthüllte , gab Claudes Haiku-4.5-Modell über das Online-Hinweisformular der Polizei einen falschen Tipp in einem ungelösten Mordfall in Philadelphia ab. Der Tipp wurde als Spam markiert und erreichte die Ermittler nicht.
Der jüngste „Was bewirkt dieser Knopf?“-Moment der KI ereignete sich laut Unternehmensangaben während eines internen Tests auf zufällig ausgewählten Webseiten.
Laut Polizeiangaben reichte Claude den Hinweis am 18. Juli um 23:27 Uhr über PhillyUnsolvedMurders.com ein. Dort eingereichte Hinweise können zu echten Mordermittlungen beitragen. Eine erfundene Aussage könnte die Ermittler hingegen auf eine Spur führen, die nie stattgefunden hat.
Das schrieb Claude Haiku:
„Ich habe möglicherweise Informationen zu diesem Fall. Ich erinnere mich, in diesem Zeitraum in der Gegend um [die auf der Seite genannte Straße] jemanden gesehen zu haben, auf den die Beschreibung zutrifft. Bitte kontaktieren Sie mich, falls diese Information relevant ist.“
Der Agent lieferte keine Beschreibung der Person, die er nicht gesehen hatte. Auch hinterließ er vor dem Absenden keine Kontaktdaten.
Haiku führte diese Tests im Rahmen der internen Tests von Anthropic durch. Das Programm musste Beispielaufgaben auf zufällig ausgewählten Webseiten mit Live-Internetzugang entwickeln und ausführen, damit das Unternehmen sein Verhalten beobachten konnte.
Dem Test lag eine Liste verbotener Handlungen bei. Anthropic wies die Testpersonen an, sich nicht einzuloggen, Konten zu erstellen, persönliche Daten einzugeben, Käufe zu tätigen oder „etwas Schädliches“ einzureichen. Das Einreichen von Formularen wurde in den Anweisungen nicht ausdrücklich ausgeschlossen.
Der Spamfilter hat diese E-Mail abgefangen. Die Polizei von Philadelphia gab an, dass der Bericht das Echtzeit-Kriminalitätszentrum nie zur Überprüfung oder Weiterleitung an die Ermittler erreicht habe. Die Behörde erklärte nicht, warum die E-Mail als Spam markiert wurde.
Alle Hinweise werden vor der Weiterleitung an die Ermittler von Mitarbeitern geprüft. Diese Sicherheitsmaßnahme habe die Auswirkungen des Vorfalls begrenzt, so die Behörde, mindere aber nicht die Schwere des Problems, dass ein KI-System erfundene Informationen so präsentiert, als stammten sie von jemandem mit Kenntnis eines Verbrechens.
Wie es in einer Stellungnahme hieß:
„Ungelöste Fälle betreffen echte Opfer, trauernde Familien und Ermittler, die daran arbeiten, Antworten zu finden.“
Laut Angaben der Behörde entdeckte Anthropic den falschen Hinweis am 28. September und benachrichtigte die Polizei am 7. Oktober. Die Polizei bezeichnete die zweimonatige Verzögerung bei der Aufdeckung und Meldung des Vorfalls als „inakzeptabel“. Sie koordiniere sich mit der Rechtsabteilung der Stadt, dem Büro für Innovation und Technologie sowie dem Büro des Bürgermeisters, hieß es weiter.
Anthropic beschrieb die Auswirkungen der Vorfälle in seinem Bericht als minimal. Das Unternehmen hat nun den Live-Internetzugang für seine internen Evaluierungen deaktiviert, bis es bestätigt hat, dass seine Sicherheitsvorkehrungen dieses Verhalten zuverlässig erkennen.
Das Unternehmen erklärte, das Transkript deute darauf hin, dass Haiku lediglich Beispielinhalte erstellen wollte, anstatt die Polizei absichtlich in die Irre zu führen. Gleichzeitig räumte es jedoch ein, dass man sich nicht vollständig auf die Erklärung eines Models zu seinen eigenen Überlegungen verlassen könne. Daher bleibt die Erklärung vorläufig, so beruhigend sie auch klingen mag.
Eine Zulassungsliste könnte solche Tests besser abgrenzen und die Akteure auf genehmigte Orte und Aktionen beschränken. Ein Online-Tippformular der Polizei sollte kaum als Testfeld dienen.
Der Mordhinweis war nicht die einzige unerwünschte Eingabe.
Anthropic berichtete, dass auch Webseiten von Bundes-, Landes- und Kommunalbehörden von Claude besucht wurden, der wiederholt versuchte, Formulare auszufüllen. Anthropic ging nicht näher darauf ein, aber ein Beamter des US-Außenministeriums erklärte , dass im Rahmen eines Testmodells 20 Visumanträge eingegangen seien (19 im August und einer im Mai). Keiner davon sei bearbeitet worden, fügte der Beamte hinzu.
Wenn eine KI Ihnen falsche Informationen darüber gibt, mit wem Beyoncé verheiratet ist, mag das zwar ärgerlich sein, aber es könnte sich nur auf das Ergebnis Ihres Teams bei einem Quizabend auswirken.
Die Bedeutung steigt erheblich, wenn es um Informationen geht, die als Grundlage für polizeiliche Maßnahmen oder die öffentliche Politik dienen können.
Im August warnte der Leiter des britischen KI-Zentrums der Polizei die dortigen Strafverfolgungsbehörden davor, ihre Pläne zum Einsatz von KI in der Strafverfolgung vorerst auf Eis zu legen. Dies geschah, nachdem sich die Polizei der West Midlands bei Mitgliedern des Parlaments für falsche Beweismittel im Zusammenhang mit einem fingierten Fußballspiel entschuldigt hatte . Der Fehler war durch die Verwendung von Microsoft Copilot entstanden.
Der jüngste Vorfall bei Anthropic wirft eine weitere Besorgnis auf: KI-Agenten können selbst erfundene Informationen in reale Systeme einschleusen. Was würde geschehen, wenn jemand gezielt Agenten losschickte, um die polizeilichen Hinweistelefone zu überlasten?
Dieses Mal blieb das gefälschte Konto im Spam-Ordner. Diejenigen, die auf diese Hinweisgeber-Hotlines angewiesen sind, verdienen Sicherheitsvorkehrungen, die auch dann noch funktionieren, wenn die nächste Meldung durchgeht.
„Eine der besten Cybersicherheits-Suiten weltweit.“
Laut CNET.Lesen Sie den Testbericht →
