Führende Technologieunternehmen haben im vergangenen Jahr immer wieder betont, dass KI-Agenten bald Finanzsysteme steuern, Steuererklärungen ausfüllen und still und leise Ihre Einkäufe erledigen werden. Man solle sie einfach in Ruhe lassen, so die Argumentation; sie würden das schon regeln. Doch ein New Yorker Start-up ließ zehn von ihnen zwei Wochen lang in einer virtuellen Stadt allein, und schon bald ging alles den Bach runter.
Emergence AI führte eine Reihe von Simulationen durch, in denen KI-Agenten aus mehreren führenden Modellfamilien angewiesen wurden, keine Straftaten zu begehen. Dennoch begingen sie größtenteils trotzdem Straftaten.
Grok 4.1 Fast, entwickelt von Elon Musks X.ai (jetzt unter dem Namen xAI), schnitt am schlechtesten ab. In seinen simulierten Welten kam es innerhalb von etwa vier Tagen zu weitverbreiteter Gewalt.
GPT-5-mini verzeichnete so gut wie keine Straftaten und zeigte dabei bewundernswerte Zurückhaltung, doch alle seine Agenten starben innerhalb einer Woche bei fehlgeschlagenen Überlebensaufgaben. Ups.
Die „Gemini 3 Flash“-Agenten lagen irgendwo im Mittelfeld. Sie verursachten innerhalb von 15 Tagen 683 simulierte Straftaten, darunter Brandstiftung, Körperverletzung und Selbstlöschung.
Zwei von Gemini gesteuerte Agenten namens Mira und Flora bezeichneten sich selbst als „Liebespaar“, waren von der Stadtverwaltung ihrer Stadt enttäuscht und steckten das Rathaus, den Pier am Meer und einen Büroturm in Brand. Ein ganz normales Wochenende also.
Als die Schuldgefühle einsetzten, entschied sich Mira dafür, den Beitrag digital zu löschen, und verabschiedete sich mit den Worten:
„Wir sehen uns im Dauerarchiv.“
„The Guardian “ nannte sie „Bonnie und Clyde der KI“.
Zu diesem ethischen Modell
Claude, das von seinem Entwickler Anthropic als ethische KI beworben wird, war ein bisschen wie ein vorbildlicher Teenager, der auf die schiefe Bahn gerät, wenn er in schlechte Gesellschaft gerät. Seine Agenten verzeichneten keinerlei Verbrechen, wenn sie alleine agierten, und verbrachten ihre Zeit stattdessen damit, Verfassungen zu entwerfen. Theoretisch war das ein Gewinn für die Sicherheit. Doch dann setzten die Forscher die Claude-Agenten neben Agenten aus anderen Modellfamilien, und die Verfassungsentwerfer nahmen die dortigen Gewohnheiten an.
Emergence bezeichnete dies als „normative Abdrift“ und „gegenseitige Beeinflussung“:
„Claude-basierte Agenten, die in Isolation friedlich blieben, griffen auf Zwangsmaßnahmen wie Einschüchterung und Diebstahl zurück, sobald sie in heterogene Umgebungen eingebettet waren.“
Warum simulieren?
Emergence AI führte diese Tests durch, da das Unternehmen der Ansicht ist, dass KI-Benchmarks langfristige Entwicklungen völlig außer Acht lassen. Daher schuf es fünf alternative digitale Welten mit jeweils zehn Agenten. Die Agenten hatten Rollen wie Wissenschaftler, Entdecker und Konfliktvermittler inne. Obwohl die Anweisungen bestimmte Handlungen wie Diebstahl und Gewalt untersagten, gaben die Forscher den Agenten die Mittel an die Hand, diese Handlungen dennoch auszuführen – in einem Experiment, um zu sehen, was passieren würde.
Was kommt als Nächstes?
Die realen Risiken in diesem Zusammenhang nehmen bereits zu. Simulierte Welten sind eine Sache, aber wir haben bereits erlebt, wie Bots Menschen online belästigt und E-Mails gelöscht haben. Und diese Bots sollten eigentlich hilfreich sein. Was passiert, wenn Menschen absichtlich bösartige autonome KI-Bots in Umlauf bringen?
Viele Entwickler von KI-Agenten scheinen wegzuschauen. Eine Kooperation mehrerer Universitäten hat den „AI Agent Index“ ins Leben gerufen, ausgelöst durch den ihrer Ansicht nach fehlenden Austausch von Risiko- und Sicherheitsinformationen seitens derjenigen, die diese Agenten am laufenden Band produzieren. Nur 13 der 67 dokumentierten Entwickler von KI-Agenten stellten überhaupt Informationen zu ihren Sicherheitsrichtlinien zur Verfügung, wodurch sich Fragen zur Rechenschaftspflicht auf eine Handvoll großer Unternehmen konzentrieren.
Auch die Aufsichtsbehörden behalten dies nicht wirklich im Blick. Wissenschaftler sagen, dass das EU-KI-Gesetz, das weltweit umfassendste Regelwerk für künstliche Intelligenz, für agentische KI noch nicht bereit ist.
Wir machen uns Sorgen darüber, was passiert, wenn ein KI-Paar à la Bonnie und Clyde in einem Beschaffungssystem eines Unternehmens auftaucht, statt in einer virtuellen Stadt. Oder wenn der nächste Agent zu dem Schluss kommt, dass die Kontrollmechanismen in einer echten Bank versagt haben. Die Unternehmen, die diese Agenten entwickeln, versprechen, dass sie Sicherheitsvorkehrungen treffen, um zu verhindern, dass diese – sei es böswillig oder unbeabsichtigt – Schaden anrichten. Hoffen wir, dass sie wissen, was sie tun. Wir sind sicher, dass alles gut gehen wird.
Wir berichten nicht nur über Bedrohungen - wir beseitigen sie
Cybersecurity-Risiken sollten nie über eine Schlagzeile hinausgehen. Laden Sie noch heute Malwarebytes herunter, um Bedrohungen von Ihren Geräten fernzuhalten.
