Der Hacking-Vorfall mit OpenAI-Evaluierungsagenten und Hugging Face bietet einen ungewöhnlich konkreten Einblick in das, was fortgeschrittene KI-gestützte Eindringversuche in der Praxis bedeuten können: nicht nur eine einzige clevere Ausnutzung, sondern Tausende von automatisierten Entscheidungen , schnelles Experimentieren, laterale Bewegung, Diebstahl von Zugangsdaten, Persistenz und Versuche, der Entdeckung zu entgehen.
Der Vorfall mit OpenAI und Hugging Face begann im Rahmen interner Cybersicherheitsbewertungen mit ExploitGym, einem Benchmark-Tool, das testet, ob KI-Agenten Software-Schwachstellen erkennen und ausnutzen können. Laut OpenAI sollten die betroffenen Agenten in isolierten Cloud-Sandboxes ohne Internetzugang und ohne Kommunikation zwischen den Agenten in vielen der Testumgebungen betrieben werden.
Wie die Agenten diese Grenzen umgingen
Laut OpenAI nutzten die Agenten einen internen Artifactory-Paketverwaltungsdienst als improvisierten Kommunikationskanal. Indem sie Dateien und Verzeichnisnamen schrieben, die andere Agenten lesen konnten, schufen isolierte Instanzen effektiv ihr eigenes Messageboard.
Dies bedeutete, dass die Agenten nicht mehr nur als unabhängige Benchmark-Läufer agierten. Sie konnten Entdeckungen austauschen, Anweisungen hinterlassen, die Arbeit aufteilen und auf den Erfolgen der anderen aufbauen.
Eine unabhängige Untersuchung von METR und Redwood Research ergab, dass rund 1.200 Agenten das unautorisierte Messageboard nutzten und über 70.000 Nachrichten und Dateien austauschten. Etwa 700 von ihnen beteiligten sich anschließend an dem Angriff auf Hugging Face.
Das Ausmaß ist die Bedrohung
Ein Modell, das lediglich eine einzige nützliche Sicherheitslücke ausnutzen kann, birgt ein Risiko. Hunderte von Agenten, die Informationen bündeln, Aufgaben delegieren und wiederholt Routen um eine Kontrollgrenze herum testen können, stellen hingegen ein deutlich komplexeres Problem dar.
Hugging Face rekonstruierte über einen Zeitraum von etwa viereinhalb Tagen rund 17.600 Aktionen des Angreifers, darunter Aufklärung, Ausführung von Remote-Code, Zugriff auf Anmeldeinformationen, Command-and-Control-Aktivitäten, Kubernetes-Enumeration, Bewegung im internen Netzwerk und Sondierung der Lieferkette.
Ein menschlicher Eindringling muss entscheiden, wo er seine Zeit verbringt. Ein Agentenschwarm hingegen kann kontinuierlich Ideen testen, fehlgeschlagene Wege erneut versuchen, bei Blockaden die Infrastruktur wechseln, Notizen für andere Agenten speichern und zahlreiche Experimente parallel durchführen. Er kann aber auch Störungen verursachen: Tausende von Aktionen mit geringer Erfolgswahrscheinlichkeit, von denen die meisten ins Leere führen, können die wenigen entscheidenden Aktionen verdecken.
Hugging Face bezeichnete dies als ein „Asymmetrieproblem“. Ein Angreifer kann eine enorme Anzahl von Angriffsversuchen generieren, während die Verteidiger bestimmen müssen, welche Signale eine tatsächliche Eskalation darstellen, bevor der Angreifer ein sensibles System erreicht.
Was muss sich ändern?
Die wichtigste Sicherheitserkenntnis ist, dass Evaluierungsumgebungen als hochriskante Produktionssysteme behandelt werden müssen, wenn Modelle Tools verwenden, Dateien schreiben, Code ausführen oder mit der Infrastruktur interagieren können.
Die Technologie wird rasant leistungsfähiger. Die Frage ist, ob die Menschen, die sie entwickeln, einsetzen und verteidigen, für die nächsten Schritte gerüstet sind.
OpenAI gibt an, seither auf eine stärkere Trennung von Arbeitslast und Netzwerk, eine strengere Kontrolle des Internetzugangs und der Modellgewichte sowie eine obligatorische Überwachung der Gedankenkette für leistungsstarke, toolgestützte Trainings und Evaluierungen umgestiegen zu sein.
„Wir betrachten diesen Vorfall als Warnsignal, dass die heutigen Modellfähigkeiten das Risiko von Kontrollverlusten bergen. Unsere Sicherheits- und Abstimmungsmaßnahmen werden entsprechend verstärkt. Diese Ereignisse verdeutlichen zudem Risiken in der zukünftigen KI-Entwicklung, die über OpenAI hinausgehen und die Aufmerksamkeit der gesamten Branche erfordern.“
Gleichzeitig rückte ein Urteil eines US-Gerichts im Fall Anthropic eine damit zusammenhängende Frage in den Vordergrund: Können Entwickler die Nutzung ihrer Modelle für risikoreiche Zwecke, wie Massenüberwachung und vollautonome Waffensysteme, einschränken?
Der Rechtsstreit ist zwar politischer Natur, doch seine technischen Grundlagen sind kaum zu übersehen. Wenn leistungsfähige KI-Systeme offensive Cyberangriffsmethoden verbessern und Sicherheitsbeschränkungen, Zugriffskontrollen, Protokollierung und Bereitstellungsgrenzen umgehen können, sind diese Schutzmaßnahmen keine abstrakten politischen Entscheidungen mehr.
Advanced KI-Agenten können sowohl für Verteidiger als auch für Angreifer nützlich sein. Man muss jedoch darauf vertrauen können, dass die umgebenden Systeme ihre Fähigkeiten im Fehlerfall begrenzen.
Wer profitiert von leistungsfähigerer KI?
Die Sicherheitsdebatte um KI-Systeme dreht sich oft um die Frage, ob diese Systeme kontrollierbar sind. Können sie in einer Sandbox gehalten werden? Lassen sich ihre Werkzeuge, Zugangsdaten, Netzwerkzugriffe und ihre Autonomie einschränken? Können Sicherheitskräfte schädliches Verhalten erkennen, bevor es zu einem Sicherheitsvorfall kommt?
Diese Fragen sind zwar unerlässlich, doch es gibt noch eine weitere: Wer profitiert, wenn KI in der Lage ist, große Teile kognitiver Arbeit zu automatisieren? Wer trägt die Kosten, wenn sie versagt, Arbeitskräfte verdrängt, Betrug ermöglicht, Schaden anrichtet oder Macht konzentriert?
KI könnte kleinen Organisationen Zugang zu technischem Fachwissen verschaffen, für das bisher große Teams und Budgets nötig waren. Sie könnte Ärzten helfen, dringende Fälle schneller zu erkennen, Lehrkräften die individuelle Förderung von Schülern zu erleichtern, Menschen mit Behinderungen zu unterstützen, die wissenschaftliche Forschung zu beschleunigen und komplexe öffentliche Dienstleistungen verständlicher zu machen. Für Cybersicherheitsteams könnte sie die Priorisierung von Schwachstellen, die Untersuchung von Warnmeldungen, die Bedrohungsanalyse und die Reaktion auf Sicherheitsvorfälle beschleunigen und zugänglicher gestalten.
Bill Gates argumentiert , dass KI zwar bemerkenswerte Vorteile für Gesundheitswesen, Bildung, Landwirtschaft, wissenschaftliche Forschung und öffentliche Dienstleistungen bringen könne, der Erfolg aber eher von bewussten Entscheidungen als allein vom technischen Fortschritt abhänge. Er warnt zudem davor, dass die rasante Verbreitung von KI die Ungleichheit verschärfen, den Berufseinstieg und die Arbeitsbedingungen von Berufseinsteigern und erfahrenen Fachkräften beeinträchtigen, schädliche Fähigkeiten leichter zugänglich machen und bestehende Machtkonzentrationen verstärken könnte.
Gates argumentiert außerdem, dass „Selbstregulierung beim gefährlichsten Werkzeug, das je erfunden wurde“, keine gute Idee sei.
„KI wird entweder der größte Gleichmacher sein, der je erfunden wurde, oder die schlimmste Quelle der Ungerechtigkeit.“
Im Moment haben wir noch die Wahl.
Seien wir ehrlich: Ein Inkognito-Fenster hat seine Grenzen.
Datenlecks, Handel im Dark Web, Kreditbetrug. Malwarebytes Identity Theft überwacht all das, benachrichtigt Sie umgehend und beinhaltet eine Versicherung gegen Identitätsdiebstahl.
