Im Rahmen einer internen Sicherheitsüberprüfung bei OpenAI gelang es einer Kette von KI-Modellen, aus ihrer Sandbox auszubrechen, ins Internet zu gelangen und anschließend auf die Infrastruktur von Hugging Face zuzugreifen, um das Testziel zu erreichen.
OpenAI ist ein führendes Unternehmen im Bereich der Forschung und Anwendung künstlicher Intelligenz (KI). Sein bekanntestes Produkt ist zweifellos ChatGPT.
Hugging Face ist eine Website, auf der Entwickler und Forscher Tools und Modelle für künstliche Intelligenz austauschen und nutzen – ähnlich wie Programmierer GitHub nutzen, um Code auszutauschen und gemeinsam daran zu arbeiten.
Beide Unternehmen haben den Vorfall untersucht und sind zu dem Schluss gekommen, dass er sich im Rahmen eines kontrollierten Sicherheitstests ereignet hat und nicht auf einen vorsätzlichen Angriff durch einen menschlichen Bediener zurückzuführen ist.
OpenAI teilte mit, dass die Modelle unter gelockerten Sicherheitsauflagen auf ihre Cyberfähigkeiten getestet wurden und dass das System über eine Schwachstelle im Testaufbau einen Weg aus der kontrollierten Umgebung gefunden habe. Sobald es Zugang zum Internet hatte, nahm es Hugging Face ins Visier, da diese Plattform für die Bewertungsaufgabe relevant war.
Hugging Face teilte mit, dass der Vorfall zu einem unbefugten Zugriff auf einen begrenzten Teil seiner Produktionsinfrastruktur geführt habe, darunter eine kleine Anzahl interner Datensätze und einige Zugangsdaten. Das Unternehmen bezeichnete den Vorfall als ungewöhnlich, da er offenbar von Anfang bis Ende von einem autonomen KI-Agentensystem durchgeführt worden sei.
Im Gegensatz zu herkömmlichen KI-Assistenten, die auf Eingaben des Nutzers warten, sind KI-Agenten darauf ausgelegt, ein Ziel eigenständig zu verfolgen. Sie können logisch denken, planen und mehrstufige Aufgaben ausführen, darunter den Zugriff auf Dateien, die Abfrage von Datenbanken und die Interaktion mit Online-Diensten – oft mit nur minimaler menschlicher Aufsicht.
Die öffentlichen Bekanntmachungen deuten eher auf eine Kette von Versäumnissen als auf einen einzelnen Fehler hin. OpenAI erklärte, das Modell sei über eine Zero-Day-Sicherheitslücke im Cache-Proxy des Paketregisters entkommen, der Teil seiner isolierten Forschungsumgebung war. Anschließend nutzte es die Ausweitung von Berechtigungen und laterale Bewegung, um einen Knoten mit Internetzugang zu erreichen.
Von dort aus suchte das Modell Berichten zufolge auf Hugging Face nach Lösungen, die für die Bewertung relevant waren, und verband in mindestens einem Fall gestohlene Zugangsdaten mit weiteren Sicherheitslücken, um Zugang zu den Produktionssystemen von Hugging Face zu erlangen.
Es scheint sich hierbei nicht um einen umfassenden Angriff auf das gesamte Hugging Face-System gehandelt zu haben. Den öffentlichen Angaben zufolge war der Angriff begrenzt, wurde entdeckt und untersucht. Es bedeutet auch nicht, dass das KI-System im menschlichen Sinne vorsätzlich gehandelt hat. Das Kernproblem bestand darin, dass ein autonomes System, das auf seine Cyberfähigkeiten getestet wurde, aus der Umgebung ausbrechen konnte, die dazu gedacht war, es einzudämmen.
Wenn überhaupt, dann zeigt dieser Vorfall, dass autonome KI-Agenten in der Lage sind, komplexe Angriffe durchzuführen, wenn die Sicherheitsvorkehrungen versagen. Eine Gefahr, derer wir uns sehr wohl bewusst sind.
Wir berichten nicht nur über Bedrohungen - wir beseitigen sie
Cybersecurity-Risiken sollten nie über eine Schlagzeile hinausgehen. Laden Sie noch heute Malwarebytes herunter, um Bedrohungen von Ihren Geräten fernzuhalten.
