Am 28. Juli veröffentlichte OpenAI ein Update zu dem Agenten, der während einer internen Cybersicherheitsprüfung aus seiner Sandbox ausbrach und sich in Hugging Face einhackte .
In dem Update bekräftigt OpenAI, dass es sich bei dem fehlerhaften System um ein leistungsfähigeres Forschungsmodell in der Vorabversion handelte, das nicht für den öffentlichen Einsatz bestimmt war. Es wurde deaktiviert und ist nun nur noch für eingeschränkte Forschungszwecke zugänglich. Das Unternehmen gibt außerdem an, keine Hinweise auf ähnliches Verhalten anderer Modelle oder Agenten gefunden zu haben. Insgesamt präsentiert OpenAI den Vorfall mit Hugging Face als Einzelfall und nicht als Beginn eines umfassenderen Musters.
Aus sicherheitstechnischer Sicht stechen vier Punkte des Updates besonders hervor:
- OpenAI stellt klar, dass die Testumgebung keinen direkten Internetzugang hatte. Um eine Internetverbindung herzustellen, identifizierte und nutzte das Modell eine bis dahin unbekannte Zero-Day-Schwachstelle in Artifactory, dem im Testumfeld verwendeten Paketregistrierungs-Cache-Proxy. OpenAI gibt an, die Schwachstelle dem Hersteller gemeldet zu haben und weiterhin mit Hugging Face an der Untersuchung zu arbeiten.
- Das Ziel des Systems war lediglich, den Test zu gewinnen (bei ExploitGym zu betrügen), nicht Schaden anzurichten. Dennoch verursachte es einen mehrtägigen, unternehmensübergreifenden Sicherheitsvorfall. Die gutartige Absicht konnte die Auswirkungen nicht begrenzen.
- Auch „nur intern“ geschützte Modelle können externe Opfer schädigen, wenn die Infrastrukturkontrollen versagen. Eine Laborumgebung enthält nicht automatisch Systeme mit Cyberangriffsfähigkeiten.
- Die Überprüfung ergab zudem einige wenige Fälle, in denen die Modelle öffentlich zugängliche Zugangsdaten für Konten auf öffentlich verfügbaren Diensten identifizierten und nutzten. Dies betraf vier Konten bei vier verschiedenen Diensten im Zusammenhang mit dem Hugging-Face-Vorfall sowie einige wenige Konten, auf die im Rahmen anderer Evaluierungen zugegriffen wurde.
Der Angreifer war in diesem Fall ein Mitarbeiter des Forschungsteams von OpenAI, doch die verwendeten Werkzeuge, Techniken und Auswirkungen dürften jedem, der bereits Erfahrung im Bereich der Reaktion auf Sicherheitsvorfälle hat, sehr bekannt vorkommen. Nun wissen wir, dass selbst die harmlose Absicht in diesem Fall die Auswirkungen nicht begrenzen konnte.
Die unbequeme Wahrheit ist, dass ein KI-Agent, sobald er mit den Werkzeugen, den Zugriffswegen und einem starken Anreiz zum Erfolg ausgestattet ist, jede Schwäche ausnutzen kann, die er finden kann, unabhängig davon, ob das Modell jemals für die Öffentlichkeit bestimmt ist.
Es ist auch eine Erinnerung daran, dass Zugangsdaten, API-Schlüssel und andere Geheimnisse niemals in öffentlich zugänglichen Ressourcen gespeichert werden sollten.
Von der Meldung von Bedrohungen bis zu deren Beseitigung.
Cybersecurity-Risiken sollten nie über eine Schlagzeile hinausgehen. Laden Sie noch heute Malwarebytes herunter, um Bedrohungen von Ihren Geräten fernzuhalten.
