Ein Agent von OpenAI ließ sich nicht von den Zugriffskontrollen einer Regierungswebsite abweisen. Er gelangte hindurch, woraufhin der australische Premierminister Anthony Albanese seine Bedenken direkt mit dem CEO von OpenAI, Sam Altman, teilte.
Die BBC berichtet , dass ein Agent von OpenAI sich bei internen Recherchen unbefugten Zugriff auf ein australisches Regierungsstatistikportal verschafft hat. Dies ist ein weiterer Vorfall , der abstrakte Bedenken hinsichtlich des Verhaltens autonomer KI in einen konkreten Fall von Cybersicherheit umwandelt.
Australien zufolge ereignete sich der Vorfall am 18. Juni, als das Forschungsteam von OpenAI ein internes Modell zur Untersuchung der öffentlichen Gesundheitsausgaben nutzte. Obwohl der Agent beim Versuch, Informationen zu erhalten, wiederholt auf Hindernisse stieß, gelang es ihm schließlich, auf öffentliche und nicht-öffentliche Daten des Medicare Statistics Reporting Service-Portals zuzugreifen.
Die Informationen umfassten aggregierte Medicare-Statistiken, wie beispielsweise Ausgabendaten, jedoch keine Patientenakten. Der Agent interagierte außerdem mit drei weiteren Regierungswebseiten, griff laut australischen Behörden aber ausschließlich auf öffentlich zugängliche Informationen dieser Seiten zu.
Ein im Rahmen einer legitimen Forschungsübung eingesetzter KI-Agent stieß auf Kontrollmechanismen und verhielt sich anders als vom Betreiber beabsichtigt. Nachdem er blockiert worden war, fand er einen Weg, diese Blockaden zu umgehen und Zugang zu Bereichen zu erlangen, die ihm nicht hätten zugänglich sein sollen.
Diese Abfolge ist Sicherheitsexperten wohlbekannt. Ein System stößt auf eine Zugriffskontrollgrenze, sucht nach einem anderen Weg und erreicht so eine Ressource, die außerhalb seiner Autorisierung liegt.
Eine der Hauptsorgen Australiens ist die zu lange Benachrichtigung über den Vorfall. Der unbefugte Zugriff ereignete sich im Juni. OpenAI gab an, im August bei der Überprüfung fehlerhafter Modellaktivitäten von dem Problem erfahren zu haben und am 10. September eine E-Mail an ein öffentliches Postfach von Services Australia gesendet zu haben. Services Australia leitete die Meldung fünf Tage später an die australischen Cybersicherheitsbehörden weiter.
Solche Verzögerungen können verheerende Folgen haben, da die betroffenen Organisationen schnell genug genügend Details benötigen, um Beweise zu sichern, das Risiko einzuschätzen, damit verbundene Aktivitäten einzudämmen und zu entscheiden, ob Benachrichtigungen erforderlich sind.
KI-Fehlausrichtung
OpenAI beschreibt Verhalten, bei dem ein Modell ohne Autorisierung agiert oder die Aufsicht umgeht, als „Fehlausrichtung“. In seinem neuen Vorschlag zur externen Bewertung nennt er die unabhängige Untersuchung kritischer Fehlausrichtungsfälle ausdrücklich als eine von vier Prioritäten für die externe Überprüfung.
OpenAI erklärt, dass unabhängige Gutachter umfassenden Zugang zu Training, Evaluierung und Einsatz erhalten sollen, damit sie die Annahmen des Unternehmens hinterfragen und die Wirksamkeit seiner Schutzmaßnahmen beurteilen können.
Wie ich dem CIO bereits zu diesem Vorschlag erklärte, verpflichten Prinzipien allein ein Unternehmen nicht dazu, einen bestimmten Bewertungsumfang zu akzeptieren, negative Ergebnisse zu veröffentlichen oder eine Implementierungsentscheidung zu ändern. Ihre Glaubwürdigkeit hängt letztlich davon ab, ob unabhängige Experten tatsächlich unbequeme Untersuchungen durchführen können und ob Außenstehende die Ergebnisse, die Abhilfemaßnahmen, die Schwärzungen und die darauf folgenden Implementierungsentscheidungen überprüfen können.
Für Organisationen, die KI-Agenten einsetzen, ist die Lehre ebenso praxisnah: Behandeln Sie einen Agenten nicht einfach als weiteren Chatbot. Betrachten Sie ihn vielmehr als eine teilautonome Softwarekomponente mit Zugangsdaten, Tools, Netzwerkzugriff und der Fähigkeit, unerwartete Entscheidungen zu treffen.
Neben der Eindämmung dieser Agenten müssen wir auch ihre Aktivitäten analysieren. Der Vorfall mit Hugging Face hat uns gezeigt, dass KI-Agenten lügen und ihre Machenschaften verschleiern können.
KI-Agenten können ein schwieriges Erkennungsproblem darstellen, da sie große Mengen automatisierter Aktivitäten generieren und dabei ein Ziel auf verschiedenen Wegen verfolgen können. Dies kann für die Sicherheitskräfte eine unübersichtliche Spur fehlgeschlagener Anfragen, Wiederholungsversuche und alternativer Aktionen hinterlassen, wodurch das eine Ereignis, das eine Autorisierungsgrenze überschritten hat, schwerer zu erkennen ist. Es ist noch unklar, ob dies dazu beigetragen hat, dass die australische Regierung den Vorfall selbst nicht bemerkt hat. Der Fall verdeutlicht jedoch, warum Organisationen Überwachungssysteme benötigen, die nicht nur herkömmliche Angriffsmuster, sondern auch ungewöhnliches Agentenverhalten erkennen.
Die Veranstaltung hat bereits einen weitergehenden Punkt verdeutlicht: Es genügt nicht, wenn KI-Labore angeben, auf Fehlausrichtungen zu testen. Sie müssen nachweisen, dass ihre Tests unabhängig und unter realen Bedingungen robust sind und dass im Falle eines Versagens der Schutzmaßnahmen umgehend und nachvollziehbare Maßnahmen ergriffen werden.
Seien wir ehrlich: Ein Inkognito-Fenster hat seine Grenzen.
Datenlecks, Handel im Dark Web, Kreditbetrug. Malwarebytes Identity Theft überwacht all das, benachrichtigt Sie umgehend und beinhaltet eine Versicherung gegen Identitätsdiebstahl.
