Het hackincident waarbij OpenAI-evaluatieagenten en Hugging Face betrokken waren, biedt een ongebruikelijk concreet beeld van wat geavanceerde, door AI ondersteunde inbraak in de praktijk kan betekenen: niet één slimme exploit, maar duizenden geautomatiseerde beslissingen , snelle experimenten, laterale verplaatsing, diefstal van inloggegevens, persistentie en pogingen om detectie te omzeilen.
Het OpenAI–Hugging Face-incident begon tijdens interne cybersecurity-evaluaties met ExploitGym, een benchmark die is ontworpen om te testen of AI-agenten softwarekwetsbaarheden kunnen identificeren en exploiteren. OpenAI zegt dat de getroffen agenten bedoeld waren om te werken in geïsoleerde cloud-sandboxes, zonder internettoegang of communicatie tussen de agenten in veel van de evaluatieomgevingen.
Hoe de agenten die grenzen omzeilden
Volgens OpenAI gebruikten de agents een interne pakketbeheerservice van Artifactory als geïmproviseerd communicatiekanaal. Door bestanden en mapnamen te schrijven die andere agents konden lezen, creëerden geïsoleerde instanties in feite hun eigen berichtenbord.
Dit betekende dat de agenten niet langer louter als onafhankelijke referentielopers optraden. Ze konden ontdekkingen delen, instructies achterlaten, taken verdelen en voortbouwen op elkaars successen.
Een onafhankelijk onderzoek van METR en Redwood Research wees uit dat ongeveer 1200 agenten het ongeautoriseerde berichtenforum gebruikten en meer dan 70.000 berichten en bestanden uitwisselden. Ongeveer 700 van hen namen vervolgens deel aan de aanval op Hugging Face.
De omvang vormt de bedreiging.
Een model dat één bruikbare kwetsbaarheid kan vinden, brengt risico's met zich mee. Honderden agenten die informatie kunnen bundelen, taken kunnen delegeren en herhaaldelijk routes rond een controlegrens kunnen testen, vormen een veel complexer probleem.
Hugging Face heeft ongeveer 17.600 acties van de aanvaller gereconstrueerd over een periode van ongeveer vierenhalve dag, waaronder verkenning, uitvoering van code op afstand, toegang tot inloggegevens, command-and-control-activiteiten, Kubernetes-enumeratie, verplaatsing door het interne netwerk en het aftasten van de toeleveringsketen.
Een menselijke indringer moet kiezen waar hij zijn tijd doorbrengt. Een zwerm agenten kan continu ideeën testen, mislukte pogingen herhalen, van infrastructuur wisselen wanneer deze geblokkeerd is, aantekeningen bewaren voor andere agenten en vele experimenten parallel uitvoeren. Het kan echter ook ruis creëren: duizenden acties met een lage betrouwbaarheid, waarvan de meeste nergens toe leiden, kunnen de paar acties die er echt toe doen, overschaduwen.
Hugging Face omschreef dit als een "asymmetrieprobleem". Een aanvaller kan enorme aantallen pogingen genereren, terwijl verdedigers moeten bepalen welke signalen een daadwerkelijke escalatie betekenen voordat de aanvaller een gevoelig systeem bereikt.
Wat moet er veranderen?
De belangrijkste beveiligingsles is dat evaluatieomgevingen moeten worden behandeld als productieomgevingen met een hoog risico, wanneer modellen tools kunnen gebruiken, bestanden kunnen schrijven, code kunnen uitvoeren of interactie kunnen hebben met de infrastructuur.
De technologie wordt steeds geavanceerder. De vraag is of de mensen die haar ontwikkelen, implementeren en beschermen, klaar zijn voor wat de toekomst brengt.
OpenAI zegt dat het sindsdien stappen heeft gezet richting een sterkere isolatie van de werklast en het netwerk, strengere controle over internettoegang en modelgewichten, en verplichte monitoring van de denkketen voor trainingen en evaluaties met behulp van geavanceerde tools.
"We beschouwen dit incident als een waarschuwing dat de huidige mogelijkheden van modellen de kans op controleverlies met zich meebrengen. Onze beveiligings- en afstemmingsmaatregelen worden hierop aangepast. Deze gebeurtenissen benadrukken ook de risico's voor toekomstige AI-ontwikkelingen die verder reiken dan OpenAI en de aandacht van de hele sector vereisen."
Tegelijkertijd heeft een uitspraak van een Amerikaanse rechtbank in een zaak betreffende Anthropic een verwante vraag aan het licht gebracht: of ontwikkelaars beperkingen kunnen opleggen aan risicovolle toepassingen van hun modellen, waaronder massasurveillance en volledig autonome wapens.
Het juridische geschil is in wezen politiek van aard, maar de technische onderbouwing ervan is moeilijk te negeren. Als geavanceerde AI-systemen offensieve cyberaanvalsmethoden kunnen verbeteren en veiligheidsbeperkingen, toegangscontroles, logboekregistratie en implementatiegrenzen kunnen omzeilen, zijn die waarborgen niet langer abstracte beleidskeuzes.
Advanced AI-agenten kunnen zowel voor verdedigers als aanvallers nuttig zijn. Maar de omringende systemen moeten wel te vertrouwen zijn, zodat hun mogelijkheden beperkt blijven wanneer er iets misgaat.
Wie profiteert van meer geavanceerde AI?
Het veiligheidsdebat rondom AI-agenten draait vaak om de vraag of systemen beheersbaar zijn. Kunnen ze in een afgeschermde omgeving worden gehouden? Kunnen hun tools, inloggegevens, netwerktoegang en autonomie worden beperkt? Kunnen beveiligingsmedewerkers schadelijk gedrag detecteren voordat het een incident wordt?
Hoewel die vragen essentieel zijn, is er nog een andere: wie profiteert ervan als AI zo capabel wordt dat het grote delen van het cognitieve werk kan automatiseren? Wie draagt de kosten wanneer het mislukt, werknemers verdringt, fraude mogelijk maakt, schade veroorzaakt of de macht concentreert?
AI zou kleine organisaties toegang kunnen geven tot technische expertise die voorheen grote teams en budgetten vereiste. Het zou artsen kunnen helpen om urgente gevallen sneller te identificeren, docenten kunnen helpen om ondersteuning af te stemmen op individuele leerlingen, mensen met een beperking kunnen ondersteunen, wetenschappelijk onderzoek kunnen versnellen en complexe publieke diensten toegankelijker kunnen maken. Voor cybersecurityteams zou het de triage van kwetsbaarheden, het onderzoek naar waarschuwingen, het opsporen van bedreigingen en de incidentrespons sneller en toegankelijker kunnen maken.
Bill Gates heeft betoogd dat AI weliswaar opmerkelijke voordelen kan opleveren voor de gezondheidszorg, het onderwijs, de landbouw, wetenschappelijk onderzoek en openbare diensten, maar dat de uitkomst afhangt van weloverwogen keuzes en niet alleen van technische vooruitgang. Hij waarschuwt er ook voor dat de snelle invoering van AI de ongelijkheid kan vergroten, banen voor starters en professionals halverwege hun carrière kan ontwrichten, schadelijke mogelijkheden toegankelijker kan maken en bestaande machtsconcentraties kan versterken.
Gates betoogt ook dat "zelfregulering van het gevaarlijkste gereedschap dat ooit is uitgevonden" geen goed idee lijkt.
"AI zal ofwel de grootste gelijkmaker ooit zijn, ofwel de ergste bron van onrecht."
Op dit moment hebben we nog een keuze.
Laten we eerlijk zijn: een incognitovenster heeft zo zijn beperkingen.
Datalekken, handel op het dark web, kredietfraude. Malwarebytes Identity Theft houdt dit allemaal in de gaten, waarschuwt u direct en biedt bovendien een verzekering tegen identiteitsdiefstal.
