L'incidente informatico che ha coinvolto gli agenti di valutazione di OpenAI e Hugging Face offre uno sguardo insolitamente concreto su cosa possa significare in pratica un'intrusione assistita da intelligenza artificiale avanzata: non un singolo exploit intelligente, ma migliaia di decisioni automatizzate , sperimentazione rapida, movimenti laterali, furto di credenziali, persistenza e tentativi di eludere il rilevamento.
L'incidente OpenAI-Hugging Face è iniziato durante valutazioni interne di sicurezza informatica utilizzando ExploitGym, un benchmark progettato per testare se gli agenti di intelligenza artificiale sono in grado di identificare e sfruttare le vulnerabilità del software. OpenAI afferma che gli agenti interessati dovevano operare in sandbox cloud isolate, senza accesso a Internet o comunicazione tra gli agenti in molti degli ambienti di valutazione.
Come hanno fatto gli agenti a superare quei confini
Secondo quanto riportato da OpenAI, gli agenti utilizzavano un servizio interno di gestione dei pacchetti di Artifactory come canale di comunicazione improvvisato. Scrivendo nomi di file e directory che altri agenti potevano leggere, le istanze isolate creavano di fatto una propria bacheca di messaggi.
Ciò significava che gli agenti non agivano più semplicemente come corridori di riferimento indipendenti. Potevano condividere scoperte, lasciare istruzioni, dividersi il lavoro e basarsi sui successi reciproci.
Un'indagine indipendente condotta da METR e Redwood Research ha rivelato che circa 1.200 agenti hanno utilizzato la bacheca di messaggi non autorizzata, scambiandosi oltre 70.000 messaggi e file. Circa 700 di loro hanno poi partecipato all'attacco contro Hugging Face.
La portata è la minaccia
Un modello in grado di individuare un singolo exploit utile presenta un rischio. Centinaia di agenti capaci di condividere informazioni, delegare compiti e testare ripetutamente percorsi attorno a un confine di controllo diventano un problema molto più complesso.
Hugging Face ha ricostruito circa 17.600 azioni di un aggressore nell'arco di circa quattro giorni e mezzo, tra cui ricognizione, esecuzione di codice remoto, accesso alle credenziali, attività di comando e controllo, enumerazione di Kubernetes, spostamenti all'interno della rete interna e sondaggi della catena di approvvigionamento.
Un intruso umano deve scegliere dove impiegare il proprio tempo. Uno sciame di agenti può testare continuamente idee, riprovare percorsi falliti, cambiare infrastruttura quando bloccato, conservare appunti per altri agenti ed eseguire molti esperimenti in parallelo. Può anche generare rumore: migliaia di azioni con bassa probabilità di successo, la maggior parte delle quali non porta a nulla, possono oscurare le poche che contano davvero.
Hugging Face ha descritto questo fenomeno come un "problema di asimmetria". Un attaccante può generare un volume enorme di tentativi, mentre i difensori devono determinare quali segnali rappresentano una reale escalation prima che l'attaccante raggiunga un sistema sensibile.
Cosa deve cambiare
La lezione fondamentale in materia di sicurezza è che gli ambienti di valutazione devono essere trattati come sistemi di produzione ad alto rischio quando i modelli possono utilizzare strumenti, scrivere file, eseguire codice o interagire con l'infrastruttura.
La tecnologia sta diventando rapidamente sempre più capace di fare cose. La domanda è se coloro che la sviluppano, la implementano e la difendono siano pronti per ciò che verrà dopo.
OpenAI afferma di aver successivamente adottato un maggiore isolamento del carico di lavoro e della rete, un controllo più rigoroso sull'accesso a Internet e sui pesi dei modelli, nonché un monitoraggio obbligatorio del flusso di pensiero per l'addestramento e le valutazioni di alto livello che utilizzano strumenti avanzati.
"Consideriamo questo incidente come un 'segnale d'allarme' che indica come le attuali capacità dei modelli presentino la possibilità di incidenti con perdita di controllo. Di conseguenza, stiamo intensificando le nostre misure di sicurezza e allineamento. Questi eventi evidenziano inoltre i rischi nello sviluppo futuro dell'IA che vanno oltre OpenAI e richiederanno l'attenzione dell'intero settore."
Allo stesso tempo, una sentenza di un tribunale statunitense relativa ad Anthropic ha portato alla ribalta una questione correlata: se gli sviluppatori possano imporre limiti agli usi ad alto rischio dei loro modelli, tra cui la sorveglianza di massa e le armi completamente autonome.
La controversia legale è di natura politica, ma è difficile ignorarne le basi tecniche. Se sistemi di intelligenza artificiale avanzati possono potenziare i metodi di attacco informatico e aggirare le restrizioni di sicurezza, i controlli di accesso, la registrazione dei dati e i limiti di implementazione, tali misure di sicurezza non sono più astratte scelte politiche.
Advanced Gli agenti di intelligenza artificiale possono essere utili sia ai difensori che agli attaccanti. Tuttavia, è necessario poter contare sui sistemi circostanti affinché mantengano le proprie capacità entro limiti accettabili in caso di problemi.
Chi trae vantaggio da un'intelligenza artificiale più performante?
Il dibattito sulla sicurezza degli agenti di intelligenza artificiale si concentra spesso sulla possibilità di controllare questi sistemi. Possono essere mantenuti all'interno di un ambiente isolato (sandbox)? È possibile limitare i loro strumenti, le credenziali, l'accesso alla rete e l'autonomia? I responsabili della sicurezza possono rilevare comportamenti dannosi prima che si trasformino in un incidente?
Sebbene queste domande siano essenziali, ce n'è un'altra: chi trae vantaggio quando l'intelligenza artificiale diventa sufficientemente capace da automatizzare gran parte del lavoro cognitivo? Chi ne sopporta i costi quando fallisce, sostituisce i lavoratori, favorisce le frodi, causa danni o concentra il potere?
L'intelligenza artificiale potrebbe offrire alle piccole organizzazioni l'accesso a competenze tecniche che in precedenza richiedevano team e budget ingenti. Potrebbe aiutare i medici a identificare più rapidamente i casi urgenti, gli insegnanti a personalizzare il supporto per i singoli studenti, assistere le persone con disabilità, accelerare la ricerca scientifica e semplificare la fruizione di servizi pubblici complessi. Per i team di sicurezza informatica, potrebbe rendere più rapidi e accessibili la valutazione delle vulnerabilità, l'analisi degli avvisi, la ricerca delle minacce e la risposta agli incidenti.
Bill Gates ha sostenuto che, sebbene l'intelligenza artificiale possa apportare notevoli benefici alla sanità, all'istruzione, all'agricoltura, alla ricerca scientifica e ai servizi pubblici, il risultato dipenderà da scelte deliberate piuttosto che dal solo progresso tecnico. Avverte inoltre che la rapida adozione dell'IA potrebbe ampliare le disuguaglianze, sconvolgere il mondo del lavoro per i neoassunti e i professionisti di livello intermedio, rendere più accessibili capacità dannose e rafforzare le attuali concentrazioni di potere.
Gates sostiene inoltre che "l'autoregolamentazione dello strumento più pericoloso mai inventato" non sembra una buona idea.
"L'intelligenza artificiale sarà o il più grande strumento di uguaglianza mai inventato, oppure la peggiore fonte di ingiustizia."
In questo momento, abbiamo ancora una scelta.
Ammettiamolo, una finestra in incognito ha i suoi limiti.
Violazioni dei dati, commercio sul dark web, frodi creditizie. Malwarebytes Identity Theft monitora tutto questo, ti avvisa immediatamente e include un'assicurazione contro il furto d'identità.
