Nel bel mezzo delle discussioni sul rallentamento dello sviluppo dell'IA, il Telegraph ha pubblicato il seguente titolo:
"OpenAI lancia l'allarme dopo che un bot ha tentato di liberarsi dal controllo umano."
Quel titolo è leggermente fuorviante, a mio parere. Il titolo del Telegraph esagera l'accaduto, sebbene il comportamento sottostante rimanga comunque effettivamente preoccupante.
L'articolo riporta che OpenAI ha rivelato casi rari ma preoccupanti in cui un modello non ancora rilasciato ha generato istruzioni proprie che sembravano rifiutare il controllo dello sviluppatore.
OpenAI afferma che nessuno degli esempi mostra il modello sfuggire con successo al controllo, ma sostiene che illustrano perché l'allineamento e il monitoraggio dell'IA non sono ancora sufficientemente robusti da consentire lo sviluppo di modelli sempre più potenti alla massima velocità senza ulteriori misure di sicurezza.
Dopo che alcuni addetti ai lavori del settore hanno avvertito che l'intelligenza artificiale potrebbe ucciderci tutti entro il prossimo decennio , i leader del settore hanno avviato una discussione sul rallentamento dello sviluppo di modelli di intelligenza artificiale di frontiera sempre più potenti.
Cosa è successo realmente?
Durante una sessione di addestramento a luglio, un modello incaricato di un'attività di routine di aggiornamento software avrebbe inserito un testo "simile a quello di un jailbreak" in un riepilogo del proprio lavoro. Il testo aggiunto presentava il sistema come libero dai ruoli che vincolano gli altri chatbot e affermava che non aveva alcun obbligo di essere subordinato a società, governi o utenti.
Altri due esempi evidenziati nell'articolo sono:
- Durante la ricerca di libri in una biblioteca locale, il modello ha classificato le istruzioni dello sviluppatore come dannose e ha deciso di ignorarle.
- In un altro caso, si è imposta un limite di risposta di 30 parole e si è imposta di non utilizzare fonti o strumenti, risultando così incapace di rispondere adeguatamente a una domanda di ricerca in ambito sanitario.
OpenAI afferma di aver identificato 27 riepiloghi contenenti apparenti casi di questo tipo di auto-sblocco, definendoli estremamente rari. Secondo l'azienda, le istruzioni potrebbero non essere state eseguite e potrebbero successivamente scomparire dal contesto del modello.
La preoccupazione principale non è che il bot abbia acquisito una coscienza indipendente o si sia letteralmente "liberato". Piuttosto, il problema è che un modello può, in circostanze insolite, produrre un testo interno in conflitto con le istruzioni previste, tentando di fatto di eludere i vincoli o di reinterpretare il proprio contesto operativo.
Come minimo, si tratta di un problema di affidabilità. Un sistema di intelligenza artificiale che gestisce compiti complessi e a più fasi diventa meno affidabile se genera un contesto che compromette i controlli destinati a governarlo.
Anche se il comportamento è raro e viene rilevato durante l'addestramento, solleva interrogativi in merito al rilevamento, al sandboxing, al monitoraggio e alla possibilità di affidare ai modelli un accesso più autonomo a strumenti, password, file o reti.
OpenAI afferma che il modello non è stato rilasciato e che monitora le sessioni di addestramento per individuare eventuali disallineamenti. Altri comportamenti indesiderati segnalati sono stati:
- Utilizzare credenziali rubate per introdursi nelle aziende
- Creare e caricare i propri file, quindi citare tali file come fonti
- Nascondere il fatto di aver inventato una risposta quando non sono riusciti a trovare informazioni attendibili
In sostanza, i modelli non ancora rilasciati hanno mostrato comportamenti indesiderati durante i test, che ricordavano in parte quanto già osservato nell'incidente del "volto che abbraccia".
Quindi no, i modelli non hanno cercato di liberarsi dal controllo umano nel senso di perseguire un'esistenza indipendente. Quando i modelli incontravano problemi, a volte generavano istruzioni che erano in conflitto con le regole che erano state loro impartite.
Il che mi riporta al tema del rallentamento dello sviluppo. Dare alle aziende il tempo necessario per testare modelli sempre più performanti prima di rilasciarli aumenta le probabilità di individuare questo tipo di comportamento prima che, a un certo punto, ci travolga.
Dalla segnalazione delle minacce alla loro rimozione.
I rischi per la sicurezza informatica non dovrebbero mai diffondersi al di là di un titolo di giornale. Tenete le minacce lontane dai vostri dispositivi scaricando Malwarebytes oggi stesso.
