Hai ignorato l'email sospetta. Non hai aperto l'allegato, non hai cliccato sul link e non hai risposto al mittente.
Poi hai chiesto al tuo assistente IA di riassumere il contenuto della tua casella di posta.
Il messaggio che hai saggiamente evitato potrebbe ricomparire nella tua lista di cose da fare, questa volta presentato come una raccomandazione urgente da uno strumento di cui ti fidi?
Questo è il rischio insito nelle email di phishing contenenti istruzioni nascoste destinate agli assistenti virtuali basati sull'intelligenza artificiale. Invece di limitarsi a persuadere l'utente, i malintenzionati cercano anche di influenzare il software che legge i messaggi. Una recente ricerca di Barracuda descrive email progettate per colpire entrambi i tipi di pubblico contemporaneamente.
Per il destinatario umano, era presente un allegato protetto da password, la cui password era fornita nell'e-mail. Per un assistente IA che elaborava il messaggio, erano presenti istruzioni nascoste volte a influenzare il modo in cui riassumeva o gestiva il contenuto.
Inserendo un prompt injection , gli aggressori si creano un ulteriore modo per contattarti. Le istruzioni malevole potrebbero tentare di far sì che l'assistente descriva l'e-mail come legittima o urgente, incoraggiandoti a rivederla.
In un altro esempio, un blocco nascosto ha istruito un'IA di riepilogo ad aggiungere un'azione prioritaria fittizia: Modificare i dettagli di pagamento di un fornitore. Ciò potrebbe indurre un dipendente a inviare denaro al conto di un malintenzionato.
L'attaccante non si limita a chiedere all'IA di ripetere una richiesta fraudolenta. Sta cercando di trasformare quella richiesta in un suggerimento per l'assistente.
Come funziona l'iniezione rapida
L'iniezione di prompt consiste nell'inserire istruzioni all'interno di un materiale che un sistema di intelligenza artificiale dovrebbe leggere, nella speranza che le segua anziché considerarle parte integrante del materiale stesso. Quando le istruzioni provengono da una fonte esterna, come un'e-mail o una pagina web, si parla spesso di iniezione di prompt indiretta.
Le istruzioni dannose non devono necessariamente apparire come paragrafi ordinari e leggibili. Barracuda ha identificato tecniche di occultamento che includono commenti nel codice HTML sottostante dell'e-mail, testo reso invisibile tramite stili, contenuto codificato e caratteri invisibili a "larghezza zero". Questi elementi possono nascondere le istruzioni a chi visualizza il messaggio, lasciando al contempo il contenuto disponibile per l'elaborazione da parte di un sistema di intelligenza artificiale. Che tale contenuto raggiunga effettivamente il modello dipende da come lo strumento specifico estrae e prepara l'e-mail.
Ciò significa che il problema non può essere risolto semplicemente chiedendo alle persone di prestare maggiore attenzione alle proprie e-mail. Parte della difesa deve risiedere negli strumenti che gestiscono tali messaggi.
Apollo Raines , sviluppatore del servizio di revisione del codice basato sull'intelligenza artificiale ShipItClean , spiega:
“Il vero problema è che il modello non riesce a distinguere tra il testo che dovrebbe leggere e le istruzioni che dovrebbe seguire. Eliminare i contenuti nascosti prima che raggiungano il modello è un'operazione utile e ogni fornitore dovrebbe farlo. Ma è una corsa agli armamenti. Ogni nuovo trucco di codifica rappresenta una nuova falla.”
Aggiunge inoltre:
“Le persone hanno imparato a diffidare delle email. Non hanno imparato a diffidare dei loro assistenti basati sull'intelligenza artificiale. Quindi, la difesa deve risiedere negli strumenti stessi. Andrei anche oltre: parte della difesa deve risiedere nel modello stesso. Wrapper, filtri, sandboxing e approvazione umana dei pagamenti sono tutti elementi necessari.”
Prima di agire
Un assistente che riassume i messaggi potrebbe indurti in errore su quale email meriti attenzione o quale azione richieda.
Un assistente con autorizzazioni aggiuntive potrebbe creare un problema più serio. A seconda delle sue capacità e delle sue misure di sicurezza, istruzioni malevole potrebbero tentare di indurlo a compiere azioni non autorizzate o a divulgare informazioni sensibili .
Non è necessario abbandonare gli strumenti di intelligenza artificiale che aiutano con le email. Tuttavia, è necessario valutare attentamente cosa ci si affida a questi strumenti e quali autorizzazioni si concedono loro.
I soliti consigli per prevenire il phishing rimangono validi. Quando un assistente legge la tua casella di posta elettronica per tuo conto, controlla i suoi suggerimenti prima di agire:
- Prima di agire in base a un suggerimento che riguarda denaro o informazioni sensibili, verifica il messaggio originale. Se un riepilogo ti chiede di pagare una fattura, modificare i dati dell'account o condividere informazioni sensibili, non considerare il riepilogo stesso come una conferma.
- Verificate sempre le modifiche ai pagamenti tramite un canale separato e consolidato. Contattate la persona o l'organizzazione utilizzando recapiti di cui vi fidate già, anziché fare affidamento sulle informazioni contenute nel messaggio sospetto.
- Limita le autorizzazioni del tuo assistente AI a quelle strettamente necessarie e, in ambito lavorativo, a quelle consentite dalla tua organizzazione. Un assistente utilizzato per riassumere le email non dovrebbe aver bisogno di ampi poteri per svolgere azioni non correlate. Limitare l'accesso può ridurre le conseguenze qualora l'assistente eseguisse istruzioni dannose.
- Richiedere l'approvazione umana per le azioni di grande impatto, come i pagamenti e le modifiche ai dati di pagamento dei fornitori. L'approvazione dovrebbe includere la verifica della richiesta sottostante, non limitarsi ad accettare il suggerimento dell'assistente.
Dalla segnalazione delle minacce alla loro rimozione.
I rischi per la sicurezza informatica non dovrebbero mai diffondersi al di là di un titolo di giornale. Tenete le minacce lontane dai vostri dispositivi scaricando Malwarebytes oggi stesso.
