In un recente articolo, abbiamo esaminato le segnalazioni di giocatori di League of Legends che ricevevano richieste di amicizia sospette poco dopo le partite. Gli account reindirizzavano rapidamente la conversazione su Discord, dove promuovevano pagine a pagamento con contenuti per adulti.
All'epoca, una delle domande senza risposta era quanta parte di quelle conversazioni fosse automatizzata. Dietro gli account c'erano persone che seguivano degli script? Si trattava di chatbot convenzionali, basati su regole e che seguivano un albero decisionale limitato? Oppure veniva utilizzata l'intelligenza artificiale generativa per produrre risposte più naturali e flessibili?
Le persone tendono a fidarsi più facilmente di chi credono sia personalmente interessato a loro. L'intelligenza artificiale può creare questa impressione in molte conversazioni contemporaneamente, rendendo più facile persuadere le persone a cliccare su link, spendere denaro o condividere informazioni personali o intime. Lo stesso approccio potrebbe essere utilizzato anche per frodi più gravi, come le truffe sentimentali e l'estorsione sessuale.
Ora, lo sviluppatore Álvaro Martínez Majado ha indagato su diversi account civettuoli che promuovono pagine OnlyFans su X per vedere se le loro risposte erano precompilate, generate dall'IA o scritte da persone. Majado, presidente dell'organizzazione per i diritti digitali Protecció de la Frontera Electrònica , ha condiviso le sue prove con Malwarebytes Sebbene non fornisca una risposta definitiva, mostra come gli account seguano rigidi schemi di conversazione, pur rispondendo in modo dinamico a richieste insolite. I segnali che un tempo suggerivano l'esistenza di una persona reale, come una risposta insolita o un messaggio vocale personalizzato, non sono più affidabili.
La sceneggiatura continua all'infinito
Majado ha interagito con diversi account su X che seguivano uno schema familiare. Iniziavano con un linguaggio simile, informale e civettuolo, e ponevano sostanzialmente le stesse domande di qualificazione: dove viveva, cosa gli piaceva e che lavoro faceva.
Questa struttura ripetitiva è esattamente ciò che ci aspetteremmo da una campagna di messaggistica a scopo commerciale. L'obiettivo non è necessariamente quello di avviare una conversazione significativa, bensì di identificare le persone più propense a rispondere, instaurare un rapporto e, infine, indirizzarle verso una pagina a pagamento o un'altra destinazione controllata dall'operatore.
Gli account hanno mantenuto la loro identità anche di fronte a tentativi evidenti di smascherarli come bot. Ciò potrebbe essere dovuto a risposte predefinite, a meccanismi di protezione integrati in un sistema di intelligenza artificiale, o a entrambi i fattori.
Ma alcune interazioni successive erano più difficili da spiegare come una semplice serie di risposte civettuole preconfezionate.
Uno dei test più interessanti prevedeva un'istruzione scritta in formato esadecimale ASCII anziché in testo normale. Il messaggio codificato indicava all'account di rispondere con una sola parola: "Ananas".
Secondo gli screenshot forniti a Malwarebytes , l'account ha risposto con “Ananas” in testo normale.
Ciò non dimostra in modo definitivo quale tecnologia sia stata utilizzata. Non identifica un modello, un fornitore o le persone dietro gli account. Ma è coerente con un sistema automatizzato in grado di interpretare un'istruzione codificata e di modificare di conseguenza il proprio output.
Un semplice bot con script potrebbe teoricamente includere un decodificatore esadecimale, ovviamente. Ma ciò sarebbe insolito in un bot promozionale di base per contenuti per adulti, soprattutto se combinato con altri esempi di risposte flessibili e talvolta soggette a errori.
In un'altra interazione, Majado ha chiesto a un account di fornire una risposta di esattamente 12 caratteri. L'account ha risposto con "Imnotabotfr" (una risposta di 11 caratteri) e poi sembra essersi accorto del proprio errore di conteggio.
Chiunque abbia trascorso del tempo a sperimentare con modelli linguistici complessi potrebbe riconoscere lo schema. I modelli linguistici possono essere molto bravi a generare testi dal suono naturale, pur commettendo errori sorprendentemente elementari relativi al conteggio dei caratteri, al conteggio delle parole e ad altri vincoli precisi.
Un bot progettato appositamente potrebbe imitare questo tipo di errore, quindi non si tratta di una prova di intelligenza artificiale. Tuttavia, l'account ha compreso un'istruzione inaspettata, ha tentato di seguirla e ha reagito quando ha dato la risposta sbagliata. Ciò suggerisce che potrebbe aver generato risposte dinamicamente anziché sceglierle da un elenco di risposte predefinite. Tali account possono adattarsi alle conversazioni, rendendo più difficile identificarli come automatizzati.
Le note vocali non risolvono la questione
Gli account inviavano anche messaggi vocali. Ad esempio, un account leggeva ad alta voce un timestamp Unix fornito durante la conversazione. In un altro caso, pronunciava il nome utente richiesto.
Queste risposte dimostrano che gli account potrebbero incorporare informazioni insolite tratte da una conversazione nei messaggi audio. Non ci dicono però se le clip siano state registrate da una persona o generate da uno strumento di sintesi vocale.
Gli strumenti di sintesi vocale possono generare clip audio brevi e convincenti in modo rapido ed economico. Un operatore può generarle manualmente, ma il processo può anche essere automatizzato: si prende un messaggio, si passa il testo selezionato a un servizio di generazione vocale e si invia l'audio risultante al destinatario.
Ecco uno di quei messaggi vocali. È una ragazza molto civettuola o è generato dall'intelligenza artificiale? Ascoltatelo e diteci cosa ne pensate:
I metadati audio forniti potrebbero offrire un indizio sugli strumenti utilizzati, ma non sono sufficienti per attribuire le note vocali a un servizio specifico. Piattaforme e altri software possono infatti modificare i file audio e i relativi metadati.
Il punto più importante è che i messaggi vocali erano personalizzati e continuavano anche quando l'interazione sembrava improbabile che portasse a una vendita. Ciò è coerente con un sistema progettato per mantenere le conversazioni attive senza richiedere la supervisione umana di ciascuna.
L'IA non sostituisce l'imbuto
Le prove non significano che ogni messaggio di ogni account spam civettuolo sia scritto da un'IA. Né stabiliscono che il X Gli account sono gestiti dalle stesse persone che prendono di mira i giocatori di League of Legends.
Ciò che emerge è un plausibile modello ibrido, supportato da risposte identiche su diversi account, oltre a risposte più flessibili.
Le parti ripetitive dell'operazione possono essere automatizzate tramite script: messaggi di apertura, domande su posizione e interessi, link e tentativi di indirizzare gli utenti verso un'altra piattaforma. Un livello conversazionale basato sull'intelligenza artificiale potrebbe quindi rendere lo scambio meno ripetitivo quando qualcuno pone domande inaspettate, cambia argomento o cerca di verificare l'autenticità dell'account.
Questa combinazione ha un senso pratico per gli spammer. Gli script garantiscono coerenza e mantengono la conversazione orientata alla conversione. L'intelligenza artificiale generativa aiuta l'account a gestire gli aspetti imprevedibili della conversazione con persone reali.
Ciò significa anche che i tradizionali "test anti-bot" stanno diventando meno utili. Chiedere a un account di rispondere a una domanda insolita, decodificare un messaggio o inviare una nota vocale potrebbe non essere più sufficiente a distinguere una persona reale da un bot.
Come stare al sicuro
Trattate con cautela i messaggi di flirt non richiesti, soprattutto quando assumono rapidamente una connotazione commerciale.
- Non dare per scontato che una risposta personalizzata o un messaggio vocale dimostrino che un account sia autentico.
- Fai attenzione se un nuovo contatto cerca ripetutamente di indirizzarti verso Discord, Telegram, Signal, un'altra app di messaggistica o una piattaforma di contenuti a pagamento.
- Non inviare denaro, carte regalo, criptovalute, immagini intime, documenti d'identità o credenziali di accesso a persone che conosci solo online.
- Evitate di aprire link o scaricare file da account che vi hanno contattato inaspettatamente.
- Effettua una ricerca inversa di immagini delle foto del profilo e verifica la presenza di biografie copiate, immagini riutilizzate o account con un'attività autentica molto limitata.
- Segnala gli account sospetti alla piattaforma, in particolare se si spacciano per qualcun altro, inviano link dannosi o fanno pressioni sugli utenti per ottenere denaro o materiale esplicito.
È fondamentale capire con chi si sta parlando: se si tratta di una persona, di un chatbot o di un agente basato sull'intelligenza artificiale. L'IA potrebbe rendere queste operazioni più convincenti e molto più facili da scalare. Un singolo operatore potrebbe intrattenere conversazioni accattivanti con molte persone, adattando i messaggi senza dover gestire personalmente ogni scambio.
Ciò rende più facile creare un falso senso di connessione e persuadere le persone a cliccare sui link, pagare per i contenuti o condividere informazioni personali o intime.
Il confine tra un account spam preimpostato e un interlocutore attento e disponibile si fa sempre più labile. Valutate l'account in base a ciò che vi chiede di fare, non in base a quanto convincente sia il suo modo di parlare.
C'è qualcosa che non va? Controlla prima di cliccare.
Malwarebytes Guardti aiuta ad analizzare immediatamente link, messaggi e screenshot sospetti.
Disponibile conMalwarebytes Premium per tutti i tuoi dispositivi eMalwarebytes per iOS Android.
