In een recent bericht hebben we gekeken naar meldingen van League of Legends-spelers die kort na wedstrijden verdachte vriendschapsverzoeken ontvingen. De accounts leidden het gesprek al snel naar Discord, waar ze betaalde pagina's met erotische content promootten.
Destijds bleef één vraag onbeantwoord: in hoeverre waren die gesprekken geautomatiseerd? Werkten de medewerkers achter de accounts met scripts? Waren het conventionele, op regels gebaseerde chatbots die een beperkte beslissingsboom volgden? Of gebruikten ze generatieve AI om natuurlijkere en flexibelere antwoorden te genereren?
Mensen zijn eerder geneigd iemand te vertrouwen die naar hun mening persoonlijk in hen geïnteresseerd is. AI kan die indruk wekken in meerdere gesprekken tegelijk, waardoor het makkelijker wordt om mensen over te halen op links te klikken, geld uit te geven of persoonlijke of intieme informatie te delen. Dezelfde aanpak zou ook gebruikt kunnen worden voor schadelijkere vormen van fraude, zoals romantische oplichting en sextortion.
Ontwikkelaar Álvaro Martínez Majado heeft nu onderzoek gedaan naar verschillende flirterige accounts die OnlyFans-pagina's promoten op X om te zien of hun antwoorden waren ingestudeerd, gegenereerd door AI of geschreven door mensen. Majado, voorzitter van de digitale rechtenorganisatie Protecció de la Frontera Electrònica , deelde zijn bewijsmateriaal met Malwarebytes Hoewel het geen definitief antwoord geeft, laat het zien dat de accounts rigide gespreksscripts volgen, maar tegelijkertijd dynamisch reageren op ongebruikelijke verzoeken. De signalen die voorheen wezen op een echt persoon, zoals een ongebruikelijk antwoord of een persoonlijk spraakbericht, zijn niet langer betrouwbaar.
Het script gaat maar door en door.
Majado communiceerde met verschillende accounts op X Dat volgde een bekend patroon. Ze begonnen met soortgelijke informele, flirterige taal en stelden in grote lijnen dezelfde vragen: waar hij woonde, wat hij leuk vond en wat hij voor werk deed.
Die repetitieve structuur is precies wat we zouden verwachten van een commercieel gerichte berichtencampagne. Het doel is niet per se om een betekenisvol gesprek te voeren. Het is om mensen te identificeren die waarschijnlijk zullen reageren, een band op te bouwen en ze uiteindelijk naar een betaalde pagina of een andere bestemming te leiden die door de aanbieder wordt beheerd.
De accounts bleven ook consistent in hun rol, zelfs toen er overduidelijk pogingen werden gedaan om ze als bots te ontmaskeren. Dat zou het gevolg kunnen zijn van voorgeprogrammeerde antwoorden, beveiligingsmechanismen rond een AI-systeem, of beide.
Sommige latere interacties waren echter lastiger te verklaren als een simpele opsomming van ingestudeerde flirterige antwoorden.
Een van de interessantste tests betrof een instructie die was geschreven in ASCII-hexadecimaal in plaats van gewone tekst. Het gecodeerde bericht gaf het account de opdracht om met één woord te antwoorden: "Ananas."
Volgens de screenshots die zijn verstrekt aan Malwarebytes Het account antwoordde met "Ananas" in gewone tekst.
Dat bewijst niet definitief welke technologie is gebruikt. Het identificeert geen model, geen aanbieder en ook niet de personen achter de accounts. Maar het is wel consistent met een geautomatiseerd systeem dat in staat is een gecodeerde instructie te interpreteren en de uitvoer dienovereenkomstig aan te passen.
Een eenvoudige scriptbot zou theoretisch gezien een hexadecimale decoder kunnen bevatten. Maar dat zou ongebruikelijk zijn in een basisbot voor de promotie van content voor volwassenen, vooral in combinatie met andere voorbeelden van flexibele en soms foutgevoelige reacties.
In een andere interactie vroeg Majado een account om een antwoord van precies 12 tekens te geven. Het account antwoordde met "Imnotabotfr"—een antwoord van 11 tekens—en leek vervolgens zijn eigen tel-fout te erkennen.
Iedereen die wel eens geëxperimenteerd heeft met grote taalmodellen zal dit patroon herkennen. Taalmodellen kunnen heel goed zijn in het genereren van natuurlijk klinkende tekst, terwijl ze toch verrassend fundamentele fouten maken met betrekking tot het aantal tekens, het aantal woorden en andere exacte beperkingen.
Een doelbewust ontworpen bot zou dit soort fouten kunnen imiteren, dus het is geen bewijs voor AI. Maar het account begreep een onverwachte instructie, probeerde deze op te volgen en reageerde toen het antwoord fout was. Dat suggereert dat het mogelijk dynamisch antwoorden genereerde in plaats van te kiezen uit een lijst met vooraf geschreven antwoorden. Dergelijke accounts kunnen zich aanpassen aan gesprekken, waardoor ze moeilijker te identificeren zijn als geautomatiseerd.
Spraakberichten bieden geen uitsluitsel.
De accounts verstuurden ook spraakberichten. In één voorbeeld las een account een Unix-tijdstempel voor dat tijdens het gesprek werd doorgegeven. In een ander geval sprak het een gevraagde gebruikersnaam uit.
Deze reacties laten zien dat de accounts ongebruikelijke informatie uit een gesprek in audioberichten konden verwerken. Ze vertellen ons echter niet of de fragmenten door een persoon zijn opgenomen of door een tekst-naar-spraakprogramma zijn gegenereerd.
Tekst-naar-spraakprogramma's kunnen snel en goedkoop korte, overtuigende fragmenten genereren. Een operator kan ze handmatig genereren, maar het proces kan ook worden geautomatiseerd: neem een bericht, geef geselecteerde tekst door aan een spraakgeneratieservice en stuur de resulterende audio terug naar de ontvanger.
Hier is een van die spraakberichten. Is het een heel flirterig meisje, of is het door AI gegenereerd? Luister en laat me weten wat je ervan vindt:
De meegeleverde audiometadata boden een mogelijke aanwijzing over de gebruikte tools, maar zijn onvoldoende om de spraakmemo's aan een specifieke dienst toe te schrijven. Platforms en andere software kunnen audiobestanden en hun metadata wijzigen.
Het belangrijkste punt is dat de spraakberichten gepersonaliseerd waren en doorgingen, zelfs nadat de interactie onwaarschijnlijk leek te leiden tot een verkoop. Dat past bij een systeem dat is ontworpen om gesprekken gaande te houden zonder dat er een mens nodig is om elk gesprek te begeleiden.
AI vervangt de trechter niet.
Het bewijsmateriaal betekent niet dat elk bericht van elk flirterig spamaccount door een AI is geschreven. Evenmin bewijst het dat de X De accounts worden beheerd door dezelfde mensen die zich richten op League of Legends-spelers.
Het suggereert een plausibel hybride model, ondersteund door identieke antwoorden op verschillende accounts, naast meer flexibele reacties.
De repetitieve onderdelen van het proces kunnen worden gescript: openingsberichten, vragen over locatie en interesses, links en pogingen om mensen naar een ander platform te leiden. Een door AI aangedreven conversatielaag kan er vervolgens voor zorgen dat de uitwisseling minder repetitief aanvoelt wanneer iemand onverwachte vragen stelt, van onderwerp verandert of probeert te controleren of het account echt is.
Deze combinatie is praktisch gezien erg handig voor spammers. Scripts zorgen voor consistentie en houden het gesprek gericht op conversie. Generatieve AI helpt het account om de onvoorspelbare aspecten van communicatie met echte mensen af te handelen.
Dit betekent ook dat traditionele 'bot-tests' minder nuttig worden. Door een account te vragen een ongebruikelijke vraag te beantwoorden, een bericht te decoderen of een spraakbericht te versturen, kan niet langer worden vastgesteld of het om een echt persoon of een nepaccount gaat.
Hoe blijf ik veilig
Wees voorzichtig met ongevraagde flirterige berichten, vooral als ze snel een zakelijke kant krijgen.
- Ga er niet van uit dat een persoonlijk antwoord of spraakbericht bewijst dat een account authentiek is.
- Wees op je hoede als een nieuw contact je herhaaldelijk probeert over te halen om over te stappen naar Discord, Telegram, Signal, een andere berichtenapp of een platform met betaalde content.
- Stuur geen geld, cadeaubonnen, cryptovaluta, intieme foto's, identiteitsdocumenten of accountgegevens naar iemand die je alleen online kent.
- Open geen links en download geen bestanden van accounts die onverwacht contact met u hebben opgenomen.
- Gebruik de omgekeerde beeldzoekfunctie voor profielfoto's en zoek naar gekopieerde biografieën, hergebruikte afbeeldingen of accounts met zeer weinig echte activiteit.
- Meld verdachte accounts aan het platform, vooral als ze zich voordoen als iemand anders, schadelijke links versturen of gebruikers onder druk zetten om geld of expliciet materiaal te sturen.
Of je nu met een mens, een chatbot of een AI-agent praat, is een belangrijke vraag. AI zou deze processen overtuigender en veel gemakkelijker schaalbaar kunnen maken. Eén operator zou flirterige gesprekken kunnen voeren met veel mensen, waarbij de berichten worden aangepast zonder dat elke uitwisseling persoonlijk hoeft te worden beheerd.
Daardoor is het makkelijker om een vals gevoel van verbondenheid te creëren en mensen over te halen om op links te klikken, voor content te betalen of persoonlijke of intieme informatie te delen.
Het onderscheid tussen een geautomatiseerd spamaccount en een responsieve gesprekspartner wordt steeds vager. Beoordeel een account op basis van wat het van je verwacht, niet op hoe overtuigend het praat.
Voelt er iets niet helemaal goed? Controleer het even voordat je klikt.
Met Malwarebytes Guardkunt u verdachte links, teksten en schermafbeeldingen direct analyseren.
Verkrijgbaar viaMalwarebytes Premium voor al je apparaten, en in deMalwarebytes voor iOS Android.
