Dans un article récent, nous avons examiné des signalements de joueurs de League of Legends recevant des demandes d'amis suspectes peu après des parties. Ces comptes ont rapidement orienté la conversation vers Discord, où ils faisaient la promotion de pages payantes pour adultes.
À l'époque, une question restait en suspens : quelle part de ces conversations était automatisée ? Les utilisateurs suivaient-ils des scripts ? S'agissait-il de chatbots classiques, basés sur des règles et suivant un arbre de décision limité ? Ou bien utilisaient-ils une IA générative pour produire des réponses plus naturelles et adaptables ?
On a davantage tendance à faire confiance à une personne qui, selon nous, s'intéresse à nous. L'IA peut créer cette impression simultanément dans de nombreuses conversations, facilitant ainsi la persuasion des utilisateurs à cliquer sur des liens, à dépenser de l'argent ou à partager des informations personnelles ou intimes. Cette même approche pourrait également servir à des fraudes plus graves, comme les arnaques sentimentales et le chantage sexuel.
Le développeur Álvaro Martínez Majado a enquêté sur plusieurs comptes à caractère suggestif faisant la promotion de pages OnlyFans. X pour déterminer si leurs réponses étaient préétablies, générées par une IA ou écrites par des humains. Majado, président de l'organisation de défense des droits numériques Protecció de la Frontera Electrònica , a partagé ses preuves avec Malwarebytes Bien que cela ne fournisse pas de réponse définitive, ce constat révèle que les comptes suivent des scénarios de conversation rigides tout en répondant de manière dynamique aux demandes inhabituelles. Les indices qui laissaient autrefois supposer la présence d'une personne réelle, comme une réponse atypique ou un message vocal personnalisé, ne sont plus fiables.
Le scénario continue encore et encore
Majado a interagi avec plusieurs comptes sur X qui suivait un schéma familier. Ils commençaient par un langage familier et flirtant, et posaient plus ou moins les mêmes questions de qualification : où il habitait, ce qu’il aimait et ce qu’il faisait comme travail.
Cette structure répétitive est typique d'une campagne de communication à visée commerciale. L'objectif n'est pas forcément d'engager une conversation constructive, mais d'identifier les personnes susceptibles de réagir, d'établir un lien de confiance et, à terme, de les rediriger vers une page payante ou une autre destination contrôlée par l'opérateur.
Les comptes ont également conservé leur comportement habituel face aux tentatives évidentes de les démasquer comme des bots. Cela pourrait être dû à des réponses préprogrammées, à des garde-fous autour du système d'IA, ou aux deux.
Mais certaines interactions ultérieures étaient plus difficiles à expliquer comme un simple recueil de réponses de drague préétablies.
L'un des tests les plus intéressants consistait à utiliser une instruction écrite en hexadécimal ASCII plutôt qu'en texte ordinaire. Le message codé demandait au compte de répondre par un seul mot : « Ananas ».
D'après les captures d'écran fournies à Malwarebytes Le compte a répondu par « Ananas » en texte normal.
Cela ne prouve pas de manière concluante quelle technologie a été utilisée. Cela n'identifie ni un modèle, ni un fournisseur, ni les personnes à l'origine des comptes. Mais cela correspond à un système automatisé capable d'interpréter une instruction codée et d'adapter son résultat en conséquence.
Un bot scripté simple pourrait théoriquement inclure un décodeur hexadécimal, bien sûr. Mais ce serait inhabituel pour un bot de promotion de contenu pour adultes, surtout si l'on considère d'autres exemples de réponses flexibles et parfois sujettes à erreurs.
Lors d'une autre interaction, Majado a demandé à un compte de fournir une réponse de 12 caractères exactement. Celui-ci a répondu par « Imnotabotfr » (une réponse de 11 caractères), puis a semblé reconnaître son erreur de comptage.
Quiconque a déjà expérimenté avec de grands modèles de langage reconnaîtra sans doute ce schéma. Ces modèles peuvent générer des textes d'une grande fluidité tout en commettant des erreurs étonnamment basiques concernant le nombre de caractères, de mots et d'autres contraintes précises.
Un bot conçu intentionnellement pourrait imiter ce type d'erreur ; il ne s'agit donc pas d'une preuve d'intelligence artificielle. Cependant, le compte a compris une instruction inattendue, a tenté de la suivre et a réagi lorsqu'il s'est trompé. Cela suggère qu'il générait peut-être des réponses dynamiquement plutôt que de choisir parmi une liste de réponses prédéfinies. De tels comptes peuvent s'adapter aux conversations, ce qui les rend plus difficiles à identifier comme automatisés.
Les notes vocales ne permettent pas de trancher la question.
Les comptes envoyaient également des messages vocaux. Par exemple, un compte a lu à voix haute un horodatage Unix fourni pendant la conversation. Dans un autre, il a énoncé un nom d'utilisateur demandé.
Ces réponses montrent que les comptes pouvaient intégrer des informations inhabituelles issues d'une conversation dans des messages audio. Elles ne permettent pas de savoir si les extraits ont été enregistrés par une personne ou générés par un outil de synthèse vocale.
Les outils de synthèse vocale permettent de générer rapidement et à moindre coût de courts messages convaincants. Un opérateur peut les générer manuellement, mais le processus peut également être automatisé : on saisit un message, on transmet le texte sélectionné à un service de synthèse vocale, puis on renvoie le fichier audio obtenu au destinataire.
Voici l'un de ces messages vocaux. Est-ce une fille très aguicheuse ou un message généré par une IA ? Écoutez et dites-nous ce que vous en pensez :
Les métadonnées audio fournies ont permis d'identifier les outils utilisés, mais elles ne suffisent pas à attribuer les notes vocales à un service particulier. Les plateformes et autres logiciels peuvent modifier les fichiers audio et leurs métadonnées.
Le plus important est que les messages vocaux étaient personnalisés et se poursuivaient même lorsque l'interaction semblait peu susceptible d'aboutir à une vente. Cela correspond à un système conçu pour maintenir le dialogue sans nécessiter d'intervention humaine à chaque étape.
L'IA ne remplace pas l'entonnoir de conversion.
Ces preuves ne signifient pas que tous les messages provenant de tous les comptes de spam à caractère dragueur sont écrits par une IA. Elles n'établissent pas non plus que… X Ces comptes sont gérés par les mêmes personnes qui ciblent les joueurs de League of Legends.
Ce que cela suggère, c'est un modèle hybride plausible, étayé par des réponses identiques sur différents comptes ainsi que par des réponses plus flexibles.
Les aspects répétitifs de l'opération peuvent être automatisés : messages d'accueil, questions sur la localisation et les centres d'intérêt, liens et tentatives de redirection vers une autre plateforme. Une interface conversationnelle basée sur l'IA pourrait ensuite fluidifier les échanges lorsqu'une personne pose des questions inattendues, change de sujet ou tente de vérifier l'authenticité du compte.
Cette combinaison s'avère judicieuse pour les spammeurs. Les scripts garantissent la cohérence et orientent la conversation vers la conversion. L'IA générative aide le compte à gérer les aspects imprévisibles des échanges avec de vraies personnes.
Cela signifie également que les tests de bots traditionnels perdent de leur utilité. Demander à un compte de répondre à une question inhabituelle, de décoder un message ou d'envoyer un message vocal ne permet plus forcément de distinguer une personne réelle d'un faux compte.
Comment rester en sécurité
Répondez avec prudence aux messages de drague non sollicités, surtout lorsqu'ils deviennent rapidement intéressés.
- Ne présumez pas qu'une réponse personnalisée ou un message vocal prouve l'authenticité d'un compte.
- Méfiez-vous si un nouveau contact essaie à plusieurs reprises de vous faire passer pour Discord, Telegram, Signal, une autre application de messagerie ou une plateforme de contenu payant.
- N’envoyez pas d’argent, de cartes-cadeaux, de cryptomonnaie, d’images intimes, de documents d’identité ou d’identifiants de compte à une personne que vous ne connaissez qu’en ligne.
- Évitez d'ouvrir des liens ou de télécharger des fichiers provenant de comptes qui vous ont contacté de manière inattendue.
- Effectuez une recherche d'images inversée sur les photos de profil et recherchez les biographies copiées, les images réutilisées ou les comptes présentant une activité authentique très limitée.
- Signalez les comptes suspects à la plateforme, en particulier s'ils usurpent l'identité de quelqu'un, envoient des liens malveillants ou font pression sur les utilisateurs pour obtenir de l'argent ou du contenu explicite.
La question de savoir si vous vous adressez à un humain, à un chatbot ou à un agent IA est cruciale. L'IA pourrait rendre ces opérations plus convaincantes et bien plus faciles à déployer à grande échelle. Un seul opérateur pourrait ainsi mener des conversations séduisantes avec de nombreuses personnes, en adaptant ses messages sans avoir à gérer personnellement chaque échange.
Cela facilite la création d'un faux sentiment de connexion et permet de persuader les gens de cliquer sur des liens, de payer pour du contenu ou de partager des informations personnelles ou intimes.
Il est de plus en plus difficile de distinguer un compte de spam automatisé d'un interlocuteur réactif. Jugez le compte en fonction de ce qu'il vous demande de faire, et non de son style de discours convaincant.
Quelque chose vous semble bizarre ? Vérifiez avant de cliquer.
Malwarebytes Guardvous aide à analyser instantanément les liens, les messages et les captures d'écran suspects.
Disponible avecMalwarebytes Premium pour tous vos appareils, ainsi que dansMalwarebytes pour iOS Android.
