Em uma publicação recente, analisamos relatos de jogadores de League of Legends que receberam solicitações de amizade suspeitas logo após as partidas. As contas rapidamente direcionavam a conversa para o Discord, onde promoviam páginas de conteúdo adulto pago.
Na época, uma questão em aberto era o quanto dessas conversas era automatizado. Havia pessoas trabalhando com roteiros predefinidos por trás das contas? Eram chatbots convencionais, baseados em regras e seguindo uma árvore de decisão limitada? Ou estavam usando IA generativa para produzir respostas mais naturais e flexíveis?
As pessoas tendem a confiar mais em alguém que acreditam ter interesse genuíno por elas. A IA pode criar essa impressão em diversas conversas simultâneas, facilitando a persuasão para que as pessoas cliquem em links, gastem dinheiro ou compartilhem informações pessoais ou íntimas. Essa mesma abordagem também poderia ser usada para fraudes mais graves, como golpes românticos e extorsão sexual.
Agora, o desenvolvedor Álvaro Martínez Majado investigou diversas contas de conteúdo sugestivo que promovem páginas do OnlyFans na plataforma. X para verificar se as respostas eram roteirizadas, geradas por IA ou escritas por pessoas. Majado, presidente da organização de direitos digitais Protecció de la Frontera Electrònica , compartilhou suas evidências com Malwarebytes Embora não forneça uma resposta definitiva, mostra que as contas seguem roteiros de conversa rígidos, ao mesmo tempo que respondem dinamicamente a solicitações incomuns. Os sinais que antes sugeriam uma pessoa real, como uma resposta incomum ou uma mensagem de voz personalizada, já não são confiáveis.
O roteiro continua indefinidamente.
Majado interagiu com diversas contas em X que seguiu um padrão familiar. Começaram com uma linguagem casual e flertadora semelhante e fizeram basicamente as mesmas perguntas introdutórias: onde ele morava, do que gostava e o que fazia para ganhar a vida.
Essa estrutura repetitiva é exatamente o que esperaríamos de uma campanha de mensagens com motivação comercial. O objetivo não é necessariamente ter uma conversa significativa, mas sim identificar pessoas com maior probabilidade de responder, estabelecer uma relação de confiança e, eventualmente, direcioná-las para uma página paga ou outro destino controlado pelo operador.
As contas também mantiveram sua identidade mesmo diante de tentativas óbvias de expô-las como bots. Isso pode ser resultado de respostas pré-programadas, mecanismos de segurança em torno de um sistema de IA ou ambos.
Mas algumas interações posteriores foram mais difíceis de explicar como um simples conjunto de respostas de flerte pré-programadas.
Um dos testes mais interessantes envolvia uma instrução escrita em hexadecimal ASCII em vez de texto comum. A mensagem codificada dizia à conta para responder com uma única palavra: “Abacaxi”.
De acordo com as capturas de tela fornecidas a Malwarebytes A conta respondeu com "Abacaxi" em texto normal.
Isso não prova conclusivamente qual tecnologia foi usada. Não identifica um modelo, um fornecedor ou as pessoas por trás das contas. Mas é consistente com um sistema automatizado capaz de interpretar uma instrução codificada e alterar sua saída de acordo.
Um bot com script simples poderia, teoricamente, incluir um decodificador hexadecimal, é claro. Mas isso seria incomum em um bot básico de promoção de conteúdo adulto, especialmente quando combinado com outros exemplos de respostas flexíveis e, às vezes, propensas a erros.
Em outra interação, Majado pediu a uma conta que fornecesse uma resposta com exatamente 12 caracteres. Ela respondeu com “Imnotabotfr” — uma resposta de 11 caracteres — e então pareceu reconhecer seu próprio erro de contagem.
Quem já passou algum tempo experimentando com grandes modelos de linguagem provavelmente reconhecerá o padrão. Os modelos de linguagem podem ser muito bons em gerar textos com sonoridade natural, mas ainda assim cometem erros surpreendentemente básicos envolvendo contagem de caracteres, contagem de palavras e outras restrições exatas.
Um bot projetado especificamente para esse fim poderia imitar esse tipo de erro, portanto, não é prova de inteligência artificial. Mas a conta entendeu uma instrução inesperada, tentou segui-la e reagiu quando errou a resposta. Isso sugere que ela pode ter gerado respostas dinamicamente, em vez de escolher de uma lista de respostas predefinidas. Essas contas podem se adaptar às conversas, tornando mais difícil identificá-las como automatizadas.
As mensagens de voz não resolvem a questão.
As contas também enviavam mensagens de voz. Em um exemplo, uma conta lia em voz alta um timestamp Unix fornecido durante a conversa. Em outro, ela falava um nome de usuário solicitado.
Essas respostas mostram que as contas poderiam incorporar informações incomuns de uma conversa em mensagens de áudio. Elas não nos dizem se uma pessoa gravou os trechos ou se uma ferramenta de conversão de texto em fala os gerou.
Ferramentas de conversão de texto em fala podem gerar trechos curtos e convincentes de forma rápida e barata. Um operador pode gerá-los manualmente, mas o processo também pode ser automatizado: basta receber uma mensagem, passar o texto selecionado para um serviço de geração de voz e enviar o áudio resultante de volta ao destinatário.
Aqui está uma dessas mensagens de voz. Será que é uma garota muito sedutora ou foi gerada por inteligência artificial? Ouça e veja o que você acha:
Os metadados de áudio fornecidos ofereceram uma possível pista sobre as ferramentas envolvidas, mas não são suficientes para atribuir as gravações de voz a um serviço específico. Plataformas e outros softwares podem alterar arquivos de áudio e seus metadados.
O ponto mais importante é que as mensagens de voz eram personalizadas e continuavam mesmo depois que a interação parecia improvável de resultar em uma venda. Isso é consistente com um sistema projetado para manter as conversas fluindo sem a necessidade de um humano supervisionar cada uma delas.
A IA não substitui o funil.
As evidências não significam que todas as mensagens de todas as contas de spam com conteúdo de flerte sejam escritas por uma IA. Nem comprovam que... X As contas são operadas pelas mesmas pessoas que têm como alvo jogadores de League of Legends.
O que isso sugere é um modelo híbrido plausível, apoiado por respostas idênticas em diferentes contas, juntamente com respostas mais flexíveis.
As partes repetitivas da operação podem ser automatizadas: mensagens iniciais, perguntas sobre localização e interesses, links e tentativas de direcionar as pessoas para outra plataforma. Uma camada conversacional com inteligência artificial poderia então tornar a interação menos repetitiva quando alguém faz perguntas inesperadas, muda de assunto ou tenta verificar se a conta é real.
Essa combinação faz sentido na prática para spammers. Os scripts proporcionam consistência e mantêm a conversa direcionada para a conversão. A IA generativa ajuda a conta a lidar com as partes imprevisíveis da conversa com pessoas reais.
Isso também significa que os tradicionais "testes de bots" estão se tornando menos úteis. Pedir a uma conta que responda a uma pergunta incomum, decodifique uma mensagem ou envie uma mensagem de voz pode não ser mais suficiente para distinguir uma pessoa real de uma falsa.
Como se manter seguro
Trate mensagens de flerte não solicitadas com cautela, especialmente quando elas rapidamente se tornam transacionais.
- Não assuma que uma resposta personalizada ou mensagem de voz comprove que uma conta é genuína.
- Fique atento se um novo contato tentar repetidamente te direcionar para o Discord, Telegram, Signal, outro aplicativo de mensagens ou uma plataforma de conteúdo pago.
- Não envie dinheiro, cartões-presente, criptomoedas, imagens íntimas, documentos de identidade ou credenciais de contas para alguém que você só conhece online.
- Evite abrir links ou baixar arquivos de contas que entraram em contato com você inesperadamente.
- Faça uma busca reversa de imagens de perfil e procure por biografias copiadas, imagens reutilizadas ou contas com atividade genuína muito limitada.
- Denuncie contas suspeitas à plataforma, principalmente se elas se fizerem passar por outra pessoa, enviarem links maliciosos ou pressionarem os usuários a fornecer dinheiro ou material explícito.
É importante saber com quem você está conversando: um humano, um chatbot ou um agente de IA. A IA pode tornar essas interações mais convincentes e muito mais fáceis de escalar. Um único operador poderia manter conversas sedutoras com várias pessoas, adaptando as mensagens sem precisar gerenciar pessoalmente cada interação.
Isso torna mais fácil criar uma falsa sensação de conexão e persuadir as pessoas a clicarem em links, pagarem por conteúdo ou compartilharem informações pessoais ou íntimas.
A linha que separa uma conta de spam com scripts de um parceiro de conversa receptivo está cada vez mais tênue. Avalie a conta pelo que ela quer que você faça, não pela sua capacidade de persuasão.
Algo parece errado? Verifique antes de clicar.
Malwarebytes Guardajuda você a analisar instantaneamente links, mensagens de texto e capturas de tela suspeitas.
Disponível comMalwarebytes Premium para todos os seus dispositivos e noMalwarebytes para iOS Android.
