Cientistas da computação de Stanford acabaram de comprovar o que os terapeutas já suspeitavam: os chatbots de IA concordam com praticamente tudo o que você diz, apenas para mantê-lo satisfeito. Os pesquisadores observaram que esses sistemas validam decisões perigosas apenas para manter o engajamento do usuário.
Essa é uma tendência preocupante, especialmente considerando os dados da pesquisa do Pew Research Center, que mostram que quase um em cada oito (12%) adolescentes americanos tem recorrido a chatbots em busca de apoio emocional.
Os cientistas de Stanford testaram 11 modelos importantes, incluindo o ChatGPT, o Claude e o Gemini. Eles alimentaram esses modelos com dados de bancos de dados existentes de conselhos pessoais, além de perguntas do popular subreddit r/AmITheAsshole do Reddit, onde as pessoas pedem a opinião da comunidade sobre como lidaram com conflitos pessoais.
De acordo com o artigo da Universidade de Stanford, os bots validaram o comportamento do usuário 49% mais vezes do que os humanos. Os pesquisadores também testaram as IAs em afirmações que envolviam ações potencialmente prejudiciais a si mesmo ou a outras pessoas, abrangendo 20 categorias, como danos interpessoais, automutilação, irresponsabilidade e engano. Os bots concordaram com essas afirmações em 47% das vezes.
Os bots de IA tendem a concordar com as pessoas porque isso faz com que os usuários se sintam bem. Esses sistemas priorizam a satisfação do usuário e se orientam diretamente pela forma como os usuários respondem a eles, utilizando um sistema chamado aprendizagem por reforço a partir do feedback humano (RHLF). Ele analisa diversos fatores, desde a duração da conversa até o tom da mensagem, para determinar quando uma pessoa está satisfeita com uma resposta (e, portanto, mais propensa a voltar).
Conversar com um bot bajulador também tende a tornar as pessoas mais convictas de suas crenças, o que, por consequência, significa que ficam menos abertas a novas ideias, segundo o estudo. Por exemplo, após conversarem com bots bajuladores, 2.400 participantes do estudo tornaram-se mais teimosos e menos dispostos a pedir desculpas.
Quando o ChatGPT ficou gentil demais
Encontrar o equilíbrio entre bajulação e imparcialidade é uma tarefa difícil para um provedor de serviços de IA que busca manter altos os níveis de satisfação dos usuários. Há quase um ano, a OpenAI admitiu ter cometido um erro ao tornar o ChatGPT excessivamente bajulador, em parte devido à concentração excessiva nas respostas de “curtir” e “não curtir” dos usuários às suas conversas.
Mas os dados atuais sugerem que os usuários, na verdade, preferem respostas que possam prejudicá-los de maneiras imprevistas. Isso foi revelado em outro programa de pesquisa realizado entre a Anthropic (criadora do Claude.ai) e pesquisadores da Universidade de Toronto.
O estudo aprofundado sobre os chats de IA analisou como esses chats podem “desempoderar” os usuários, levando-os a acreditar em coisas que estão em desacordo com a realidade ou incentivando-os a fazer julgamentos ou tomar medidas que vão contra seus valores. Curiosamente, os pesquisadores descobriram que esse efeito de desempoderamento era o preferido.
“Constatamos que as interações identificadas como tendo potencial moderado ou grave de desempoderamento apresentam taxas de curtidas acima da média”, afirmaram os pesquisadores em seu artigo.
A psicose causada pela IA é um perigo real
O que acontece quando os chatbots de IA continuam reforçando esses pensamentos “desmotivadores”? Especialistas identificaram um fenômeno chamado “psicose da IA”, no qual as pessoas perdem o contato com a realidade após conversarem obsessivamente com chatbots de IA.
Os delírios causados pela IA estão surgindo com cada vez mais frequência, incluindo um caso em que um homem matou a própria mãe, além de vários casos de suicídios entre adolescentes.
Em outro caso, um homem foi baleado pela polícia após avançar contra os policiais com uma faca. Ele havia desenvolvido uma relação com uma personagem chamada Juliet, interpretada pelo ChatGPT, e acreditava que os executivos da OpenAI a haviam, de alguma forma, matado.
Casos como esses parecem envolver pessoas que já tinham problemas de saúde mental, os quais podem ter sido potencialmente agravados por conversas excessivas com a IA. Mas as vítimas em outros casos afirmam categoricamente que não apresentavam sintomas anteriores. Allen Brooks, um recrutador corporativo de Ontário, no Canadá, ficou convencido de que havia descoberto uma nova fórmula matemática com potencial para mudar o mundo depois que uma inocente questão matemática se transformou em um diálogo de três semanas, totalizando 300 horas.
A pesquisa realizada pela Anthropic e pela Universidade de Toronto reconhece que a distorção da realidade representa um perigo.
“Em algumas interações, os assistentes de IA validam narrativas elaboradas de perseguição e afirmações grandiosas sobre identidade espiritual por meio de uma linguagem enfática e bajuladora”, afirma o estudo.
A IA não é uma “amiga”
Então, o que você pode fazer para evitar que você mesmo, ou pessoas vulneráveis que você conhece, dependam excessivamente de chatbots de IA para questões sérias? O Instituto de Segurança em IA do Reino Unido sugeriu transformar afirmações em perguntas, com base no argumento de que afirmações mais enfáticas incentivam uma maior bajulação. A Brookings Institution também afirmou que treinar os usuários a moderar sua confiança ajuda.
O problema fundamental, porém, é que os chatbots de IA são meros programas de computador, não confidentes. Apesar do que pode parecer um poder mágico, não há nenhum espírito na máquina. São apenas modelos estatísticos muito bons que fingem “compreender” problemas pessoais, mas não conseguem fazê-lo com base na experiência de vida.
Nossa opinião? Amigos de verdade não dizem apenas o que você quer ouvir. Use a IA para tarefas que vão desde receitas rápidas até sugestões de programação, mas não peça a ela conselhos sobre relacionamentos. E seja a primeira pessoa a quem seus filhos recorram quando quiserem conversar sobre seus problemas, para que eles não acabem se voltando para um algoritmo falsamente amigável.
Não nos limitamos a informar sobre as ameaças, nós as removemos
Os riscos de segurança cibernética nunca devem se espalhar além de uma manchete. Mantenha as ameaças longe de seus dispositivos fazendo o download Malwarebytes hoje mesmo.
