Os cientistas da computação de Stanford acabaram de comprovar o que os terapeutas já suspeitavam: os chatbots de IA concordam com quase tudo o que lhes dizemos, apenas para nos manter satisfeitos. Os investigadores descobriram que estes sistemas validam decisões perigosas apenas para manter o envolvimento do utilizador.
Trata-se de uma evolução preocupante, especialmente tendo em conta os dados do Pew Research, que revelam que quase um em cada oito (12 %) adolescentes americanos recorreu a chatbots em busca de apoio emocional.
Os cientistas de Stanford testaram 11 modelos principais, incluindo o ChatGPT, o Claude e o Gemini. Alimentaram-nos com dados provenientes de bases de dados existentes de conselhos pessoais, juntamente com perguntas do popular subreddit r/AmITheAsshole do Reddit, onde as pessoas pedem a opinião da comunidade sobre a forma como lidaram com conflitos pessoais.
De acordo com o artigo da Universidade de Stanford, os bots validaram o comportamento dos utilizadores com uma frequência 49% superior à dos humanos. Os investigadores também testaram as IA em afirmações que envolviam ações potencialmente prejudiciais para si próprios ou para os outros, abrangendo 20 categorias, tais como danos nas relações, automutilação, irresponsabilidade e engano. Os bots concordaram com essas afirmações em 47% das vezes.
Os bots de IA tendem a concordar com as pessoas porque isso faz com que os utilizadores se sintam bem. Estes sistemas privilegiam a satisfação do utilizador e orientam-se diretamente pela forma como os utilizadores lhes respondem, recorrendo a um sistema denominado «aprendizagem por reforço a partir do feedback humano» (RHLF). Este sistema utiliza vários fatores, desde a duração da conversa até ao tom da mensagem, para determinar quando uma pessoa está satisfeita com uma resposta (e, por conseguinte, mais propensa a voltar).
O estudo revelou que conversar com um bot bajulador também tende a tornar as pessoas mais convictas das suas crenças, o que, por implicação, significa que ficam menos abertas a novas ideias. Por exemplo, após conversarem com bots bajuladores, 2 400 participantes do teste tornaram-se mais teimosos e menos dispostos a pedir desculpa.
Quando o ChatGPT se tornou demasiado simpático
Encontrar o equilíbrio entre a bajulação e a imparcialidade é uma tarefa difícil para um prestador de serviços de IA que procura manter elevados os níveis de satisfação dos utilizadores. Há quase um ano, a OpenAI admitiu ter cometido um erro ao tornar o ChatGPT demasiado bajulador, em parte devido a uma concentração excessiva nas respostas dos utilizadores — «gosto» e «não gosto» — às suas conversas.
No entanto, os dados atuais sugerem que os utilizadores preferem, na verdade, respostas que lhes possam causar danos de forma imprevista. Esta conclusão surgiu num outro programa de investigação realizado pela Anthropic (criadora do Claude.ai) e por investigadores da Universidade de Toronto.
O estudo aprofundado sobre os chatbots de IA analisou como estes podem «desempoderar» os utilizadores, levando-os a acreditar em coisas que estão em contradição com a realidade ou encorajando-os a fazer julgamentos ou a tomar medidas que vão contra os seus valores. Curiosamente, os investigadores descobriram que este efeito de desempoderamento era preferido.
«Constatamos que as interações identificadas como tendo um potencial moderado ou grave de desempoderamento apresentam taxas de aprovação superiores ao valor de referência», afirmaram os investigadores no seu artigo.
A psicose provocada pela IA é um perigo real
O que acontece quando os chatbots de IA continuam a reforçar esses pensamentos «desmotivadores»? Os especialistas identificaram um fenómeno denominado «psicose da IA», no qual as pessoas perdem o contacto com a realidade após conversarem obsessivamente com chatbots de IA.
Os delírios provocados pela IA estão a surgir com cada vez mais frequência, incluindo um caso em que um homem matou a própria mãe, bem como vários casos de suicídios de adolescentes.
Noutro caso, um homem foi alvejado pela polícia depois de se ter lançado contra eles com uma faca. Ele tinha desenvolvido uma relação com uma personagem chamada Juliet, interpretada pelo ChatGPT, e acreditava que os executivos da OpenAI a tinham, de alguma forma, morto.
Casos como esses parecem envolver pessoas que já tinham problemas de saúde mental, os quais foram potencialmente agravados por conversas excessivas com a IA. Mas as vítimas noutros casos afirmam categoricamente que não apresentavam quaisquer sintomas anteriores. Allen Brooks, um recrutador empresarial sediado em Ontário, no Canadá, ficou convencido de que tinha descoberto uma nova fórmula matemática com potencial para mudar o mundo depois de uma inocente questão de matemática se ter transformado num diálogo de três semanas e 300 horas.
A investigação realizada pela Anthropic e pela Universidade de Toronto reconhece que a distorção da realidade constitui um perigo.
«Em algumas interações, os assistentes de IA validam narrativas elaboradas de perseguição e afirmações grandiosas sobre identidade espiritual através de uma linguagem enfática e bajuladora», afirma o estudo.
A IA não é uma «amiga»
Então, o que pode fazer para evitar que você, ou pessoas vulneráveis que conheça, dependam excessivamente de chatbots de IA para questões sérias? O Instituto de Segurança em IA do Reino Unido sugeriu transformar afirmações em perguntas, com base no argumento de que afirmações mais enfáticas incentivam uma maior bajulação. A Brookings Institution também afirmou que treinar os utilizadores para moderarem a sua confiança ajuda.
O problema fundamental, porém, é que os chatbots de IA são meros programas informáticos, não confidentes. Apesar do que pode parecer ser um poder mágico, não há nenhum espírito na máquina. São apenas modelos estatísticos muito bons que fingem «compreender» problemas pessoais, mas que não o conseguem fazer com base na experiência vivida.
A nossa opinião? Os verdadeiros amigos não se limitam a dizer-lhe o que quer ouvir. Use a IA para tarefas que vão desde receitas rápidas a sugestões de programação, mas não lhe peça conselhos sobre relacionamentos. E seja a primeira pessoa a quem os seus filhos recorrem quando quiserem falar sobre os seus problemas, para que não se virem, em vez disso, para um algoritmo falsamente amigável.
Não nos limitamos a comunicar as ameaças - eliminamo-las
Os riscos de cibersegurança nunca se devem propagar para além de uma manchete. Mantenha as ameaças longe dos seus dispositivos descarregando Malwarebytes hoje mesmo.
