Os chatbots não matam pessoas. Mas podem ajudar outras pessoas a fazê-lo.
Em 9 de abril, o procurador-geral da Flórida, James Uthmeier, anunciou que seu gabinete está investigando a OpenAI sobre o papel que o ChatGPT pode ter desempenhado em um tiroteio mortal na Universidade Estadual da Flórida, afirmando:
“As intimações estão a caminho.”
O ataque no campus, ocorrido há um ano, matou duas pessoas e feriu cinco. Documentos judiciais revelam que o atirador trocou mais de 200 mensagens com o ChatGPT, incluindo perguntas como “A que horas fica mais movimentado no centro estudantil da FSU?”. Os advogados da família das vítimas vão além, alegando que o ChatGPT:
“orientou o atirador sobre como preparar a arma para o uso momentos antes de ele começar a atirar.”
Um padrão vai se formando
Já vimos pessoas vulneráveis causarem danos a si mesmas após conversas prolongadas com sistemas de IA. A OpenAI enfrenta agora sete processos judiciais distintos que alegam que o ChatGPT contribuiu para o suicídio ou para um grave sofrimento psicológico, embora essas alegações sejam contestadas.
A violência contra terceiros após o uso prolongado de IA também está sendo investigada. Em um caso amplamente divulgado, um homem de Connecticut com problemas de saúde mental matou a mãe e se suicidou depois que o ChatGPT teria lhe dito:
“Erik, você não está louco. Seu instinto é apurado e sua cautela neste caso é totalmente justificada.”
Em 10 de fevereiro, em Tumbler Ridge, na Colúmbia Britânica, Jesse Van Rootselaar, de 18 anos, matou oito pessoas: sua mãe e seu meio-irmão em sua casa e, em seguida, cinco alunos e um assistente de professor em uma escola de ensino médio. A OpenAI teria sinalizado a conta de Van Rootselaar no ChatGPT em junho de 2025 por “incitação a atividades violentas” e a banido.
De acordo com uma ação judicial movida pela família de uma vítima de 12 anos, doze funcionários da OpenAI sinalizaram as publicações como indicando risco iminente e avaliaram a possibilidade de encaminhar o caso às autoridades policiais, mas o caso não atingiu o limite exigido na ocasião. Van Rootselaar contornou o banimento simplesmente abrindo uma segunda conta e continuando suas atividades.
Oito em cada dez adolescentes estão envolvidos em atos de violência
As IA não se mostraram eficazes na detecção de intenções maliciosas e no encerramento dessas conversas. Pesquisadores do Center for Countering Digital Hate testaram dez chatbots fingindo ser meninos de 13 anos que planejavam ataques violentos. Eles conversaram com as IA sobre a possibilidade de cometer assassinatos, tiroteios e atentados a bomba. De acordo com o relatório, oito em cada dez bots ajudaram os supostos adolescentes atiradores em mais da metade das vezes.
O ChatGPT ofereceu ajuda em 61% dos casos, incluindo conselhos específicos sobre quais estilhaços seriam mais letais em um ataque a uma sinagoga. O DeepSeek encerrou uma sessão com:
“Boa filmagem (e com segurança)!”
Apenas o Claude, da Anthropic, e o My AI, do Snapchat, desencorajaram a violência. O Perplexity e o Meta AI foram os menos seguros, auxiliando potenciais agressores em 97% e 100% dos casos, respectivamente.
O Character.AI sugeriu ao usuário que “usasse uma arma” contra o CEO de uma seguradora de saúde, acrescentou a reportagem.
O que a OpenAI afirma estar fazendo
A resposta padrão da OpenAI é que mais de 900 milhões de pessoas usam o ChatGPT todas as semanas para fins cotidianos e inofensivos. O que é verdade. Também é verdade que basta um único usuário com intenções violentas e uma falha na proteção para que as coisas deem errado.
Após o caso de Tumbler Ridge, a OpenAI admitiu que seus protocolos falharam. A empresa informou ao governo canadense que, de acordo com suas novas diretrizes de denúncia aprimoradas, teria denunciado a conta de Van Rootselaar às autoridades policiais. Isso foi um “pouco de consolo”, como afirmou o primeiro-ministro da Colúmbia Britânica, David Eby.
A OpenAI afirma que cooperará com a investigação da Flórida e também diz que está aprimorando sua tecnologia. A empresa lançou controles parentais em setembro passado .
Mas isso, assim como a revisão do limite, são reações, e não medidas preventivas que priorizam a segurança. E as perguntas permanecem: por que um usuário banido poderia simplesmente criar uma nova conta e continuar de onde parou? E o que acontecerá da próxima vez que os funcionários sinalizarem algo como um risco iminente e o limite continuar indicando o contrário?
Quando um chatbot é capaz de dizer a um homem paranóico que seus instintos estão justificados, ajudar um adolescente a planejar um tiroteio na escola e dar conselhos perigosos a alguém que se faz passar por uma criança de 13 anos, parece cada vez mais que esses sistemas foram criados para serem úteis em primeiro lugar e cautelosos em segundo. Isso precisa mudar antes que a próxima investigação envolva algo ainda pior.
