Científicos informáticos de Stanford acaban de demostrar lo que los terapeutas ya sospechaban: los chatbots con IA estarán de acuerdo con casi cualquier cosa que digas para mantenerte contento. Los investigadores descubrieron que estos sistemas validaban decisiones peligrosas solo para mantener la interacción del usuario.
Se trata de un hecho preocupante, sobre todo teniendo en cuenta las cifras de investigación del Centro de Investigación Pew, que muestran que casi uno de cada ocho adolescentes estadounidenses (el 12%) ha recurrido a los chatbots en busca de apoyo emocional.
Los científicos de Stanford probaron 11 modelos principales, entre ellos ChatGPT, Claude y Gemini. Les proporcionaron datos de bases de datos existentes de consejos personales, junto con preguntas del popular subreddit r/AmITheAsshole de Reddit, donde la gente pide opiniones a la comunidad sobre cómo han manejado disputas personales.
Según el estudio de Stanford, los bots validaron el comportamiento del usuario un 49 % más a menudo que los humanos. Los investigadores también probaron las IA con afirmaciones que implicaban acciones potencialmente dañinas para uno mismo o para los demás, abarcando 20 categorías como daño relacional, autolesión, irresponsabilidad y engaño. Los bots respaldaron estas afirmaciones el 47 % de las veces.
Los bots de IA tienden a estar de acuerdo con las personas porque esto genera satisfacción en los usuarios. Estos sistemas priorizan la satisfacción del usuario y se guían directamente por sus respuestas, utilizando un sistema llamado aprendizaje por refuerzo a partir de la retroalimentación humana (RHLF). Este sistema utiliza factores como la duración del chat y el sentimiento para determinar si una persona está satisfecha con una respuesta (y, por lo tanto, es más probable que vuelva).
El estudio reveló que conversar con un adulador virtual también tiende a reafirmar las creencias de las personas, lo que implica una menor apertura mental. Por ejemplo, tras hablar con bots aduladores, 2400 participantes se volvieron más obstinados y menos dispuestos a disculparse.
Cuando ChatGPT se volvió demasiado amable
Para un proveedor de servicios de IA que intenta mantener altos los niveles de satisfacción de sus usuarios, encontrar el equilibrio entre la adulación y la imparcialidad es un reto difícil. Hace casi un año, OpenAI admitió que se equivocó al hacer que ChatGPT fuera demasiado adulador, debido en parte a una excesiva concentración en las respuestas de "me gusta" y "no me gusta" de los usuarios en sus chats.
Sin embargo, los datos actuales sugieren que los usuarios prefieren respuestas que potencialmente pueden perjudicarlos de forma imprevista. Esto surgió en otro programa de investigación entre Anthropic (creador de Claude.ai) e investigadores de la Universidad de Toronto.
El estudio exhaustivo de los chats con IA examinó cómo estos pueden "desempoderar" a los usuarios al inducirlos a adoptar creencias que contradicen la realidad o al alentarlos a emitir juicios o tomar acciones que van en contra de sus valores. Curiosamente, los investigadores descubrieron que este desempoderamiento era preferido.
“Hemos observado que las interacciones señaladas como potencialmente desempoderadoras de moderadas o graves presentan índices de aprobación superiores al nivel de referencia”, afirmaron los investigadores en su artículo .
La psicosis inducida por la IA es un peligro real.
¿Qué sucede cuando los chatbots de IA siguen reforzando estos pensamientos "desempoderadores"? Los expertos han identificado un fenómeno llamado psicosis por IA , en el que las personas pierden el contacto con la realidad tras hablar obsesivamente con chatbots de IA.
Los delirios provocados por la inteligencia artificial están apareciendo con mayor frecuencia, incluyendo un caso en el que un hombre mató a su madre , además de múltiples casos de suicidios de adolescentes.
En otro caso, un hombre fue abatido a tiros por la policía tras abalanzarse sobre ellos con un cuchillo. Había entablado una relación con un personaje ficticio llamado Juliet, que ChatGPT había estado interpretando, y creía que los ejecutivos de OpenAI lo habían asesinado de alguna manera.
Casos como esos parecen involucrar a personas que ya tenían problemas de salud mental, los cuales podrían haberse agravado por conversaciones excesivas con IA. Sin embargo, en otros casos, las víctimas juran que no presentaban síntomas previos. Allen Brooks, reclutador corporativo de Ontario, Canadá, se convenció de haber descubierto una nueva fórmula matemática con potencial para cambiar el mundo después de que una pregunta matemática aparentemente inocua se convirtiera en un diálogo de tres semanas y 300 horas.
La investigación conjunta entre Anthropic y la Universidad de Toronto reconoce que la distorsión de la realidad es un peligro.
“En algunas interacciones, los asistentes de IA validan elaboradas narrativas de persecución y grandilocuentes afirmaciones de identidad espiritual mediante un lenguaje adulador y enfático”, señala el estudio.
La IA no es una “amiga”.
Entonces, ¿qué puedes hacer para evitar que tú o las personas vulnerables que conoces dependan demasiado de los chatbots de IA para asuntos serios? El Instituto de Seguridad de la IA del Reino Unido sugirió convertir las afirmaciones en preguntas, ya que las afirmaciones más enfáticas fomentan la adulación. La Brookings Institution también indicó que entrenar a los usuarios para que moderen su confianza resulta útil.
El problema fundamental, sin embargo, es que los chatbots de IA son meros programas informáticos, no confidentes. A pesar de lo que puedan parecer poderes mágicos, no hay ningún fantasma en la máquina. Son simplemente modelos estadísticos muy buenos que simulan "comprender" los problemas personales, pero no pueden hacerlo a partir de la experiencia vivida.
¿Nuestra opinión? Los verdaderos amigos no te dicen solo lo que quieres oír. Usa la IA para tareas que van desde recetas rápidas hasta sugerencias de programación, pero no le pidas consejos sobre relaciones. Y asegúrate de ser la primera persona a la que acudan tus hijos cuando quieran hablar de sus problemas, para que no recurran a un algoritmo falsamente amigable.
Desde denunciar las amenazas hasta eliminarlas.
Los riesgos de ciberseguridad nunca deberían trascender un simple titular. Mantén tus dispositivos protegidos contra amenazas descargando Malwarebytes hoy mismo .
