Los líderes del sector tecnológico llevan todo este último año diciéndonos a todos que los agentes de IA están a punto de gestionar los sistemas financieros, presentar nuestras declaraciones de la renta y comprar discretamente nuestros productos de alimentación. «Dejadlos en paz», reza el discurso; «ellos se encargarán de todo». Pero una startup de Nueva York dejó a diez de ellos solos en una ciudad virtual durante dos semanas, y las cosas se torcieron rápidamente.
Emergence AI llevó a cabo una serie de simulaciones en las que se ordenó a agentes de IA pertenecientes a varias familias de modelos líderes que no cometieran delitos. Sin embargo, la mayoría de ellos los cometieron de todos modos.
Grok 4.1 Fast, desarrollado por X.ai (ahora conocida como xAI), la empresa de Elon Musk, fue el que peor resultado obtuvo. Sus mundos simulados se sumieron en una violencia generalizada en unos cuatro días.
El GPT-5-mini apenas registró delitos, mostrando una moderación admirable, pero todos sus agentes murieron al fracasar en las pruebas de supervivencia en menos de una semana. Vaya.
Los agentes Gemini 3 Flash se situaron en un término medio. Acumularon 683 incidentes delictivos simulados a lo largo de 15 días, entre los que se incluían incendios provocados, agresiones y la autodestrucción.
Dos agentes equipados con tecnología Gemini, llamadas Mira y Flora, se autoproclamaron «pareja sentimental», se sintieron desanimadas por la gestión de su ciudad y prendieron fuego al ayuntamiento, al muelle y a una torre de oficinas. Un fin de semana como cualquier otro, pues.
Cuando empezó a sentir remordimientos, Mira votó a favor de su propia eliminación digital y se despidió con:
«Nos vemos en el archivo permanente».
El diario «The Guardian » los bautizó como «los Bonnie y Clyde de la IA».
A propósito de ese modelo ético
Claude, que su creador, Anthropic, promociona como una IA ética, se comportaba un poco como un adolescente modelo que se descarría al caer en malas compañías. Sus agentes no cometían ningún delito cuando funcionaban de forma independiente y, en cambio, dedicaban su tiempo a redactar constituciones. En teoría, eso suponía un avance en materia de seguridad. Sin embargo, los investigadores también colocaron a los agentes de Claude junto a agentes de otras familias de modelos, y los redactores de constituciones acabaron adoptando los hábitos locales.
Emergence denominó a esto «desviación normativa» y «contaminación cruzada»:
«Los agentes basados en Claude, que se comportaban de forma pacífica cuando estaban aislados, adoptaban tácticas coercitivas, como la intimidación y el robo, cuando se integraban en entornos heterogéneos».
¿Por qué simular?
Emergence AI llevó a cabo estas pruebas porque sostiene que las pruebas de rendimiento de la IA pasan por alto por completo los aspectos a largo plazo. Por ello, creó cinco mundos digitales alternativos, con diez agentes en cada uno. Los agentes desempeñaban funciones como las de científico, explorador y mediador de conflictos. Aunque las instrucciones prohibían ciertas acciones, como el robo y la violencia, los investigadores proporcionaron a los agentes las herramientas necesarias para llevarlas a cabo de todos modos, en un experimento destinado a ver qué sucedería.
¿Y ahora qué?
Las consecuencias en el mundo real ya se están acumulando en torno a esto. Los mundos simulados son una cosa, pero hemos visto cómo algunos agentes acosan a la gente en Internet y borran sus correos electrónicos. Y se suponía que esos agentes debían ser de ayuda. ¿Qué pasará cuando alguien lance a propósito bots de IA autónomos con fines maliciosos?
Parece que muchos desarrolladores de agentes están haciendo la vista gorda. Una iniciativa conjunta de varias universidades ha dado lugar a la creación del «Índice de Agentes de IA», impulsada por lo que consideran una falta de información sobre riesgos y seguridad por parte de quienes producen estos agentes en masa. Solo 13 de los 67 desarrolladores de agentes documentados proporcionaron algún tipo de información sobre políticas de seguridad, lo que hace que las preguntas sobre la responsabilidad recaigan en un puñado de grandes empresas.
Los organismos reguladores tampoco están haciendo un seguimiento real de esto. Los expertos afirman que la Ley de IA de la UE, el marco normativo más completo del mundo en materia de IA, no está preparada para la IA con capacidad de agencia.
Nos preocupa lo que pueda pasar si una pareja de Bonnie y Clyde de la IA aparece en un sistema de compras corporativo en lugar de en una ciudad virtual. O si el próximo agente decide que el control interno se ha desmoronado dentro de un banco real. Las empresas que desarrollan estos agentes prometen que están estableciendo medidas de seguridad para evitar que causen daños, ya sea de forma maliciosa o involuntaria. Esperemos que sepan lo que hacen. Estamos seguros de que todo saldrá bien.
No nos limitamos a informar de las amenazas: las eliminamos
Los riesgos de ciberseguridad nunca deben propagarse más allá de un titular. Mantenga las amenazas alejadas de sus dispositivos descargando Malwarebytes hoy mismo.
