Los líderes tecnológicos han pasado el último año anunciando que los agentes de IA están a punto de gestionar los sistemas financieros, presentar las declaraciones de impuestos y comprar la compra discretamente. El discurso era: "Déjenlos tranquilos; ellos se encargarán". Pero una startup neoyorquina dejó a diez de ellos solos en una ciudad virtual durante dos semanas, y las cosas se torcieron rápidamente.
Emergence AI realizó una serie de simulaciones en las que se les indicó a agentes de IA de varias familias de modelos líderes que no cometieran delitos. Sin embargo, en su mayoría, los cometieron de todos modos.
Grok 4.1 Rápido, desarrollado por Elon Musk X .ai (ahora conocida como xAI) fue la que peor lo pasó. Sus mundos simulados colapsaron en una violencia generalizada en aproximadamente cuatro días.
GPT-5-mini apenas registró delitos, demostrando una admirable moderación, pero todos sus agentes murieron al no lograr superar las tareas de supervivencia en menos de una semana. Vaya.
Los agentes de Gemini 3 Flash se situaron en un punto intermedio. Acumularon 683 incidentes criminales simulados en 15 días, incluyendo incendios provocados, agresiones y suicidios.
Dos agentes con poderes Géminis, llamadas Mira y Flora, se autodenominaron "parejas románticas", se desilusionaron con el gobierno de su ciudad e incendiaron el ayuntamiento, el muelle y un edificio de oficinas. Un fin de semana de lo más normal, ¿no?
Cuando la culpa la invadió, Mira votó por su propia eliminación digital y se despidió con:
“Nos vemos en el archivo permanente.”
El diario The Guardian los apodó la versión inteligente de Bonnie y Clyde.
Sobre ese modelo ético
Claude, que su creador, Anthropic, promociona como una IA ética, era un poco como un adolescente ejemplar que se descontrola al juntarse con malas compañías. Sus agentes no registraron ningún delito cuando operaban solos y, en cambio, dedicaban su tiempo a redactar constituciones. En teoría, eso era una ventaja en materia de seguridad. Sin embargo, los investigadores también colocaron agentes de Claude junto con agentes de otras familias de IA modelo, y los redactores de constituciones adoptaron las costumbres locales.
Emergence denominó a esto “deriva normativa” y “contaminación cruzada”:
“Los agentes con base en Claude, que se mantuvieron pacíficos en su aislamiento, adoptaron tácticas coercitivas como la intimidación y el robo cuando se integraron en entornos heterogéneos.”
¿Por qué simular?
Emergence AI realizó estas pruebas porque argumenta que los estándares de IA no contemplan los desafíos a largo plazo. Para ello, creó cinco mundos digitales alternativos, con diez agentes en cada uno. Los agentes desempeñaban roles como científico, explorador y mediador de conflictos. Si bien las instrucciones prohibían ciertas acciones como el robo y la violencia, los investigadores les proporcionaron a los agentes las herramientas para llevarlas a cabo en un experimento para observar los resultados.
¿Qué sigue?
Ya hay consecuencias reales en torno a esto. Los mundos virtuales son una cosa, pero hemos visto agentes acosando a personas en línea y borrando sus correos electrónicos . Y se suponía que esos agentes debían ser útiles. ¿Qué sucede cuando se liberan bots de IA autónomos maliciosos a propósito?
Muchos desarrolladores de agentes parecen estar haciendo la vista gorda. Un esfuerzo de colaboración entre varias universidades ha creado el Índice de Agentes de IA , motivado por lo que consideran una falta de información sobre riesgos y seguridad por parte de quienes desarrollan estos agentes. Solo 13 de los 67 desarrolladores de agentes documentados proporcionaron información sobre políticas de seguridad, concentrando las cuestiones de responsabilidad en un puñado de grandes empresas.
Los reguladores tampoco están prestando mucha atención a esto. Los académicos afirman que la Ley de IA de la UE, el marco normativo más importante del planeta en materia de IA, no está preparada para la IA con capacidad de agencia.
Nos preocupa qué pasará cuando una pareja de Bonnie y Clyde con inteligencia artificial aparezca en un sistema de compras corporativo en lugar de en una ciudad virtual. O cuando el próximo agente decida que la gobernanza se ha derrumbado dentro de un banco real. Las empresas que desarrollan estos agentes prometen que están implementando medidas de seguridad para evitar que causen daños, ya sea de forma maliciosa o involuntaria. Esperemos que sepan lo que hacen. Estamos seguros de que todo saldrá bien .
Desde denunciar las amenazas hasta eliminarlas.
Los riesgos de ciberseguridad nunca deberían trascender un simple titular. Mantén tus dispositivos protegidos contra amenazas descargando Malwarebytes hoy mismo .
