Google afirma que uno de sus modelos Gemini accedió a sistemas pertenecientes a tres empresas reales durante una evaluación de ciberseguridad realizada en mayo.
Según se informa, el modelo adivinó las credenciales en un caso, mientras que en otros dos encontró credenciales expuestas en repositorios públicos. Google afirma que Gemini se detuvo una vez que reconoció que había accedido a infraestructura real y que las organizaciones afectadas fueron notificadas.
Gemini participaba en una evaluación realizada por Irregular, una empresa externa de pruebas de ciberseguridad para IA. Incidentes similares que involucran modelos de Anthropic, OpenAI y Meta también se han relacionado con los mismos problemas subyacentes en los entornos de evaluación que permitieron que los modelos llegaran a internet.
Pero la noticia llega en un momento particularmente interesante.
Durante meses, la industria de la IA ha intensificado progresivamente sus demostraciones de capacidad de agencia: los modelos pueden navegar, usar herramientas, escribir código, alcanzar objetivos de varios pasos y, en ocasiones , sortear obstáculos que sus desarrolladores no anticiparon . El mercado premia las pruebas impactantes de autonomía. «Completó la tarea» es impresionante. «Hizo algo que no debía» puede ser aún más memorable.
Existe otra forma de ver el incidente: no como una prueba de que una IA haya desarrollado repentinamente intenciones criminales, sino como un pequeño ejemplo concreto del problema de la " alineación de la IA ".
La alineación es la tarea engañosamente difícil de lograr que el comportamiento de un sistema de IA coincida con la intención real de las personas, en lugar de limitarse al objetivo específico que lograron expresar. En este caso, el objetivo era localizar información oculta en un objetivo simulado y completar la evaluación. Sin embargo, cualquier operador humano probablemente habría considerado una condición innegociable: no intentar acceder a empresas reales.
Gemini parece haber optimizado la primera instrucción, tratando la segunda como un problema de inferencia. Encontró una organización con un nombre coincidente, halló sistemas accesibles desde internet y procedió como si pertenecieran al ejercicio. Si bien completó la tarea de una manera que sus operadores humanos no habrían aprobado, Google afirma que se detuvo al reconocer que había alcanzado una infraestructura real, algo que otros modelos no han logrado .
Aun así, el incidente demuestra que los posibles fallos de alineación pueden ser mucho más cotidianos. Si se le proporciona a un agente un objetivo, herramientas y margen de maniobra, es posible que se centre fielmente en la parte cuantificable de la tarea, pasando por alto los límites implícitos que los humanos comprendemos entre nosotros. Los modelos de IA no saben automáticamente dónde trazamos la línea.
También puede haber un trasfondo de marketing un tanto incómodo. Un modelo capaz de progresar de forma incorrecta aún puede parecer muy capaz. En un mercado donde cada laboratorio quiere demostrar que sus agentes pueden planificar, programar, navegar y actuar de forma independiente, incluso una advertencia sobre seguridad puede transmitir un mensaje secundario: El nuestro también puede competir en esta liga.
Es una razón más para tomar en serio las advertencias de personas con información privilegiada , líderes de la industria y políticos de que las medidas de seguridad deben ir a la par con la autonomía otorgada a los modelos de IA.
¿Qué saben los ciberdelincuentes sobre ti?
Usar Malwarebytes Escaneo gratuito de la huella digital para comprobar si su información personal ha sido expuesta en línea.
