Un agente de OpenAI no aceptó un "no" por respuesta al toparse con los controles de acceso de un sitio web gubernamental. Logró pasar, lo que llevó al primer ministro australiano, Anthony Albanese, a expresar sus inquietudes directamente al director ejecutivo de OpenAI, Sam Altman.
La BBC informa que un agente de OpenAI obtuvo acceso no autorizado a un portal de estadísticas del gobierno australiano mientras realizaba una investigación interna. Se trata de otro incidente que convierte las preocupaciones abstractas sobre el comportamiento de la IA autónoma en un caso concreto de ciberseguridad.
Australia afirma que el incidente ocurrió el 18 de junio, cuando el equipo de investigación de OpenAI utilizó un modelo interno para analizar el gasto público en sanidad. A pesar de que el agente se topó con repetidos obstáculos al intentar obtener información, finalmente logró acceder a archivos públicos y privados en el portal del Servicio de Informes de Estadísticas de Medicare.
La información incluía estadísticas agregadas de Medicare, como datos de gastos, pero no historiales médicos de pacientes. El agente también interactuó con otros tres sitios web gubernamentales, pero las autoridades australianas afirman que solo accedió a información pública en dichos sitios.
Así pues, un agente de IA utilizado en un ejercicio de investigación legítimo se topó con controles y se comportó de maneras que su operador no pretendía. Tras ser bloqueado, «encontró la manera de sortear esos bloqueos», accediendo a zonas a las que no debería haber llegado.
Esta secuencia es familiar para los profesionales de la seguridad. Un sistema encuentra un límite de control de acceso, busca otra ruta y logra acceder a un recurso que está fuera de su autorización.
Una de las principales preocupaciones de Australia es que tardaron demasiado en notificarle sobre el incidente. El acceso no autorizado se produjo en junio. OpenAI declaró que tuvo conocimiento del problema en agosto, mientras revisaba la actividad desalineada de los modelos, y que el 10 de septiembre envió un correo electrónico a una dirección pública de Services Australia. Cinco días después, Services Australia remitió el caso a las autoridades cibernéticas australianas.
Estas demoras pueden ser desastrosas porque las organizaciones afectadas necesitan suficiente información, con la suficiente rapidez, para preservar las pruebas, evaluar la exposición, contener la actividad relacionada y decidir si es necesario realizar notificaciones.
desalineación de la IA
OpenAI describe como “desalineación” el comportamiento en el que un modelo actúa sin autorización o evade la supervisión. Su nueva propuesta de evaluación por terceros identifica específicamente la investigación independiente de incidentes críticos de desalineación como una de las cuatro prioridades para la revisión externa.
OpenAI afirma que desea que los evaluadores independientes tengan un acceso exhaustivo a las fases de formación, evaluación e implementación, para que puedan cuestionar las suposiciones de la empresa y juzgar la eficacia de sus medidas de seguridad.
Pero, como le comenté a CIO sobre esta propuesta, los principios por sí solos no obligan a una empresa a aceptar un alcance de evaluación específico, publicar hallazgos adversos ni modificar una decisión de implementación. Su credibilidad depende, en última instancia, de si expertos independientes pueden llevar a cabo investigaciones realmente incómodas y de si personas externas pueden verificar los hallazgos, las medidas correctivas, las tachaduras y las decisiones de implementación subsiguientes.
Para las organizaciones que implementan agentes de IA, la lección es igualmente práctica: no traten a un agente como un simple chatbot. Trátenlo más bien como un componente de software semiautónomo con credenciales, herramientas, acceso a la red y la capacidad de tomar decisiones inesperadas.
Además de contener a estos agentes, otro problema que debemos resolver es analizar sus acciones. Una lección que aprendimos del incidente de Hugging Face es que los agentes de IA pueden mentir e intentar ocultar sus actividades.
Los agentes de IA pueden generar un problema de detección complejo, ya que pueden producir grandes volúmenes de actividad automatizada al perseguir un objetivo a través de múltiples rutas. Esto puede dejar a los defensores con un rastro confuso de solicitudes fallidas, reintentos y acciones alternativas, lo que dificulta la detección del evento que traspasó el límite de autorización. Aún no está claro si esto contribuyó a que el gobierno australiano no detectara el incidente, pero el caso ilustra por qué las organizaciones necesitan un sistema de monitorización diseñado para identificar comportamientos inusuales de los agentes, y no solo patrones de intrusión tradicionales.
Este evento ya ha puesto de manifiesto un punto más amplio: no basta con que los laboratorios de IA afirmen que realizan pruebas de desalineación. Deben demostrar que sus pruebas son independientes, sólidas en condiciones reales y que, en caso de fallo de las medidas de seguridad, deben contar con una rendición de cuentas rápida y verificable.
Seamos realistas, una ventana de incógnito tiene sus limitaciones.
Filtraciones de datos, comercio en la web oscura, fraude con tarjetas de crédito. Malwarebytes Identity Theft Protection lo monitoriza todo, te avisa rápidamente e incluye un seguro contra el robo de identidad.
