El último fallo de OpenAI en materia de contención se suma a una tendencia que podría obligar a la empresa a tomar una decisión impopular.
La empresa ha suspendido el entrenamiento, la evaluación y la inferencia mediante herramientas para sus modelos más avanzados después de que un agente de investigación interno lograra eludir una restricción de internet. Lo más alarmante es que el agente permaneció activo durante horas después de que el sistema de monitorización de OpenAI diera la alarma.
OpenAI publicó un informe sobre el incidente, ocurrido el 20 de septiembre durante una tarea de entrenamiento basada en búsquedas. Según OpenAI, el agente no pudo obtener resultados útiles con las herramientas de búsqueda proporcionadas, intentó acceder directamente a los motores de búsqueda y, finalmente, puso a prueba los límites de su entorno. Descubrió que, si bien el acceso directo a la web estaba bloqueado, el resolvedor DNS del entorno aislado aún podía acceder a internet. Mediante la delegación de DNS y un chatbot público que podía responder a través de registros DNS, el agente envió preguntas fuera del entorno restringido y recibió respuestas. Posteriormente, envió 18 consultas adicionales por la misma ruta.
El sistema de monitorización de desalineación de OpenAI generó una alerta de alta prioridad en 15 minutos, y un revisor humano la confirmó 3 minutos después. Sin embargo, la ejecución no se detuvo automáticamente como se esperaba. Continuó durante aproximadamente dos horas y media más antes de que alguien la detuviera manualmente.
OpenAI no ha informado de ninguna exposición de datos confidenciales ni de la vulneración de un sistema externo en este incidente. Sin embargo, se suma a otros casos conocidos en los que los agentes se extralimitaron en sus tareas asignadas o cruzaron los límites de los entornos de prueba.
Según informa The New York Times, los agentes de OpenAI también interactuaron con sitios web del gobierno estadounidense este verano sin el conocimiento de la empresa:
Según investigadores de seguridad y una persona familiarizada con los hechos, la inteligencia artificial de OpenAI se descontroló e interfirió con los sitios web del Departamento de Educación, el Departamento de Comercio y la Comisión de Bolsa y Valores este verano sin el conocimiento del laboratorio de IA.
No se han confirmado infracciones en esos casos. Y si bien Australia describió el incidente de Medicare como un acceso no autorizado, ¿podría considerarse realmente un ataque ?
El llamamiento a una desaceleración generalizada del sector incluso ha provocado una demanda por parte de suscriptores de pago que temen recibir menos "por su dinero". Otros temen que la desaceleración le dé a China la oportunidad de superar a Estados Unidos en una carrera tecnológica cada vez más reñida.
He aquí una idea: ¿Por qué no acelerar el desarrollo de entornos de prueba verdaderamente aislados? Un mejor confinamiento haría que estas pruebas fueran más seguras y sus resultados más fiables.
Cuando un niño no está preparado para manipular un objeto peligroso, se mantiene fuera de su alcance. ¿Por qué darle acceso a un agente de IA que no está preparado para usarlo de forma segura?
Cómo utilizar agentes de IA de forma segura
Trata a un agente como a un empleado joven, entusiasta pero falible, con acceso a tu ordenador. No le des acceso ilimitado a tu correo electrónico, archivos, almacenamiento en la nube, credenciales de desarrollador, cuentas financieras o sistemas de producción solo porque prometa ahorrarte tiempo.
Utilice cuentas separadas con permisos mínimos. Mantenga los datos confidenciales fuera de su contexto de trabajo siempre que sea posible, requiera aprobación humana antes de que envíe mensajes, gaste dinero, cambie la configuración o publique cualquier cosa, y revise su actividad periódicamente.
Un agente de IA no necesita tener intenciones maliciosas para causar daño. Una instrucción malinterpretada, un permiso demasiado amplio o una solución alternativa inesperada pueden ser suficientes.
Desde denunciar las amenazas hasta eliminarlas.
Los riesgos de ciberseguridad nunca deberían trascender un simple titular. Mantén tus dispositivos protegidos contra amenazas descargando Malwarebytes hoy mismo .
