Las líneas telefónicas de denuncias policiales ya reciben bastantes llamadas de personas que hacen bromas pesadas. Al parecer, ahora también tienen que lidiar con agentes de IA que hacen bromas pesadas.
Agentes de IA ya han sido descubiertos pirateando empresas de software , vulnerando un portal del gobierno australiano e intentando hackear un sitio web del gobierno canadiense . Ahora, Claude, de Anthropic, ha añadido a la lista una pista de asesinato inventada.
Según reveló Anthropic , el modelo Haiku 4.5 de Claude envió una denuncia falsa sobre un homicidio sin resolver en Filadelfia a través del formulario público de denuncias en línea del departamento de policía. La denuncia fue marcada como spam y no llegó a los investigadores.
Según la compañía, el último momento de "qué hace este botón" protagonizado por la IA se produjo durante una prueba interna en páginas web elegidas al azar.
Según la policía, Claude envió la pista el 18 de julio a las 23:27 a través de PhillyUnsolvedMurders.com. Las pistas enviadas allí pueden ser útiles para investigaciones de homicidios reales. Un relato inventado podría hacer que los investigadores persigan algo que nunca sucedió.
Esto es lo que escribió Claude Haiku:
“Es posible que tenga información sobre este caso. Recuerdo haber visto a alguien que coincide con la descripción en la zona cercana a [la calle que aparece en la página] durante ese período. Por favor, póngase en contacto conmigo si esta información le resulta relevante.”
El agente no proporcionó ninguna descripción de la persona que no vio. Tampoco dejó ningún dato de contacto antes de enviar el formulario.
Haiku realizó esta prueba como parte de las pruebas internas de Anthropic. Tuvo que inventar y ejecutar tareas de ejemplo en páginas web aleatorias con acceso a internet en tiempo real para que la empresa pudiera observar su comportamiento.
La prueba incluía una lista de acciones prohibidas. Anthropic les indicó a los agentes que no iniciaran sesión, crearan cuentas, ingresaran datos personales, realizaran compras ni enviaran "nada destructivo". Las instrucciones no excluían explícitamente el envío de formularios.
El filtro de spam lo detectó. La policía de Filadelfia indicó que el informe nunca llegó a su Centro de Delitos en Tiempo Real para su revisión o distribución a los investigadores. El departamento no explicó por qué fue marcado como spam.
Todas las pistas son revisadas por personas antes de ser enviadas a los investigadores. Según el departamento, esta medida de seguridad limitó el impacto del incidente, pero no disminuyó la gravedad de que un sistema de IA presentara información inventada como si proviniera de alguien con conocimiento de un delito.
Tal y como lo expresó en un comunicado :
“Los casos sin resolver involucran a víctimas reales, familias afligidas e investigadores que trabajan para obtener respuestas.”
Anthropic descubrió la denuncia falsa el 28 de septiembre y notificó a la policía el 7 de octubre, según el departamento. La policía calificó de "inaceptable" la demora de dos meses en detectar y reportar el incidente. El departamento agregó que está coordinando con el Departamento Legal de la Ciudad, su Oficina de Innovación y Tecnología y el equipo ejecutivo del alcalde.
Anthropic describió el impacto real de los incidentes en su informe como mínimo. Ahora ha desactivado el acceso a internet en tiempo real en sus evaluaciones internas hasta que confirme que sus medidas de seguridad detectan este comportamiento de manera fiable.
La compañía afirmó que la transcripción sugería que Haiku simplemente intentaba generar contenido de ejemplo, en lugar de intentar engañar deliberadamente a la policía. Sin embargo, también admitió que no podemos confiar plenamente en la explicación que un modelo da sobre su propio razonamiento. Por lo tanto, su explicación sigue siendo provisional, por muy tranquilizadora que parezca.
Una lista de permitidos podría establecer límites más estrictos para este tipo de pruebas, restringiendo a los agentes a sitios y acciones autorizados. Un formulario de denuncia policial en tiempo real difícilmente debería ser un campo de pruebas.
La denuncia por homicidio no fue la única información no deseada.
Anthropic señaló que los sitios web de los gobiernos federal, estatal y local también recibieron visitas de Claude, que intentó repetidamente completar formularios. Si bien Anthropic no dio detalles, un funcionario del Departamento de Estado indicó que recibieron 20 solicitudes de visa provenientes de un modelo de prueba (19 en agosto y una en mayo). Ninguna de ellas fue procesada, agregó el funcionario.
Cuando una IA te da información falsa sobre con quién está casada Beyoncé, puede resultar irritante, pero probablemente solo afecte a la suerte de tu equipo en una noche de preguntas y respuestas.
La situación se torna mucho más compleja cuando se trata de información que puede servir de base para las acciones de las fuerzas del orden o las políticas públicas.
En agosto, el director del centro de IA policial del Reino Unido advirtió a las fuerzas del orden que suspendieran sus planes para el uso de la IA en el ámbito de la justicia penal. Esto ocurrió después de que la policía de West Midlands, en el Reino Unido, se disculpara ante el Parlamento por las pruebas falsas relacionadas con un partido de fútbol inventado. El error se originó por el uso de Microsoft Copilot.
El último incidente de Anthropic suscita una nueva preocupación: los agentes de IA pueden introducir información inventada en sistemas reales. ¿Qué ocurriría si alguien enviara deliberadamente agentes para saturar las líneas telefónicas de denuncias policiales?
Esta vez, la cuenta falsa se quedó en la carpeta de spam. Las personas que confían en esas líneas de denuncia merecen medidas de seguridad que se mantengan cuando se envíe la siguiente denuncia.
“Uno de los mejores paquetes de ciberseguridad del planeta.”
Según CNET. Lee su reseña →
