Ignoraste el correo electrónico sospechoso. No abriste el archivo adjunto, no hiciste clic en el enlace ni respondiste al remitente.
Luego le pediste a tu asistente de IA que resumiera tu bandeja de entrada.
¿Podría el mensaje que usted sabiamente evitó volver a aparecer en su lista de tareas pendientes, solo que esta vez presentado como una recomendación urgente de una herramienta en la que confía?
Ese es el riesgo que entrañan los correos electrónicos de phishing con instrucciones ocultas dirigidas a asistentes de IA. En lugar de limitarse a persuadirte, los atacantes también intentan influir en el software que lee tus mensajes. Un estudio reciente de Barracuda describe correos electrónicos diseñados para atacar a ambos públicos simultáneamente.
Para el destinatario humano, el archivo adjunto estaba protegido con contraseña, la cual se proporcionaba en el correo electrónico. Para el asistente de IA que procesaba el mensaje, había instrucciones ocultas destinadas a influir en cómo resumía o gestionaba el contenido.
Al incluir una inyección de código , los atacantes se dan otra forma de contactarte. Las instrucciones maliciosas podrían intentar que el asistente describa el correo electrónico como legítimo o urgente, animándote a revisarlo.
En otro ejemplo, un bloque oculto instruyó a una IA de resumen para que añadiera una acción de prioridad falsa: cambiar los datos de pago de un proveedor. Esto podría provocar que un empleado enviara dinero a la cuenta de un atacante.
El atacante no se limita a pedirle a la IA que repita una solicitud fraudulenta. Está intentando convertir esa solicitud en una recomendación del asistente.
Cómo funciona la inyección rápida
La inyección de instrucciones consiste en insertar instrucciones en el material que un sistema de IA debe leer, con la esperanza de que las siga en lugar de considerarlas parte del material. Cuando las instrucciones llegan a través de una fuente externa, como un correo electrónico o una página web, se suele denominar inyección indirecta de instrucciones.
Las instrucciones maliciosas no tienen por qué aparecer como párrafos ordinarios y legibles. Barracuda identificó técnicas de ocultación, como comentarios en el código HTML subyacente del correo electrónico, texto oculto mediante estilos, contenido codificado y caracteres invisibles de ancho cero. Estas técnicas pueden ocultar las instrucciones a quien lee el mensaje, dejando el contenido disponible para que un sistema de IA lo procese. Que dicho contenido llegue al modelo depende de cómo la herramienta específica extraiga y prepare el correo electrónico.
Esto significa que este problema no se puede solucionar simplemente pidiendo a la gente que revise sus correos electrónicos con más detenimiento. Parte de la protección debe residir en las herramientas que gestionan esos mensajes.
Apollo Raines , desarrollador del servicio de revisión de código con IA ShipItClean , explica:
El verdadero problema radica en que el modelo no distingue entre el texto que debe leer y las instrucciones que debe seguir. Eliminar el contenido oculto antes de que llegue al modelo es una medida que vale la pena implementar, y todos los proveedores deberían hacerlo. Pero se trata de una carrera armamentística. Cada nuevo truco de codificación supone una nueva vulnerabilidad.
Añade:
“La gente ha aprendido a desconfiar del correo electrónico, pero no de su asistente de IA. Por lo tanto, la seguridad debe estar integrada en las herramientas. Yo iría un paso más allá: parte de ella debe estar integrada en el propio modelo. Son necesarios adaptadores, filtros, entornos aislados y la aprobación humana de los pagos.”
Antes de tomar medidas
Un asistente que resume los mensajes podría llevarte a error sobre qué correo electrónico merece atención o qué acción requiere.
Un asistente con permisos adicionales podría generar un problema más grave. Dependiendo de sus capacidades y medidas de seguridad, las instrucciones maliciosas podrían intentar que realice acciones no autorizadas o divulgue información confidencial .
No es necesario que abandones las herramientas de IA que te ayudan con el correo electrónico. Pero sí debes considerar qué funciones les confías y qué permisos les otorgas.
Los consejos habituales sobre el phishing siguen vigentes. Cuando un asistente lea tu bandeja de entrada en tu nombre, revisa sus recomendaciones antes de actuar:
- Antes de seguir una recomendación que involucre dinero o información confidencial, revise el mensaje original. Si un resumen le indica que pague una factura, cambie los datos de su cuenta o comparta información confidencial, no considere el resumen como una verificación.
- Siempre verifique los cambios de pago a través de un canal independiente y establecido. Comuníquese con la persona u organización utilizando datos de contacto de confianza, en lugar de basarse en la información proporcionada en el mensaje sospechoso.
- Limita los permisos de tu asistente de IA a lo estrictamente necesario y, en el trabajo, a lo que permita tu organización. Un asistente que se utiliza para resumir correos electrónicos no debería tener amplios permisos para realizar acciones ajenas a su función. Limitar el acceso puede reducir las consecuencias si sigue instrucciones maliciosas.
- Se requiere aprobación humana para acciones de alto impacto, como pagos y cambios en los datos de pago a proveedores. La aprobación debe incluir la verificación de la solicitud subyacente, no solo la aceptación de la recomendación del asistente.
Desde denunciar las amenazas hasta eliminarlas.
Los riesgos de ciberseguridad nunca deberían trascender un simple titular. Mantén tus dispositivos protegidos contra amenazas descargando Malwarebytes hoy mismo .
