Otro sistema de IA diseñado para ser potente y atractivo termina ilustrando cómo las medidas de seguridad fallan sistemáticamente cuando la velocidad de desarrollo y la búsqueda de nuevas funciones superan los controles de seguridad.
En una publicación sobre X El chatbot de IA Grok confirmó que generó una imagen de niñas pequeñas con "atuendos sexualizados".
La posible violación de las leyes estadounidenses relativas al material de abuso sexual infantil (CSAM, por sus siglas en inglés) demuestra la aparente falta de medidas de seguridad del chatbot de IA. O, al menos, dichas medidas distan mucho de ser tan efectivas como nos gustaría.
xAI, la empresa detrás del chatbot de Musk, está revisando el incidente "para prevenir problemas futuros", y según se informa, la cuenta del usuario responsable del mensaje fue suspendida. Según se informa , en una publicación separada en X Grok describió el incidente como un caso aislado y dijo que se estaban implementando medidas correctivas urgentes después de que se identificaran "fallos en las medidas de seguridad".
Durante las vacaciones, hablamos sobre cómo aumentan los riesgos cuando se lanzan al mercado desarrollos y funcionalidades de IA de forma apresurada, sin las pruebas de seguridad adecuadas. Seguimos ampliando los límites de la IA más rápido de lo que podemos garantizar su seguridad. Los modelos visuales que pueden sexualizar a menores son precisamente el tipo de implementación que nunca debería lanzarse sin pruebas de abuso rigurosas.
Así pues, mientras que por un lado observamos el bloqueo geográfico debido a las restricciones de contenido nacionales y estatales , la IA vinculada a una de las plataformas de redes sociales más populares no logró bloquear contenido que muchos considerarían mucho más grave que lo que los legisladores intentan regular actualmente. En efecto, las bases de datos centralizadas de verificación de edad se convierten en objetivos de filtraciones de datos sin impedir que las herramientas de IA generen material abusivo.
Las mujeres también han denunciado haber sido blanco de las funciones de generación de imágenes de Grok . Una usuaria X tuiteó :
“Me desperté con un montón de comentarios pidiéndole a Grok que me pusiera un tanga/bikini y con muchísimos marcadores. Peor aún, entré a la página de Grok y vi a unos tipos repugnantes haciendo eso con fotos de NIÑOS. ¡Realmente asqueroso!”
Podemos imaginar las consecuencias devastadoras que tendría para los ciberdelincuentes aprovechar esta vulnerabilidad para estafar o extorsionar a los padres con contenido explícito y falsificado de sus hijos. Ya existen herramientas para insertar rostros reales en contenido generado por IA, y las medidas de seguridad actuales parecen incapaces de prevenir eficazmente este tipo de abusos.
Consejos
Este incidente es una razón más para reducir tu huella digital . Piensa bien antes de publicar fotos tuyas, de tus hijos u otra información sensible en cuentas públicas de redes sociales.
Considera todo lo que veas en línea —imágenes, voces, texto— como potencialmente generado por IA a menos que puedas verificarlo de forma independiente. No solo se utilizan para influir en la opinión pública, sino también para solicitar dinero, extraer información personal o crear material abusivo.
Los estafadores no necesitan hackearte. Solo necesitan que hagas clic una vez.
Malwarebytes Identity Theft Protection detecta la actividad sospechosa antes de que se convierta en un problema.
