El fracaso de Grok a la hora de bloquear imágenes sexualizadas de menores ha convertido un «desliz aislado» en una prueba de resistencia regulatoria a nivel mundial para las ambiciones de xAI. La respuesta de los legisladores y reguladores sugiere que esto no se resolverá con una rápida disculpa y una solución temporal.
La semana pasada informamos sobre la disculpa de Grok después de que generara una imagen de niñas con «atuendos sexualizados».
La disculpa se produjo tras la introducción del «modo picante» de pago de Grok en agosto de 2025, que se comercializó como atrevido y menos censurado. En la práctica, permitía a los usuarios generar deepfake sexuales deepfake , incluyendo contenido que podría considerarse material ilegal de abuso sexual infantil (CSAM) según las leyes de Estados Unidos y otras jurisdicciones.
Un informe de la herramienta de monitorización web CopyLeaks destacó «miles» de incidentes en los que se utilizó Grok para crear imágenes sexualmente sugerentes de famosos sin su consentimiento.
Esto está empezando a salir mal. Según se informa, tres senadores estadounidenses están pidiendo a Google y Apple que eliminen X Grok y X de Elon Musk de sus tiendas de aplicaciones, alegando la difusión de imágenes sexualizadas no consentidas de mujeres y menores generadas por IA y argumentando que viola las normas de las tiendas de aplicaciones de las empresas.
En su carta conjunta, los senadores afirman:
«En los últimos días, X han utilizado la herramienta Grok AI de la aplicación para generar imágenes sexuales no consentidas de ciudadanos reales y privados a gran escala. Esta tendencia ha incluido la modificación de imágenes por parte de Grok para representar a mujeres siendo abusadas sexualmente, humilladas, heridas e incluso asesinadas. En algunos casos, según se informa, Grok ha creado imágenes sexualizadas de niños, el tipo de contenido más atroz que se pueda imaginar».
El Gobierno británico también amenaza con tomar posibles medidas contra la plataforma. Funcionarios del Gobierno han afirmado que respaldarán plenamente cualquier medida que tome Ofcom, el organismo regulador independiente de los medios de comunicación, contra X. Incluso si eso significara que los reguladores británicos pudieran bloquear la plataforma.
Indonesia y Malasia ya bloquearon Grok después de que su función de «desnudar digitalmente» inundara Internet con imágenes manipuladas sugerentes y obscenas de mujeres y menores.
Al parecer, un usuario pidió a Grok que generara su propia «disculpa», y así lo hizo. Tras la polémica suscitada por las imágenes sexualizadas de mujeres y menores,X limitaría la generación y edición de imágenes solo a los suscriptores de pago, lo que en la práctica supone restringir el acceso a esas funciones en X principales X .
Para los legisladores que ya están preocupados por la desinformación, la interferencia electoral, deepfakes y el abuso de imágenes, Grok se está convirtiendo rápidamente en el ejemplo perfecto de por qué«mover rápido y romper cosas»no es compatible con una IA que puede sexualizar a personas reales a demanda.
Esperemos que la próxima serie de normas, que abarcan desde la aplicación de la IA en la UE hasta las obligaciones de seguridad específicas de las plataformas, traten este incidente como el riesgo básico que deben soportar todos los modelos visuales a gran escala, y no como un caso excepcional.
Mantenga a sus hijos seguros
Si alguna vez te has preguntado por qué los padres publican fotos de sus hijos con una sonrisa en la cara, esta es la razón.
No facilites a los desconocidos la copia, reutilización o manipulación de tus fotos.
Este incidente es otra razón de peso para reducir tu huella digital. Piensa detenidamente antes de publicar fotos tuyas, de tus hijos u otra información confidencial en cuentas públicas de redes sociales.
Y trate todo lo que vea en línea (imágenes, voces, texto) como potencialmente generado por IA, a menos que pueda verificarse de forma independiente. No solo se utilizan para influir en las opiniones, sino también para solicitar dinero, extraer información personal o crear material abusivo.
No solo informamos sobre amenazas, sino que también ayudamos a proteger tus redes sociales.
Los riesgos de ciberseguridad nunca deben ir más allá de un titular. Proteja sus cuentas de redes sociales utilizandoMalwarebytes Identity Theft .
