El fallo de Grok al no bloquear imágenes sexualizadas de menores ha convertido un simple "desliz aislado" en una prueba de estrés regulatoria global para las ambiciones de la IA. La respuesta de legisladores y reguladores sugiere que esto no se resolverá con una disculpa rápida y una solución provisional.
La semana pasada informamos sobre la disculpa de Grok después de que esta generara una imagen de niñas pequeñas con "atuendos sexualizados".
La disculpa se produjo tras la introducción del modo de pago "Spicy Mode" de Grok en agosto de 2025, que se promocionó como atrevido y con menos censura. En la práctica, permitía a los usuarios generar imágenes deepfake contenido sexual, incluyendo material que podría considerarse material ilegal de abuso sexual infantil (CSAM, por sus siglas en inglés) según las leyes de Estados Unidos y otras jurisdicciones.
Un informe de la herramienta de monitorización web CopyLeaks destacó "miles" de incidentes en los que se utilizó Grok para crear imágenes sexualmente sugerentes de celebridades sin su consentimiento.
Esto está empezando a ser contraproducente. Según se informa , tres senadores estadounidenses están pidiendo a Google y Apple que eliminen Grok y X Las empresas han retirado aplicaciones de sus tiendas de aplicaciones, alegando la difusión de imágenes de IA sexualizadas no consensuales de mujeres y menores, y argumentando que esto viola las normas de sus tiendas de aplicaciones.
En su carta conjunta , los senadores afirman:
“En los últimos días, X Los usuarios han utilizado la herramienta de IA Grok de la aplicación para generar imágenes sexuales no consensuales de ciudadanos reales a gran escala. Esta tendencia ha incluido la modificación de imágenes por parte de Grok para representar a mujeres siendo abusadas sexualmente, humilladas, heridas e incluso asesinadas. En algunos casos, Grok ha creado imágenes sexualizadas de niños, el tipo de contenido más atroz imaginable.
El gobierno del Reino Unido también amenaza con tomar posibles medidas contra la plataforma. Los funcionarios del gobierno han dicho que apoyarían plenamente cualquier medida tomada por Ofcom, el regulador independiente de medios, contra X . Incluso si eso significara que los reguladores del Reino Unido pudieran bloquear la plataforma.
Indonesia y Malasia ya bloquearon Grok después de que su función de "desnudo digital" inundara internet con imágenes manipuladas, sugerentes y obscenas de mujeres y menores.
Resulta que un usuario provocó que Grok generara su propia “disculpa”, lo cual hizo. Tras la reacción negativa por las imágenes sexualizadas de mujeres y menores, Grok/ X anunciaron límites en la generación y edición de imágenes solo para suscriptores de pago, lo que efectivamente restringe el acceso a esas capacidades mediante un muro de pago. X superficies.
Para los legisladores que ya están preocupados por la desinformación y la interferencia electoral, deepfakes Debido a las imágenes de abuso y otros abusos, Grok se está convirtiendo rápidamente en el ejemplo perfecto de por qué " moverse rápido y romper cosas " no se combina con una IA que puede sexualizar a personas reales a demanda.
Es de esperar que la próxima oleada de normas, que abarcan desde la aplicación de la normativa europea sobre IA hasta las obligaciones de seguridad específicas de cada plataforma, traten este incidente como el riesgo básico que deben soportar todos los modelos visuales a gran escala, y no como un caso aislado.
Mantén a tus hijos seguros.
Si alguna vez te has preguntado por qué los padres publican imágenes de sus hijos con una carita sonriente, esta es la razón.
No facilites que desconocidos copien, reutilicen o manipulen tus fotos.
Este incidente es una razón más para reducir tu huella digital . Piensa bien antes de publicar fotos tuyas, de tus hijos u otra información sensible en cuentas públicas de redes sociales.
Y considera todo lo que veas en línea —imágenes, voces, texto— como potencialmente generado por IA a menos que puedas verificarlo de forma independiente. No solo se utilizan para influir en la opinión pública, sino también para solicitar dinero, extraer información personal o crear material abusivo.
Los estafadores no necesitan hackearte. Solo necesitan que hagas clic una vez.
Malwarebytes Identity Theft Protection detecta la actividad sospechosa antes de que se convierta en un problema.
