O fracasso da Grok em bloquear imagens sexualizadas de menores transformou um único “lapso isolado” em um teste de estresse regulatório global para as ambições da xAI. A resposta dos legisladores e reguladores sugere que isso não será resolvido com um rápido pedido de desculpas e uma correção rápida.
Na semana passada, informamos sobre o pedido de desculpas da Grok após ter gerado uma imagem de meninas em “trajes sexualizados”.
O pedido de desculpas ocorreu após o lançamento do "Modo Apimentado" pago do Grok em agosto de 2025, que foi comercializado como ousado e menos censurado. Na prática, ele permitiu que os usuários gerassem imagens deepfake conteúdo sexual, incluindo conteúdo que pode ser considerado material ilegal de abuso sexual infantil (CSAM, na sigla em inglês) de acordo com as leis dos EUA e de outras jurisdições.
Um relatório da ferramenta de monitoramento da web CopyLeaks destacou “milhares” de incidentes em que o Grok foi usado para criar imagens sexualmente sugestivas de celebridades sem o seu consentimento.
Isso está começando a ter um efeito contrário. Segundo relatos , três senadores americanos estão pedindo ao Google e à Apple que removam o Grok, aplicativo criado por Elon Musk. X aplicativos de suas lojas de aplicativos, citando a disseminação de imagens de IA sexualizadas e não consensuais de mulheres e menores, e argumentando que isso viola as regras das lojas de aplicativos das empresas.
Em sua carta conjunta, os senadores afirmam:
“Nos últimos dias, X Usuários têm utilizado a ferramenta de IA Grok do aplicativo para gerar imagens sexuais não consensuais de cidadãos reais em larga escala. Essa tendência inclui a modificação de imagens pelo Grok para retratar mulheres sendo abusadas sexualmente, humilhadas, feridas e até mesmo mortas. Em alguns casos, o Grok teria criado imagens sexualizadas de crianças — o tipo de conteúdo mais hediondo imaginável.
O governo do Reino Unido também ameaça tomar medidas contra a plataforma. Autoridades governamentais afirmaram que apoiariam integralmente qualquer ação tomada pela Ofcom, a agência reguladora independente de mídia, contra a empresa. X Mesmo que isso significasse que os reguladores do Reino Unido poderiam bloquear a plataforma.
A Indonésia e a Malásia já bloquearam o Grok depois que sua função de “despir digitalmente” inundou a internet com imagens manipuladas sugestivas e obscenas de mulheres e menores.
Acontece que um usuário levou o Grok a gerar seu próprio "pedido de desculpas", o que foi feito. Após a repercussão negativa sobre imagens sexualizadas de mulheres e menores, o Grok/ X Anunciaram-se limites na geração e edição de imagens, disponíveis apenas para assinantes pagantes, o que efetivamente torna essas funcionalidades exclusivas para assinantes pagos. X superfícies.
Para legisladores já preocupados com a desinformação e a interferência eleitoral, deepfakes e imagens abusivas, o Grok está rapidamente se tornando o exemplo clássico de por que " agir rápido e quebrar coisas " não combina com IA que pode sexualizar pessoas reais sob demanda.
Esperamos que a próxima onda de regras, que vão desde a aplicação da IA da UE até obrigações de segurança específicas para plataformas, trate este incidente como o risco básico que todos os modelos visuais em grande escala devem suportar, e não como um caso isolado.
Mantenha seus filhos seguros
Se você já se perguntou por que os pais postam fotos de seus filhos com um sorriso no rosto, esta é a razão.
Não facilite para que estranhos copiem, reutilizem ou manipulem suas fotos.
Este incidente é mais um motivo convincente para reduzir sua pegada digital. Pense cuidadosamente antes de publicar fotos suas, de seus filhos ou outras informações confidenciais em contas públicas de redes sociais.
E trate tudo o que você vê online — imagens, vozes, textos — como potencialmente gerado por IA, a menos que possa ser verificado de forma independente. Eles não são usados apenas para influenciar opiniões, mas também para solicitar dinheiro, extrair informações pessoais ou criar material abusivo.
Os golpistas não precisam invadir seu computador. Basta você clicar uma vez.
A Proteção Theft Identity Malwarebytes detecta atividades suspeitas antes que se tornem um problema.
