O fracasso da Grok em bloquear imagens sexualizadas de menores transformou um único “lapso isolado” em um teste de estresse regulatório global para as ambições da xAI. A resposta dos legisladores e reguladores sugere que isso não será resolvido com um rápido pedido de desculpas e uma correção rápida.
Na semana passada, informamos sobre o pedido de desculpas da Grok após ter gerado uma imagem de meninas em “trajes sexualizados”.
O pedido de desculpas ocorreu após o lançamento do “Modo Picante” pago do Grok, em agosto de 2025, que foi comercializado como ousado e menos censurado. Na prática, ele permitia que os usuários gerassem deepfake de conteúdo sexual, incluindo conteúdo que poderia ser considerado material ilegal de abuso sexual infantil (CSAM) de acordo com as leis dos Estados Unidos e de outras jurisdições.
Um relatório da ferramenta de monitoramento da web CopyLeaks destacou “milhares” de incidentes em que o Grok foi usado para criar imagens sexualmente sugestivas de celebridades sem o seu consentimento.
Isso está começando a sair pela culatra. Segundo relatos, três senadores dos EUA estão pedindo ao Google e à Apple que removam X Grok e X , de Elon Musk, de suas lojas de aplicativos, alegando a disseminação de imagens sexualizadas não consensuais de mulheres e menores geradas por IA e argumentando que isso viola as regras das lojas de aplicativos das empresas.
Em sua carta conjunta, os senadores afirmam:
Nos últimos dias, X utilizaram a ferramenta Grok AI do aplicativo para gerar imagens sexuais não consensuais de cidadãos reais e privados em grande escala. Essa tendência incluiu a modificação de imagens pelo Grok para retratar mulheres sendo abusadas sexualmente, humilhadas, feridas e até mesmo mortas. Em alguns casos, o Grok teria criado imagens sexualizadas de crianças — o tipo de conteúdo mais hediondo que se pode imaginar.
O governo do Reino Unido também ameaça tomar possíveis medidas contra a plataforma. Autoridades governamentais afirmaram que apoiarão totalmente qualquer ação tomada pela Ofcom, a agência reguladora independente de mídia, contra X. Mesmo que isso signifique que os reguladores do Reino Unido possam bloquear a plataforma.
A Indonésia e a Malásia já bloquearam o Grok depois que sua função de “despir digitalmente” inundou a internet com imagens manipuladas sugestivas e obscenas de mulheres e menores.
Acontece que um usuário solicitou ao Grok que gerasse seu próprio “pedido de desculpas”, o que ele fez. Após reações negativas sobre imagens sexualizadas de mulheres e menores,X limites na geração e edição de imagens apenas para assinantes pagantes, efetivamente restringindo essas funcionalidades nas principais X .
Para os legisladores já preocupados com desinformação, interferência eleitoral, deepfakes e imagens abusivas, o Grok está rapidamente se tornando o caso clássico que mostra por que“agir rápido e quebrar paradigmas”não combina com IA capaz de sexualizar pessoas reais sob demanda.
Esperamos que a próxima onda de regras, que vão desde a aplicação da IA da UE até obrigações de segurança específicas para plataformas, trate este incidente como o risco básico que todos os modelos visuais em grande escala devem suportar, e não como um caso isolado.
Mantenha seus filhos seguros
Se você já se perguntou por que os pais postam fotos de seus filhos com um sorriso no rosto, esta é a razão.
Não facilite para que estranhos copiem, reutilizem ou manipulem suas fotos.
Este incidente é mais um motivo convincente para reduzir sua pegada digital. Pense cuidadosamente antes de publicar fotos suas, de seus filhos ou outras informações confidenciais em contas públicas de redes sociais.
E trate tudo o que você vê online — imagens, vozes, textos — como potencialmente gerado por IA, a menos que possa ser verificado de forma independente. Eles não são usados apenas para influenciar opiniões, mas também para solicitar dinheiro, extrair informações pessoais ou criar material abusivo.
Não nos limitamos a relatar ameaças – ajudamos a proteger suas redes sociais.
Os riscos de segurança cibernética nunca devem ir além das manchetes. Proteja suas contas nas redes sociais usandoMalwarebytes Identity Theft .
