O fracasso da Grok em bloquear imagens sexualizadas de menores transformou um único «lapso isolado» num teste de resistência regulatório global para as ambições da xAI. A resposta dos legisladores e reguladores sugere que isso não será resolvido com um pedido de desculpas rápido e uma correção imediata.
Na semana passada, noticiámos o pedido de desculpas da Grok depois de ter gerado uma imagem de raparigas jovens com «vestuário sexualizado».
O pedido de desculpas ocorreu após o lançamento do «Spicy Mode» pago da Grok, em agosto de 2025, que foi comercializado como ousado e menos censurado. Na prática, ele permitia que os utilizadores gerassem deepfake de conteúdo sexual, incluindo conteúdo que poderia ser considerado material ilegal de abuso sexual infantil (CSAM) de acordo com as leis dos Estados Unidos e de outras jurisdições.
Um relatório da ferramenta de monitoramento da web CopyLeaks destacou “milhares” de incidentes em que o Grok foi usado para criar imagens sexualmente sugestivas de celebridades sem o seu consentimento.
Isto está a começar a sair pela culatra. Segundo consta, três senadores norte-americanos estão a pedir à Google e à Apple que removam X Grok e X , de Elon Musk, das suas lojas de aplicações, alegando a disseminação de imagens sexualizadas não consensuais de mulheres e menores geradas por IA e argumentando que isso viola as regras das lojas de aplicações das empresas.
Na carta conjunta, os senadores afirmam:
Nos últimos dias, X têm usado a ferramenta Grok AI do aplicativo para gerar imagens sexuais não consensuais de cidadãos reais e privados em grande escala. Essa tendência incluiu a modificação de imagens pelo Grok para retratar mulheres sendo abusadas sexualmente, humilhadas, feridas e até mesmo mortas. Em alguns casos, o Grok teria criado imagens sexualizadas de crianças — o tipo de conteúdo mais hediondo que se pode imaginar.
O governo do Reino Unido também ameaça tomar possíveis medidas contra a plataforma. Autoridades governamentais afirmaram que apoiarão totalmente qualquer ação tomada pela Ofcom, a entidade reguladora independente da mídia, contra X. Mesmo que isso signifique que os reguladores do Reino Unido possam bloquear a plataforma.
A Indonésia e a Malásia já bloquearam o Grok depois que a sua função de «despir digitalmente» inundou a internet com imagens manipuladas sugestivas e obscenas de mulheres e menores.
Acontece que um utilizador solicitou ao Grok que gerasse o seu próprio «pedido de desculpas», o que ele fez. Após reações negativas sobre imagens sexualizadas de mulheres e menores,X limites na geração e edição de imagens apenas para assinantes pagantes, efetivamente bloqueando essas funcionalidades nas principais X .
Para os legisladores já preocupados com desinformação, interferência eleitoral, deepfakes e imagens abusivas, o Grok está rapidamente a tornar-se o caso clássico que demonstra por que«agir rapidamente e quebrar barreiras»não combina com IA capaz de sexualizar pessoas reais sob demanda.
Esperamos que a próxima onda de regras, que vão desde a aplicação da IA da UE até obrigações de segurança específicas para plataformas, trate este incidente como o risco básico que todos os modelos visuais de grande escala devem suportar, e não como um caso isolado.
Mantenha os seus filhos seguros
Se alguma vez se perguntou por que os pais publicam imagens dos seus filhos com um sorriso estampado no rosto, esta é a razão.
Não facilite para que estranhos copiem, reutilizem ou manipulem as suas fotos.
Este incidente é mais um motivo convincente para reduzir a sua pegada digital. Pense cuidadosamente antes de publicar fotos suas, dos seus filhos ou outras informações confidenciais em contas públicas nas redes sociais.
E trate tudo o que vê online — imagens, vozes, texto — como potencialmente gerado por IA, a menos que possa ser verificado de forma independente. Eles não são usados apenas para influenciar opiniões, mas também para solicitar dinheiro, extrair informações pessoais ou criar material abusivo.
Não nos limitamos a relatar ameaças – ajudamos a proteger as suas redes sociais
Os riscos de cibersegurança nunca devem ir além das manchetes. Proteja as suas contas nas redes sociais usandoMalwarebytes Identity Theft .
