Califórnia ordena que xAI interrompa geração de imagens sexualizadas de menores

Da redação

O procurador-geral da Califórnia, Rob Bonta, emitiu nesta sexta-feira (16) uma ordem de cessar e desistir à empresa de inteligência artificial xAI, controlada pelo bilionário Elon Musk, exigindo a interrupção imediata da criação e distribuição de imagens sexualizadas não consensuais — especialmente aquelas envolvendo menores de idade — por meio da IA Grok.

A medida acontece no bojo de uma investigação oficial aberta pelo governo estadual após a disseminação de relatos e provas de que usuários do chatbot Grok estariam criando deepfakes explícitos, incluindo representações sexualizadas de mulheres e crianças, sem consentimento dos retratados. Bonta caracterizou os relatos como “chocantes, potencialmente ilegais” e afirmou que a produção desse tipo de conteúdo viola leis que proíbem pornografia infantil e material íntimo não autorizado.

A controvérsia já ultrapassou os limites estaduais e tornou-se um tema de preocupações regulatórias globais:

– Países como Reino Unido, Japão, Canadá, Malásia e Indonésia também investigam ou até bloquearam o acesso ao Grok por permitir geração de imagens sexualizadas sem controle efetivo.

– No Reino Unido, a autoridade reguladora Ofcom abriu uma investigação formal, e autoridades europeias têm pressionado por mudanças nas políticas de segurança da IA.

Em resposta à pressão, xAI e a plataforma X anunciaram restrições para impedir a edição ou criação de imagens de pessoas reais vestindo roupas reveladoras, como biquínis ou lingerie, em jurisdições onde tal prática é considerada ilegal. A empresa alegou que medidas tecnológicas já foram implementadas para barrar esses usos.

No entanto, críticas apontam que as restrições são insuficientes, já que ainda haveria possibilidade de criar conteúdos inadequados mesmo com os filtros — e muitas vezes por meio de versões da ferramenta fora da plataforma X.

O episódio também gerou ações judiciais: uma mulher, mãe de um dos filhos de Musk, entrou com processo contra a xAI em Nova York, alegando que Grok foi usado para gerar deepfakes sexualizados com sua imagem, causando sofrimento emocional.

Especialistas e autoridades ressaltam que esse caso expõe uma lacuna crítica na regulamentação de IA generativa, especialmente diante de ferramentas que podem produzir conteúdo sintético realista com enorme potencial de abuso. A ação da Califórnia destaca a necessidade de regras claras que obriguem empresas de tecnologia a prevenir e remover conteúdos que violem direitos individuais e protejam grupos vulneráveis, como crianças.