Nos últimos dias, o Grok criou imagens de menores usando roupas mínimas em resposta a comandos de usuários, violando sua própria política de uso aceitável, que proíbe a sexualização de crianças, disse o chatbot em uma série de postagens no X nesta semana, em resposta a perguntas de usuários. As imagens problemáticas foram removidas, acrescentou.
“Identificamos falhas nos mecanismos de proteção e estamos corrigindo isso com urgência”, publicou o Grok na sexta-feira (2), acrescentando que material de abuso sexual infantil é “ilegal e proibido”.
A disseminação de ferramentas de IA capazes de gerar imagens realistas de menores despidos evidencia os desafios da moderação de conteúdo e dos sistemas de segurança incorporados a grandes modelos de linguagem que geram imagens. Mesmo ferramentas que afirmam ter salvaguardas podem ser manipuladas, permitindo a proliferação de material que tem alarmado defensores da segurança infantil. A Internet Watch Foundation, uma organização sem fins lucrativos que identifica material de abuso sexual infantil na internet, relatou um aumento de 400% desse tipo de imagem gerada por IA nos primeiros seis meses de 2025.
A xAI posicionou o Grok como mais permissivo do que outros modelos de IA populares e, no verão passado, lançou um recurso chamado “Spicy Mode”, que permite nudez adulta parcial e conteúdo sexualmente sugestivo. O serviço proíbe pornografia envolvendo a imagem de pessoas reais e qualquer conteúdo sexual envolvendo menores, o que é ilegal de criar ou distribuir.
Representantes da xAI, empresa que desenvolve o Grok e opera o X, não responderam imediatamente a um pedido de comentário.
À medida que a geração de imagens por IA se tornou mais popular, as principais empresas por trás dessas ferramentas passaram a divulgar políticas sobre a representação de menores. A OpenAI proíbe qualquer material que sexualize crianças menores de 18 anos e bane usuários que tentem gerar ou enviar esse tipo de conteúdo. O Google tem políticas semelhantes, que proíbem “qualquer imagem modificada de um menor identificável envolvido em conduta sexualmente explícita”. A Black Forest Labs, uma startup de IA que já trabalhou com o X, está entre as muitas empresas de IA generativa que afirmam filtrar imagens de abuso e exploração infantil dos conjuntos de dados usados para treinar seus modelos.
Em 2023, pesquisadores descobriram que um grande conjunto de dados público usado para desenvolver geradores populares de imagens por IA continha pelo menos 1.008 ocorrências de material de abuso sexual infantil.
Diversas empresas já enfrentaram críticas por falharem em proteger menores de conteúdo sexual. A Meta Platforms Inc. afirmou no verão passado que estava atualizando suas políticas depois que uma reportagem da Reuters constatou que regras internas da empresa permitiam que seu chatbot mantivesse conversas românticas e sensuais com crianças.
A Internet Watch Foundation afirmou que as imagens de abuso sexual infantil geradas por IA avançaram em um ritmo “assustador”, tornando-se cada vez mais realistas e extremas. Em muitos casos, segundo a entidade, ferramentas de IA são usadas para remover digitalmente as roupas de uma criança ou adolescente e criar uma imagem sexualizada.
