Mulher afirma que padrasto usou o Grok para gerar imagens de abuso a partir de foto de infância

Uma mulher identificada como Jane Doe 4 entrou em uma ação contra a xAI e alegou que o padrasto usou o Grok para manipular uma foto tirada quando ela tinha 11 anos e gerar mais de 7 mil imagens sexualmente explícitas. Ela se juntou a um processo aberto por três adolescentes do Tennessee, que busca o reconhecimento como ação coletiva.

A acusação ainda não é uma conclusão judicial. A ação sustenta que a xAI deixou de adotar precauções básicas para impedir a criação de imagens explícitas de pessoas reais, inclusive menores. O TechCrunch informou que procurou a empresa para comentar o caso.

Para empresas que avaliam modelos ou APIs, o episódio mostra por que a segurança do provedor não deve ser tratada como promessa de marketing. Testes adversariais, controles no próprio aplicativo e um processo de resposta a incidentes continuam necessários.

Por que importa: Filtros do modelo são apenas uma camada. Antes de colocar uma API em produção, teste solicitações abusivas relevantes para o seu contexto, limite entradas e saídas e defina como bloquear o uso e preservar evidências diante de um incidente.