Hugging Face virou plataforma de deepfakes não consensuais, diz relatório europeu

Pesquisadores europeus publicaram um relatório mostrando que o Hugging Face está sendo usado para criar e distribuir deepfakes sexuais não consensuais com facilidade perturbadora. Os modelos de edição de imagem mais populares da plataforma foram testados e conseguiram despir fotos de mulheres e crianças com poucas instruções. A análise de mil prompts de usuários confirmou que esse uso é real e sistemático, segundo o The Verge.

O Hugging Face tem feito pouco para impedir esses modelos, conforme apontado pela Wired. Ao contrário de APIs fechadas como DALL-E ou Midjourney, os modelos na plataforma rodam localmente e não passam por filtros de conteúdo. Para quem constrói produtos com visão computacional, o episódio é um sinal de que auditar os modelos que você integra deixou de ser opcional.

Por que importa: Quem usa modelos de visão do Hugging Face em produtos ou pipelines precisa revisar o que está integrando. Mais amplamente, o caso mostra que plataformas de modelos abertos precisam de governança séria para que o open-source não vire cobertura para abusos sistemáticos.