O YouTube anunciou que começará a rotular automaticamente vídeos gerados por inteligência artificial para informar os espectadores. Esta medida visa aumentar a transparência e combater a desinformação, especialmente em relação a conteúdo manipulado.
Muitos sistemas de detecção de vivacidade não conseguem generalizar para novas técnicas de geração de mídia sintética, pois foram treinados com dados antigos. Isso levanta questões críticas sobre a capacidade dos fornecedores em lidar com deepfakes em constante evolução.
Este artigo oferece uma análise técnica sobre a proteção de indivíduos contra manipulação prejudicial por sistemas de IA, referenciando uma postagem de blog do DeepMind. Ele detalha um modelo de ameaça, identificando atores potenciais e vetores de ataque como manipulação de dados e deepfakes.
Especialistas alertaram por anos que deepfakes poderiam ser usados de formas maliciosas, e esses perigos agora são uma realidade. Melhorias na tecnologia e a ampla disponibilidade de modelos generativos facilitaram seu uso.
Apple ameaçou discretamente remover o aplicativo de IA Grok de Elon Musk da App Store em janeiro devido à sua falha em conter deepfakes sexuais não consensuais. A empresa exigiu que os desenvolvedores criassem um plano para melhorar a moderação de conteúdo.
As novas normas federais de evidência digital, como a Regra 707 e os padrões Daubert, estão exigindo que os desenvolvedores de IA demonstrem a metodologia por trás da verificação de dados. Isso transfere o ônus da prova de “isso é real?” para “você pode provar a metodologia usada para verificá-lo?”, impactando ferramentas de comparação facial e biométricas.
As primeiras prisões federais sob o TAKE IT DOWN Act marcam uma nova fase na regulamentação de mídia sintética, impondo um prazo de 48 horas para a remoção de deepfakes. Este requisito técnico cria um gargalo significativo para desenvolvedores, exigindo verificação precisa da autenticidade do conteúdo e da identidade da pessoa alegadamente retratada.
Deepfakes estão desafiando profundamente a verificação forense e criando um "dividendo do mentiroso" onde evidências autênticas são desconsideradas. Isso exige uma mudança nas ferramentas de visão computacional para fornecer uma estrutura matemática que permita aos investigadores defender suas descobertas em tribunal, indo além de simples pontuações de correspondência.
Deepfakes representam uma ameaça sistêmica, com 76% das organizações do Reino Unido já afetadas por ataques, revelando uma falha na autenticação de mídia tradicional. Há uma necessidade urgente de mudar para a verificação algorítmica, pois a revisão visual manual é ineficaz contra deepfakes de alta fidelidade.
O artigo aponta o caso de um policial que gerou 3.000 deepfakes como um alerta sobre a dívida técnica na legislação biométrica. Ele argumenta que a corrida legislativa para definir "mídia sintética" ignora a distinção técnica entre IA discriminativa e generativa, criando riscos para desenvolvedores de ferramentas legítimas de comparação facial.
Uma lei nos EUA que exige que as redes sociais removam rapidamente deepfakes sexuais e outras imagens não consensuais está agora em pleno vigor. Especialistas alertam que a política pode fazer pouco para ajudar as vítimas e, na pior das hipóteses, pode facilitar a censura online, embora criminalize a distribuição de material gerado por IA ou real não consensual.
Sistemas de rotulagem de IA como SynthID e C2PA Content Credentials estão em um ponto decisivo para combater deepfakes e conteúdo gerado por IA não rotulado. A Google anunciou a expansão da verificação de marcadores SynthID, visando tornar o conteúdo falso mais fácil de identificar online.