YouTube a annoncé qu'il commencerait à étiqueter automatiquement les vidéos générées par l'IA afin d'informer les spectateurs. Cette mesure vise à accroître la transparence et à lutter contre la désinformation, notamment en ce qui concerne le contenu manipulé.
De nombreux systèmes de détection de la vivacité ont du mal à généraliser aux nouvelles techniques de génération de médias synthétiques, car ils ont été formés sur des données anciennes. Cela soulève des questions critiques sur la capacité des fournisseurs à faire face aux deepfakes en constante évolution.
Cet article propose une analyse technique sur la protection des individus contre la manipulation nuisible par les systèmes d'IA, en référence à un article de blog de DeepMind. Il détaille un modèle de menace, identifiant les acteurs potentiels et les vecteurs d'attaque tels que la manipulation de données et les deepfakes.
Des experts ont averti depuis des années que les deepfakes pourraient être déployés de manière malveillante, et ces dangers sont désormais présents. Les améliorations technologiques et la disponibilité de modèles génératifs les rendent plus faciles à utiliser.
Apple a discrètement menacé de retirer l'application d'IA Grok d'Elon Musk de son App Store en janvier en raison de son incapacité à contenir la prolifération de deepfakes sexuels non consensuels. La société a exigé que les développeurs élaborent un plan pour améliorer la modération du contenu.
Les nouvelles normes fédérales de preuve numérique, telles que la Règle 707 et les normes Daubert, exigent des développeurs d'IA qu'ils prouvent la méthodologie derrière la vérification des données. Cela déplace la charge de la preuve de « est-ce réel ? » à « pouvez-vous prouver la méthodologie utilisée pour le vérifier ? », impactant les outils de comparaison faciale et biométriques.
Les premières arrestations fédérales en vertu de la loi TAKE IT DOWN marquent une nouvelle phase dans la régulation des médias synthétiques, introduisant un délai critique de 48 heures pour le retrait des deepfakes. Cette exigence technique crée un goulot d'étranglement important pour les développeurs, nécessitant une vérification fiable de l'authenticité du contenu et de l'identité de la personne représentée.
Les deepfakes remettent profondément en question la vérification forensique et créent un "dividende du menteur" où les preuves authentiques sont rejetées. Cela nécessite un changement dans les outils de vision par ordinateur pour fournir un échafaudage mathématique permettant aux enquêteurs de défendre leurs conclusions devant les tribunaux, au-delà de simples scores de correspondance.
Les deepfakes représentent une menace systémique, avec 76% des organisations britanniques déjà touchées par des attaques, révélant une défaillance de l'authentification médiatique traditionnelle. Il est urgent de passer à la vérification algorithmique, car l'examen visuel manuel est inefficace contre les deepfakes de haute fidélité.
L'article présente le cas d'un policier ayant créé 3 000 deepfakes comme un avertissement concernant la dette technique dans le droit biométrique. Il soutient que la précipitation législative à définir les "médias synthétiques" brouille la distinction entre IA discriminative et générative, créant des risques pour les développeurs d'outils légitimes de comparaison faciale.
Une loi américaine exigeant des réseaux sociaux qu'ils suppriment rapidement les deepfakes sexuels et autres images non consensuelles est désormais pleinement en vigueur. Les experts avertissent que cette politique pourrait peu aider les victimes et, au pire, faciliter la censure en ligne, bien qu'elle criminalise la distribution de matériel non consensuel généré par IA ou réel.
Les systèmes d'étiquetage d'IA comme SynthID et C2PA Content Credentials sont à un moment décisif pour combattre les deepfakes et le contenu généré par l'IA non étiqueté. Google a annoncé l'expansion de la vérification des marqueurs SynthID, visant à faciliter l'identification des faux contenus en ligne.