Sur le test de synchronisation standard SyncNet, le modèle de visage parlant VASA-1 obtient 8,841, soit plus que les 7,640 des vidéos réelles auxquelles il est comparé (Microsoft Research Asia, article VASA-1 2024). Ce seul chiffre explique l’essentiel de ce domaine en 2026 : les modèles battent désormais les images réelles sur la métrique conçue pour les juger, de sorte que les études utilisateurs et les chiffres de vitesse d’exécution comptent plus que jamais. Un modèle de visage de téléprésence en temps réel remporte 84,59% des comparaisons A/B face au DiffPoseTalk, plus lent (Meta et Seoul National University, SIGGRAPH Asia 2025), et les données d’entraînement 3D sont passées de typiquement moins d’1 heure à 18,5 heures (article UniTalker, arXiv 2024). Pendant ce temps, les spectateurs humains détectent les deepfakes à 55,54%, à peine mieux qu’un tirage à pile ou face (Diel et al., Computers in Human Behavior Reports 2024). Nous avons agrégé des données de NVIDIA Research, ByteDance, l’European Broadcasting Union, Unity et d’une douzaine d’articles d’évaluation issus de laboratoires universitaires et industriels. Si vous arrivez du côté reconnaissance du problème, nos statistiques sur la lecture labiale et la reconnaissance visuelle de la parole couvrent la tâche inverse : lire des mots sur les lèvres plutôt que générer des lèvres à partir de mots.
TL;DR
- VASA-1 obtient une confiance SyncNet de 8,841 sur VoxCeleb2 contre 7,640 pour la vidéo réelle (Microsoft Research Asia, article VASA-1 2024).
- LatentSync fait passer le FVD sur HDTF à 162,74 contre 304,35 pour Wav2Lip (ByteDance, article LatentSync 2025).
- L’erreur de sommets labiaux sur BIWI-Test-A est passée de 6,5563 (VOCA) à 4,3646 (TalkingStyle) x 10^-4 mm (article GLDiTalker, arXiv 2025).
- UniTalker a fait passer les données d’entraînement faciales 3D de typiquement moins d’1 heure à 18,5 heures (article UniTalker, arXiv 2024).
- 92,47% des jugements A/B ont préféré CodeTalker à VOCA pour la synchronisation labiale sur BIWI (article CodeTalker, arXiv 2023).
- Un modèle de visage de téléprésence en temps réel tourne en 10 ms de temps GPU contre 1,3 s pour Audio2Photoreal (Meta et Seoul National University, SIGGRAPH Asia 2025).
- Audio2Face-3D v3.0 atteint 3 269 FPS sur une seule RTX 4090 avec TensorRT (NVIDIA, article Audio2Face-3D 2025).
- 36% des professionnels du jeu utilisent des outils d’IA générative, et 52% disent qu’elle nuit à l’industrie (GDC, 2026 State of the Game Industry).
- Seulement environ 12,4% du temps de parole doublé à l’écran conserve le même viseme que l’original (AWS AI Labs et MIT, Dubbing in Practice, TACL 2023).
- La synchronisation labiale en diffusion doit rester dans une fenêtre de 40 ms en avance et 60 ms en retard de bout en bout (EBU Recommendation R37-2007).
- La détection humaine des deepfakes atteint en moyenne 55,54% (IC à 95% 48,87 à 62,10) sur 86 155 participants (Diel et al., Computers in Human Behavior Reports 2024).
- Les détecteurs vidéo de deepfakes open source perdent 50% de leur AUC sur des contenus de 2024 en conditions réelles (référentiel Deepfake-Eval-2024, 2025).
1. Évaluations de précision de la synchronisation labiale pour la vidéo de visage parlant
Deux familles de chiffres dominent les articles sur la synchronisation labiale 2D. La confiance SyncNet (rapportée sous le nom de LSE-C ou Sync_conf, plus haut est meilleur) et la distance SyncNet (LSE-D, plus bas est meilleur) proviennent d’un réseau entraîné à juger si le mouvement de la bouche correspond à l’audio. Le FID et le FVD (Frechet Inception Distance et Frechet Video Distance, plus bas est meilleur) mesurent à quel point les images et les clips générés s’écartent des vrais.
Le titre est un paradoxe. VASA-1 affiche une confiance SyncNet de 8,841 sur VoxCeleb2, alors que les vidéos réelles obtiennent 7,640 (Microsoft Research Asia, article VASA-1 2024). Un modèle ‘plus synchronisé que la réalité’ sur ce test n’est pas plus réaliste : son FVD25 est de 105,88 contre 29,25 pour la vidéo réelle. La synchronisation est presque résolue du point de vue de la métrique ; le réalisme visuel ne l’est pas. LatentSync montre l’autre levier : supprimer la supervision SyncNet fait chuter sa confiance de synchronisation de 8,9 à 4,6, ce qui correspond à la conclusion des auteurs selon laquelle les modèles de diffusion latente captent des raccourcis visuels plutôt que des liens audio-lèvres, à moins qu’un juge de synchronisation ne soit intégré à l’entraînement (ByteDance, article LatentSync 2025).
| Métrique | Valeur | Source |
|---|---|---|
| Confiance SyncNet sur le jeu de test VoxCeleb2 : VASA-1 contre vidéo réelle (plus haut est meilleur) | 8,841 contre 7,640 | Microsoft Research Asia, article VASA-1 2024 |
| FVD25 sur le jeu OneMin-32 : VASA-1 contre vidéo réelle contre SadTalker (plus bas est meilleur) | 105,88 contre 29,25 contre 214,51 | Microsoft Research Asia, article VASA-1 2024 |
| Confiance SyncNet (Sync_conf) sur HDTF : LatentSync contre Wav2Lip contre MuseTalk | 8,9 contre 8,2 contre 6,8 | ByteDance, article LatentSync 2025 |
| FVD sur HDTF : LatentSync contre Wav2Lip (plus bas est meilleur) | 162,74 contre 304,35 | ByteDance, article LatentSync 2025 |
| FID sur HDTF : LatentSync contre Wav2Lip (plus bas est meilleur) | 7,22 contre 12,5 | ByteDance, article LatentSync 2025 |
| Sync_conf sur HDTF : LatentSync sans supervision SyncNet contre avec SyncNet dans l’espace des pixels | 4,6 contre 8,9 | ByteDance, article LatentSync 2025 |
| Précision du juge SyncNet sur le jeu de test HDTF : StableSyncNet contre le meilleur précédent | 94% contre 91% | ByteDance, article LatentSync 2025 |
Note de contexte : Wav2Lip, le modèle de 2020 qui a popularisé l’entraînement basé sur SyncNet (article Wav2Lip, ACM Multimedia 2020), apparaît encore comme référence de comparaison dans presque tous les tableaux de 2025. Ses scores varient d’un article à l’autre : LatentSync rapporte un Sync_conf de 8,2 sur HDTF, tandis qu’une évaluation distincte rapporte un LSE-C de 9,054 sur HDTF (voir section 3). Les chiffres d’évaluation ne sont comparables qu’au sein du protocole d’évaluation d’un même article.
2. Visages 3D pilotés par la parole : erreur de sommets labiaux et données d’entraînement
Pour les visages 3D (maillages utilisés dans les jeux, la VR et le cinéma), la métrique standard est l’erreur de sommets labiaux (LVE) : la plus grande distance par image entre les sommets labiaux générés et capturés, moyennée sur les images. Plus bas est meilleur. Sur le référentiel BIWI-Test-A, la LVE est passée de 6,5563 pour VOCA à 4,3646 pour TalkingStyle (x 10^-4 mm), soit une réduction de 33% selon nos calculs (2,1917 divisé par 6,5563) sur plusieurs générations de modèles (article GLDiTalker, arXiv révisé 2025).
Le vrai sujet est la pénurie de données. Les deux jeux de données de référence sur lesquels le domaine s’entraîne sont minuscules : VOCASET compte 480 séquences d’environ 4 secondes chacune, et BIWI 14 locuteurs lisant 40 phrases (article CodeTalker, arXiv 2023). UniTalker s’est attaqué à ce goulot en fusionnant huit jeux de données et en portant les données d’entraînement à 18,5 heures, ce qui a réduit la LVE de 9,2% sur BIWI et de 13,7% sur VOCASET (article UniTalker, arXiv 2024). Des gains de cette taille obtenus par les seules données suggèrent que les prochains bonds viendront des budgets de capture, pas de l’architecture.
| Métrique | Valeur | Source |
|---|---|---|
| Erreur de sommets labiaux sur BIWI-Test-A : VOCA contre FaceFormer (x 10^-4 mm, plus bas est meilleur) | 6,5563 contre 5,3077 | Article GLDiTalker, arXiv 2025 (Tableau 1) |
| Erreur de sommets labiaux sur BIWI-Test-A : CodeTalker contre FaceDiffuser (x 10^-4 mm) | 4,7914 contre 4,7823 | Article GLDiTalker, arXiv 2025 (Tableau 1) |
| Erreur de sommets labiaux sur BIWI-Test-A : TalkingStyle contre GLDiTalker (x 10^-4 mm) | 4,3646 contre 4,6440 | Article GLDiTalker, arXiv 2025 (Tableau 1) |
| Données d’entraînement faciales 3D : jeux de données couramment utilisés contre UniTalker | typiquement moins d’1 heure contre 18,5 heures | Article UniTalker, arXiv 2024 |
| Réduction de l’erreur de sommets labiaux grâce à l’entraînement unifié d’UniTalker : BIWI contre VOCASET | 9,2% contre 13,7% | Article UniTalker, arXiv 2024 |
| Réduction moyenne de l’erreur sur le référentiel A2F-Bench | 6,3% | Article UniTalker, arXiv 2024 |
| Taille de VOCASET : séquences, locuteurs, cadence de capture, sommets du maillage | 480 séquences, 12 locuteurs, 60 fps, 5 023 sommets | Article CodeTalker, arXiv 2023 |
| Taille de BIWI : locuteurs, phrases, cadence de capture, sommets du maillage | 14 locuteurs, 40 phrases, 25 fps, 23 370 sommets | Article CodeTalker, arXiv 2023 |
Note de contexte : GLDiTalker est le seul modèle de ce tableau conçu pour produire des sorties clairement variées (score de diversité 8,2176, contre 0 pour la plupart des concurrents), un choix de conception qui va à l’encontre de la reproduction exacte d’une trace labiale capturée. Données les plus récentes disponibles pour les deux descriptions de jeux de données : un article de 2023.
3. Taux de préférence dans les études utilisateurs
Comme la LVE pénalise tout mouvement de bouche différent de celui capturé, même lorsque l’alternative paraît juste, les articles s’appuient sur des évaluateurs humains. Le schéma est cohérent d’une étude à l’autre : les nouveaux modèles écrasent les plus anciens, mais battent souvent la génération précédente de justesse. CodeTalker a remporté 92,47% des jugements de synchronisation labiale sur BIWI contre VOCA, mais seulement 53,76% contre FaceFormer, soit presque un tirage à pile ou face (article CodeTalker, arXiv 2023).
Les systèmes en temps réel gagnent désormais aussi ces tests. Un modèle de téléprésence causal, qui n’utilise aucun audio futur, a été préféré dans 84,59% des comparaisons A/B contre DiffPoseTalk et 69,17% contre Audio2Photoreal (Meta et Seoul National University, SIGGRAPH Asia 2025). Et l’écart entre métrique et perception est mesurable : dans une étude du Karlsruhe Institute of Technology, Wav2Lip avait le meilleur LSE-C sur HDTF de toutes les méthodes, mais une note de synchronisation humaine de seulement 2,91, contre 3,92 pour le modèle des auteurs (Karlsruhe Institute of Technology, article d’expert AV-HuBERT 2024).
| Métrique | Valeur | Source |
|---|---|---|
| Jugements A/B préférant CodeTalker à VOCA pour la synchronisation labiale sur BIWI-Test-B | 92,47% | Article CodeTalker, arXiv 2023 (31 participants) |
| Jugements A/B préférant CodeTalker à FaceFormer pour la synchronisation labiale sur BIWI-Test-B | 53,76% | Article CodeTalker, arXiv 2023 |
| Préférence A/B pour le modèle de visage de téléprésence en temps réel face à DiffPoseTalk | 84,59% | Meta et Seoul National University, SIGGRAPH Asia 2025 |
| Préférence A/B pour le modèle de visage de téléprésence en temps réel face à Audio2Photoreal | 69,17% | Meta et Seoul National University, SIGGRAPH Asia 2025 |
| Note d’opinion moyenne pour la synchronisation labiale sur VOCASET (1 à 5) : GLDiTalker contre FaceFormer | 4,05 contre 3,08 | Article GLDiTalker, arXiv 2025 (20 participants) |
| Note de synchronisation humaine sur HDTF : meilleur modèle contre Wav2Lip, alors que Wav2Lip avait le meilleur LSE-C, à 9,054 | 3,92 contre 2,91 | Karlsruhe Institute of Technology, article d’expert AV-HuBERT 2024 (10 participants) |
Note de contexte : les échantillons sont petits. Les études ci-dessus ont mobilisé 10, 20 et 31 évaluateurs, ce qui est typique du domaine et une raison de traiter avec prudence les écarts de préférence à un chiffre. Le protocole de CodeTalker a produit 372 jugements par jeu de données à partir de 120 paires d’échantillons.
4. Performances d’exécution et latence
La vitesse est passée de goulot d’étranglement à problème résolu pour les rigs 3D. Le réseau de diffusion open source Audio2Face-3D v3.0 tourne à 3 269 images par seconde sur une seule GeForce RTX 4090 avec TensorRT (NVIDIA, article Audio2Face-3D 2025). L’astuce est la distillation : le modèle s’entraîne avec 1 000 étapes de diffusion mais n’en utilise que 2 à l’inférence. Pour les studios, le chiffre pratique est la concurrence : l’ancien réseau de régression v2.3 pilote 128 pistes d’animation simultanées (une par personnage qui parle) dans 1,3 Go de mémoire GPU.
La vidéo photoréaliste reste bien plus lourde. VASA-1 diffuse de la vidéo 512x512 jusqu’à 40 FPS après un délai de démarrage de 170 ms sur une RTX 4090 (Microsoft Research Asia, article VASA-1 2024), et MuseTalk fournit 30 FPS en seulement 256x256 sur un GPU de centre de données V100 (article MuseTalk, arXiv 2024). La course à la latence reflète ce qui s’est passé en synthèse vocale, que nous couvrons dans nos statistiques sur le facteur temps réel et le coût d’inférence du TTS.
| Métrique | Valeur | Source |
|---|---|---|
| Vitesse du réseau de diffusion Audio2Face-3D v3.0, 1 piste, TensorRT, RTX 4090 | 3 269 images par seconde | NVIDIA, article Audio2Face-3D 2025 |
| Vitesse d’Audio2Face-3D v2.3 (Claire), TensorRT, RTX 4090 : 1 piste contre 8 pistes simultanées | 453 contre 413 images par seconde | NVIDIA, article Audio2Face-3D 2025 |
| Mémoire GPU d’Audio2Face-3D v2.3 avec TensorRT : 8 pistes contre 128 pistes | 0,6 Go contre 1,3 Go | NVIDIA, article Audio2Face-3D 2025 |
| Génération en ligne de VASA-1 en 512x512 sur une RTX 4090 : cadence et latence de démarrage | jusqu’à 40 FPS, 170 ms | Microsoft Research Asia, article VASA-1 2024 |
| Temps GPU par image du modèle de visage de téléprésence en temps réel sur un A100 | 10 ms (100 FPS), sans aucune anticipation audio | Meta et Seoul National University, SIGGRAPH Asia 2025 |
| Références hors ligne dans la même comparaison : Audio2Photoreal contre DiffPoseTalk avec style | 1,3 s contre 11,4 s | Meta et Seoul National University, SIGGRAPH Asia 2025 |
| Sortie vidéo de synchronisation labiale de MuseTalk sur un GPU V100 | 30 FPS en 256x256 | Article MuseTalk, arXiv 2024 |
Note de contexte : le modèle de téléprésence est 130 fois plus rapide qu’Audio2Photoreal selon nos calculs (1 300 ms divisé par 10 ms), ce qui est cohérent avec l’affirmation de l’article lui-même, de 100 à 1 000 fois plus rapide que les références hors ligne. Les FPS d’Audio2Face-3D comptent les images de sortie du réseau, pas une scène de jeu rendue.
5. Adoption dans le jeu vidéo et opinion des développeurs
L’animation pilotée par l’audio arrive sur le marché, mais dans une industrie qui s’est nettement retournée contre l’IA générative. 52% des professionnels du jeu disent désormais que l’IA générative nuit à l’industrie, contre 30% un an plus tôt et 18% l’année précédente (GDC, 2026 State of the Game Industry). Le groupe le plus négatif est celui des arts visuels et techniques, à 64%, soit les mêmes personnes dont le travail d’animation faciale est automatisé par ces outils.
Les chiffres d’usage divergent selon les répondants. L’enquête auprès de professionnels individuels ci-dessus trouve que 36% utilisent l’IA générative, tandis qu’une enquête au niveau des studios indique que 96% des studios utilisent des outils d’IA dans certains flux de travail (Unity, Gaming Report 2025). Côté offre, les modèles Audio2Face, le SDK et le cadre d’entraînement sont passés en open source le 24 septembre 2025, avec neuf entreprises citées comme les intégrant déjà (NVIDIA Developer Blog 2025). La moitié vocale de cette chaîne est suivie dans nos statistiques d’adoption de la voix IA dans les dialogues de PNJ de jeux.
| Métrique | Valeur | Source |
|---|---|---|
| Professionnels de l’industrie du jeu utilisant des outils d’IA générative dans leur travail | 36% (sur plus de 2 300 répondants) | GDC, 2026 State of the Game Industry |
| Usage de l’IA générative : répondants de studios de jeu contre éditeurs, support et sociétés de marketing/relations publiques | 30% contre 58% | GDC, 2026 State of the Game Industry |
| Répondants jugeant que l’IA générative a un impact négatif sur l’industrie : 2026 contre l’année précédente contre deux ans plus tôt | 52% contre 30% contre 18% | GDC, 2026 State of the Game Industry |
| Professionnels des arts visuels et techniques ayant une opinion défavorable de l’IA générative | 64% | GDC, 2026 State of the Game Industry |
| Répondants jugeant que l’IA générative a un impact positif : 2026 contre 2025 | 7% contre 13% | GDC, 2026 State of the Game Industry |
| Studios utilisant des outils d’IA dans certains flux de travail | 96% | Unity, Gaming Report 2025 |
| Répondants positifs à l’égard des outils d’IA dans le développement de jeux | 79% | Unity, Gaming Report 2025 |
| Entreprises citées comme adoptantes d’Audio2Face lors du lancement open source (affirmation du fournisseur lui-même) | 9 entreprises, plus 2 jeux commercialisés crédités | NVIDIA Developer Blog, 24 septembre 2025 |
Note de contexte : les neuf adoptants cités sont Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs et UneeQ ; les deux jeux sont Alien: Rogue Incursion Evolved Edition (Survios) et Chernobylite 2: Exclusion Zone (The Farm 51). Aucune des citations de studio n’associait un chiffre au temps gagné.
6. La réalité du doublage et les tolérances de synchronisation en diffusion
Le doublage visuel par IA promet de faire correspondre la parole traduite à la bouche de l’acteur. La référence à laquelle il se mesure est plus lâche que ne le pensent la plupart des gens. Sur 319,57 heures de télévision et de cinéma doublés par des professionnels de l’anglais vers l’allemand et de l’anglais vers l’espagnol, seulement environ 12,4% du temps de parole à l’écran présentait le même viseme dans le doublage que dans l’original (AWS AI Labs et MIT, Dubbing in Practice, TACL 2023). Un viseme est la forme visible de la bouche pour un groupe de sons (par exemple, p, b et m ferment tous les lèvres). Les doubleurs humains font correspondre les formes de bouche un peu plus souvent lorsque le locuteur est à l’écran, mais les auteurs concluent que le naturel vocal et la qualité de la traduction comptent davantage pour les professionnels que la synchronisation labiale stricte.
Le timing est la contrainte la plus serrée. L’isochronie (le fait que la parole doublée commence et s’arrête en même temps que la parole originale) a atteint en moyenne un recouvrement de 0,658. Les diffuseurs, de leur côté, fixent des limites strictes au décalage audio-vidéo : le son peut précéder l’image d’au plus 40 ms et la suivre avec un retard d’au plus 60 ms, des valeurs fixées là où le décalage devient perceptible pour 50% des observateurs (EBU Recommendation R37-2007). Toute chaîne d’avatar en direct hérite de ce budget : la latence de démarrage d’un générateur (170 ms pour VASA-1, voir section 4) doit donc être absorbée en retardant l’audio en conséquence, faute de quoi le résultat échoue au contrôle de diffusion.
| Métrique | Valeur | Source |
|---|---|---|
| Corpus doublé par des professionnels analysé : heures, titres, épisodes | 319,57 heures, 54 titres, 674 épisodes | AWS AI Labs et MIT, Dubbing in Practice, TACL 2023 |
| Part du temps de parole à l’écran avec le même viseme dans l’original et le doublage | environ 12,4% | AWS AI Labs et MIT, Dubbing in Practice, TACL 2023 |
| Recouvrement moyen (médian) du temps de parole entre la réplique originale et la réplique doublée | 0,658 (0,731) | AWS AI Labs et MIT, Dubbing in Practice, TACL 2023 |
| Recouvrement du temps de parole pour les locuteurs à l’écran contre hors écran | 0,684 contre 0,662 | AWS AI Labs et MIT, Dubbing in Practice, TACL 2023 |
| Répliques doublées au moins 10% plus longues en caractères que la source anglaise : allemand contre espagnol | 53% contre 30% | AWS AI Labs et MIT, Dubbing in Practice, TACL 2023 |
| Limite de diffusion de bout en bout du son par rapport à l’image : son en avance contre son en retard | au plus 40 ms contre au plus 60 ms | EBU Recommendation R37-2007 |
| Précision de synchronisation exigée à chaque étape de production : son en avance contre son en retard | 5 ms contre 15 ms | EBU Recommendation R37-2007 |
Note de contexte : données les plus récentes disponibles : l’étude du corpus de doublage, 2023, et l’EBU R37, 2007 (toujours la recommandation EBU en vigueur). L’étude sur le doublage a aussi constaté que 4,3% des répliques doublées n’avaient aucun recouvrement temporel avec l’original, et que les scores de qualité de traduction ne différaient pas significativement entre les répliques à l’écran et hors écran (COMET-QE p = 0,349).
7. Perception et détection des deepfakes
Les mêmes modèles qui animent les personnages de jeux peuvent falsifier la parole d’une personne réelle. La détection est déséquilibrée. Sur 56 articles et 86 155 participants, les gens ont détecté les deepfakes avec une précision de 55,54% (IC à 95% 48,87 à 62,10), non significativement supérieure au hasard, et seulement 57,31% pour la vidéo (Diel et al., Computers in Human Behavior Reports 2024). L’entraînement avec retour d’information, l’aide de l’IA ou la caricaturisation ont fait monter la précision à 65,14%.
Les machines spécialisées dans la synchronisation labiale font bien mieux en laboratoire, mais la généralisation reste le point faible. Le détecteur LipFD, qui cherche les décalages temporels entre l’audio et le mouvement des lèvres, annonce plus de 95,3% de précision moyenne et jusqu’à 90,2% en conditions réelles, comme les appels vidéo WeChat (Lips Are Lying, article LipFD, arXiv 2024). Sur les deepfakes réellement en circulation en 2024, les détecteurs vidéo open source ont perdu 50% de leur AUC (aire sous la courbe ROC, où 1,0 est parfait et 0,5 correspond au hasard) par rapport aux anciens référentiels (référentiel Deepfake-Eval-2024, 2025).
| Métrique | Valeur | Source |
|---|---|---|
| Précision humaine agrégée de détection des deepfakes, tous types de médias | 55,54% (IC à 95% 48,87 à 62,10, k = 67) | Diel et al., Computers in Human Behavior Reports 2024 |
| Précision humaine de détection pour la vidéo deepfake spécifiquement | 57,31% (IC à 95% 47,80 à 66,57, k = 26) | Diel et al., Computers in Human Behavior Reports 2024 |
| Précision humaine de détection avec entraînement par retour d’information, aide de l’IA ou caricaturisation | 65,14% (IC à 95% 55,21 à 74,46, k = 15) | Diel et al., Computers in Human Behavior Reports 2024 |
| Détecteur de deepfakes de synchronisation labiale LipFD : précision moyenne contre scénarios réels | plus de 95,3% contre jusqu’à 90,2% | Article Lips Are Lying (LipFD), arXiv 2024 |
| Baisse d’AUC des détecteurs open source sur les deepfakes de 2024 en conditions réelles par rapport aux référentiels antérieurs : vidéo, audio, image | 50%, 48%, 45% | Référentiel Deepfake-Eval-2024, 2025 |
| Jeu de données Deepfake-Eval-2024 : heures de vidéo, sites web, langues | 45 heures, 88 sites web, 52 langues | Référentiel Deepfake-Eval-2024, 2025 |
| Précision du détecteur propre aux auteurs de VASA-1 pour distinguer les vraies vidéos de la sortie de VASA-1 | 97,8% | Microsoft Research Asia, article VASA-1 2024 |
Note de contexte : le chiffre de 97,8% porte sur la sortie d’un seul modèle avec un détecteur entraîné pour lui. Le résultat de Deepfake-Eval-2024 montre ce qui se passe lorsque les détecteurs rencontrent des générateurs pour lesquels ils n’ont pas été entraînés.
Résumé : animation faciale pilotée par l’audio et synchronisation labiale en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| Confiance SyncNet sur VoxCeleb2 : VASA-1 contre vidéo réelle | 8,841 contre 7,640 | Microsoft Research Asia, article VASA-1 2024 |
| FVD sur HDTF : LatentSync contre Wav2Lip | 162,74 contre 304,35 | ByteDance, article LatentSync 2025 |
| Précision du juge SyncNet sur HDTF : StableSyncNet contre le meilleur précédent | 94% contre 91% | ByteDance, article LatentSync 2025 |
| Erreur de sommets labiaux sur BIWI-Test-A : VOCA contre TalkingStyle (x 10^-4 mm) | 6,5563 contre 4,3646 | Article GLDiTalker, arXiv 2025 |
| Données d’entraînement faciales 3D : jeux de données typiques contre UniTalker | moins d’1 heure contre 18,5 heures | Article UniTalker, arXiv 2024 |
| Jugements A/B préférant CodeTalker à VOCA pour la synchronisation labiale sur BIWI | 92,47% | Article CodeTalker, arXiv 2023 |
| Préférence A/B pour le modèle de visage de téléprésence en temps réel face à DiffPoseTalk | 84,59% | Meta et Seoul National University, SIGGRAPH Asia 2025 |
| Note de synchronisation humaine sur HDTF : meilleur modèle contre Wav2Lip malgré le meilleur LSE-C de Wav2Lip | 3,92 contre 2,91 | Karlsruhe Institute of Technology, 2024 |
| Vitesse d’Audio2Face-3D v3.0 sur une seule RTX 4090 avec TensorRT | 3 269 images par seconde | NVIDIA, article Audio2Face-3D 2025 |
| Temps GPU par image du modèle de visage de téléprésence en temps réel | 10 ms | Meta et Seoul National University, SIGGRAPH Asia 2025 |
| Professionnels du jeu utilisant des outils d’IA générative | 36% | GDC, 2026 State of the Game Industry |
| Studios utilisant des outils d’IA dans certains flux de travail | 96% | Unity, Gaming Report 2025 |
| Temps de parole doublé à l’écran avec le même viseme que l’original | environ 12,4% | AWS AI Labs et MIT, TACL 2023 |
| Recouvrement moyen du temps de parole entre répliques originales et doublées | 0,658 | AWS AI Labs et MIT, TACL 2023 |
| Limite de synchronisation labiale de bout en bout en diffusion : son en avance contre son en retard | 40 ms contre 60 ms | EBU Recommendation R37-2007 |
| Précision humaine agrégée de détection des deepfakes | 55,54% | Diel et al., Computers in Human Behavior Reports 2024 |
| Baisse d’AUC des détecteurs open source de deepfakes vidéo sur des contenus de 2024 en conditions réelles | 50% | Référentiel Deepfake-Eval-2024, 2025 |
Méthodologie et sources
- NVIDIA : Audio2Face-3D, Audio-driven Realistic Facial Animation for Digital Avatars (arXiv 2508.16401, 2025) pour la vitesse d’inférence, la mémoire et les étapes de diffusion, et l’annonce open source d’Audio2Face, 24 septembre 2025 pour les adoptants cités (affirmation du fournisseur lui-même).
- Microsoft Research Asia, article VASA-1 (arXiv 2404.10667, révisé 2024) : scores de synchronisation, FVD, cadence d’images, latence, précision du détecteur.
- Meta Codec Avatars Lab et Seoul National University, Audio Driven Real-Time Facial Animation for Social Telepresence (SIGGRAPH Asia 2025) : latence et préférence A/B.
- ByteDance, Beijing Jiaotong University et Monash University, LatentSync (arXiv 2412.09262, révisé 2025) : synchronisation sur HDTF et VoxCeleb2, FID et FVD.
- Article GLDiTalker, Beihang University et autres (arXiv 2408.01826, révisé 2025) : tableau d’erreur de sommets labiaux sur BIWI et notes d’opinion moyennes.
- Article CodeTalker (arXiv 2301.02379, 2023) : taux de préférence A/B et descriptions des jeux de données.
- Article UniTalker (arXiv 2408.00762, 2024) : ampleur des données d’entraînement et réductions d’erreur.
- Karlsruhe Institute of Technology, Istanbul Technical University et Carnegie Mellon University, article d’expert AV-HuBERT (arXiv 2405.04327, 2024) : LSE-C/LSE-D contre étude utilisateur.
- Article MuseTalk (arXiv 2410.10122, révisé 2025) : cadence d’images en temps réel.
- Article Wav2Lip (ACM Multimedia 2020) : contexte sur le modèle de référence, aucun chiffre n’en est cité directement.
- GDC, 2026 State of the Game Industry : usage de l’IA générative et opinions.
- Unity, article de lancement du Gaming Report 2025 (17 mars 2025) : usage de l’IA par les studios et opinions.
- AWS AI Labs et MIT Media Lab, Dubbing in Practice (TACL vol. 11, 2023) : statistiques du corpus de doublage professionnel.
- EBU Recommendation R37-2007 : limites de synchronisation entre le son et l’image.
- Diel et al., Human performance in detecting deepfakes, Computers in Human Behavior Reports vol. 16 (2024) : méta-analyse de la détection humaine.
- Article Lips Are Lying (LipFD) (arXiv 2401.15668, 2024) : précision de détection des deepfakes de synchronisation labiale.
- Référentiel Deepfake-Eval-2024 (arXiv 2503.02857, 2025) : performance des détecteurs en conditions réelles.
- Note sur les données : (1) Les conflits entre métrique et perception sont réels : VASA-1 bat la vidéo réelle sur la confiance SyncNet, et le score de Wav2Lip sur HDTF diffère d’un article à l’autre (Sync_conf de 8,2 dans l’évaluation de LatentSync contre LSE-C de 9,054 dans l’évaluation de Karlsruhe), il faut donc comparer les scores uniquement au sein d’un même article. (2) Les chiffres d’usage de l’IA de 36% et 96% de la section 5 mesurent des populations différentes (professionnels individuels contre studios, et la taille d’échantillon de l’enquête auprès des studios n’est pas indiquée sur sa page de lancement), ils ne doivent donc pas être lus comme une contradiction. (3) Nous n’avons trouvé aucun résultat d’étude utilisateur dans le texte de l’article Audio2Face-3D que nous avons lu, sa qualité perceptuelle n’est donc pas couverte ici. (4) CodeTalker (2023), l’étude du corpus de doublage (2023) et l’EBU R37 (2007) sont les données les plus récentes disponibles pour leurs métriques ; des articles plus récents de SIGGRAPH et CVPR pourraient mettre à jour les chiffres de LVE et de préférence. (5) Les unités de LVE diffèrent selon les référentiels et les articles, les valeurs ne sont donc comparables qu’au sein d’un même tableau. (6) Les études utilisateurs de ce domaine reposent sur 10 à 31 évaluateurs, les petits écarts de préférence ne sont donc pas robustes.
Dernière mise à jour : 6 novembre 2026. Nous actualisons ce tour d’horizon chaque trimestre, et la prochaine révision est attendue à la publication du rapport GDC 2027 State of the Game Industry.