Im Standard-Sync-Test von SyncNet erreicht das Sprechgesichtsmodell VASA-1 einen Wert von 8,841 und liegt damit über den 7,640 der echten Videos, mit denen es verglichen wird (Microsoft Research Asia, VASA-1-Paper 2024). Diese eine Zahl erklärt das meiste an diesem Feld im Jahr 2026: Modelle schlagen inzwischen echtes Filmmaterial bei der Metrik, die sie beurteilen soll, weshalb Nutzerstudien und Laufzeitwerte wichtiger sind denn je. Ein Echtzeit-Gesichtsmodell für Telepräsenz gewinnt 84,59% der A/B-Vergleiche gegen das langsamere DiffPoseTalk (Meta und Seoul National University, SIGGRAPH Asia 2025), und die 3D-Trainingsdaten sind von typischerweise unter 1 Stunde auf 18,5 Stunden gewachsen (UniTalker-Paper, arXiv 2024). Gleichzeitig erkennen menschliche Betrachter Deepfakes mit 55,54%, kaum besser als ein Münzwurf (Diel et al., Computers in Human Behavior Reports 2024). Wir haben Daten von NVIDIA Research, ByteDance, der European Broadcasting Union, Unity und einem Dutzend Benchmark-Papers aus Hochschul- und Industrielaboren zusammengeführt. Wenn Sie von der Erkennungsseite des Problems kommen, behandeln unsere Statistiken zu Lippenlesen und visueller Spracherkennung die umgekehrte Aufgabe: Wörter von den Lippen ablesen, statt Lippen aus Wörtern zu erzeugen.
TL;DR
- VASA-1 erreicht auf VoxCeleb2 eine SyncNet-Konfidenz von 8,841 gegenüber 7,640 bei echtem Video (Microsoft Research Asia, VASA-1-Paper 2024).
- LatentSync senkt den FVD auf HDTF auf 162,74 von 304,35 bei Wav2Lip (ByteDance, LatentSync-Paper 2025).
- Der Lippen-Vertex-Fehler auf BIWI-Test-A sank von 6,5563 (VOCA) auf 4,3646 (TalkingStyle) x 10^-4 mm (GLDiTalker-Paper, arXiv 2025).
- UniTalker hat die 3D-Gesichtstrainingsdaten von typischerweise unter 1 Stunde auf 18,5 Stunden hochskaliert (UniTalker-Paper, arXiv 2024).
- 92,47% der A/B-Urteile bevorzugten CodeTalker gegenüber VOCA bei der Lippensynchronität auf BIWI (CodeTalker-Paper, arXiv 2023).
- Ein Echtzeit-Gesichtsmodell für Telepräsenz läuft in 10 ms GPU-Zeit gegenüber 1,3 s bei Audio2Photoreal (Meta und Seoul National University, SIGGRAPH Asia 2025).
- Audio2Face-3D v3.0 erreicht 3.269 FPS auf einer RTX 4090 mit TensorRT (NVIDIA, Audio2Face-3D-Paper 2025).
- 36% der Games-Fachleute nutzen generative KI-Werkzeuge, und 52% sagen, sie schade der Branche (GDC, 2026 State of the Game Industry).
- Nur etwa 12,4% der synchronisierten Sprechzeit im Bild behalten dasselbe Visem wie das Original (AWS AI Labs und MIT, Dubbing in Practice, TACL 2023).
- Die Lippensynchronität im Rundfunk muss durchgängig innerhalb von 40 ms Vorlauf und 60 ms Nachlauf bleiben (EBU-Empfehlung R37-2007).
- Die menschliche Deepfake-Erkennung liegt im Mittel bei 55,54% (95-%-KI 48,87 bis 62,10) über 86.155 Teilnehmende (Diel et al., Computers in Human Behavior Reports 2024).
- Open-Source-Deepfake-Videodetektoren verlieren 50% ihrer AUC bei realen Inhalten von 2024 (Benchmark Deepfake-Eval-2024, 2025).
1. Benchmarks zur Lippensync-Genauigkeit bei Talking-Head-Video
Zwei Zahlenfamilien dominieren 2D-Papers zur Lippensynchronität. Die SyncNet-Konfidenz (angegeben als LSE-C oder Sync_conf, höher ist besser) und der SyncNet-Abstand (LSE-D, niedriger ist besser) stammen von einem Netz, das darauf trainiert ist zu beurteilen, ob die Mundbewegung zum Audio passt. FID und FVD (Frechet Inception Distance und Frechet Video Distance, niedriger ist besser) messen, wie weit erzeugte Bilder und Clips von echten abweichen.
Die Schlagzeile ist ein Paradoxon. VASA-1 erzielt auf VoxCeleb2 eine SyncNet-Konfidenz von 8,841, während die echten Videos 7,640 erreichen (Microsoft Research Asia, VASA-1-Paper 2024). Ein Modell, das in diesem Test ‘synchroner als die Realität’ ist, ist nicht realistischer: Sein FVD25 beträgt 105,88 gegenüber 29,25 bei echtem Video. Sync ist laut Metrik fast gelöst; visueller Realismus nicht. LatentSync zeigt den anderen Hebel: Ohne SyncNet-Supervision sinkt die Sync-Konfidenz von 8,9 auf 4,6, was dem Befund der Autoren entspricht, dass latente Diffusionsmodelle visuelle Abkürzungen statt Audio-Lippen-Zusammenhänge lernen, sofern nicht ein Sync-Richter ins Training eingebaut ist (ByteDance, LatentSync-Paper 2025).
| Metrik | Wert | Quelle |
|---|---|---|
| SyncNet-Konfidenz auf dem VoxCeleb2-Testset: VASA-1 vs. echtes Video (höher ist besser) | 8,841 vs. 7,640 | Microsoft Research Asia, VASA-1-Paper 2024 |
| FVD25 auf dem OneMin-32-Set: VASA-1 vs. echtes Video vs. SadTalker (niedriger ist besser) | 105,88 vs. 29,25 vs. 214,51 | Microsoft Research Asia, VASA-1-Paper 2024 |
| SyncNet-Konfidenz (Sync_conf) auf HDTF: LatentSync vs. Wav2Lip vs. MuseTalk | 8,9 vs. 8,2 vs. 6,8 | ByteDance, LatentSync-Paper 2025 |
| FVD auf HDTF: LatentSync vs. Wav2Lip (niedriger ist besser) | 162,74 vs. 304,35 | ByteDance, LatentSync-Paper 2025 |
| FID auf HDTF: LatentSync vs. Wav2Lip (niedriger ist besser) | 7,22 vs. 12,5 | ByteDance, LatentSync-Paper 2025 |
| Sync_conf auf HDTF: LatentSync ohne SyncNet-Supervision vs. mit SyncNet im Pixelraum | 4,6 vs. 8,9 | ByteDance, LatentSync-Paper 2025 |
| Genauigkeit des SyncNet-Richters auf dem HDTF-Testset: StableSyncNet vs. bisher bester | 94% vs. 91% | ByteDance, LatentSync-Paper 2025 |
Einordnung: Wav2Lip, das Modell von 2020, das SyncNet-basiertes Training populär machte (Wav2Lip-Paper, ACM Multimedia 2020), taucht noch immer in nahezu jeder Tabelle von 2025 als Baseline auf. Seine Werte schwanken zwischen Papers: LatentSync meldet ein Sync_conf von 8,2 auf HDTF, während eine separate Auswertung einen LSE-C von 9,054 auf HDTF meldet (siehe Abschnitt 3). Benchmark-Zahlen sind nur innerhalb des Evaluationsaufbaus eines einzelnen Papers vergleichbar.
2. Sprachgesteuerte 3D-Gesichter: Lippen-Vertex-Fehler und Trainingsdaten
Bei 3D-Gesichtern (Meshes für Spiele, VR und Film) ist die Standardmetrik der Lippen-Vertex-Fehler (LVE): der größte Abstand pro Bild zwischen erzeugten und erfassten Lippen-Vertices, gemittelt über die Bilder. Niedriger ist besser. Auf dem Benchmark BIWI-Test-A sank der LVE von 6,5563 bei VOCA auf 4,3646 bei TalkingStyle (x 10^-4 mm), nach unserer Rechnung eine Verringerung um 33% (2,1917 geteilt durch 6,5563) über mehrere Modellgenerationen (GLDiTalker-Paper, arXiv überarbeitet 2025).
Die größere Geschichte ist der Datenmangel. Die beiden Benchmark-Datensätze, auf denen das Feld trainiert, sind winzig: VOCASET umfasst 480 Sequenzen von je etwa 4 Sekunden, und BIWI hat 14 Sprecher, die 40 Sätze lesen (CodeTalker-Paper, arXiv 2023). UniTalker griff diesen Engpass an, indem es acht Datensätze zusammenführte und die Trainingsdaten auf 18,5 Stunden hochskalierte, was den LVE auf BIWI um 9,2% und auf VOCASET um 13,7% senkte (UniTalker-Paper, arXiv 2024). Verbesserungen dieser Größe allein durch Daten legen nahe, dass die nächsten Sprünge aus Erfassungsbudgets kommen, nicht aus der Architektur.
| Metrik | Wert | Quelle |
|---|---|---|
| Lippen-Vertex-Fehler auf BIWI-Test-A: VOCA vs. FaceFormer (x 10^-4 mm, niedriger ist besser) | 6,5563 vs. 5,3077 | GLDiTalker-Paper, arXiv 2025 (Tabelle 1) |
| Lippen-Vertex-Fehler auf BIWI-Test-A: CodeTalker vs. FaceDiffuser (x 10^-4 mm) | 4,7914 vs. 4,7823 | GLDiTalker-Paper, arXiv 2025 (Tabelle 1) |
| Lippen-Vertex-Fehler auf BIWI-Test-A: TalkingStyle vs. GLDiTalker (x 10^-4 mm) | 4,3646 vs. 4,6440 | GLDiTalker-Paper, arXiv 2025 (Tabelle 1) |
| 3D-Gesichtstrainingsdaten: gängige Datensätze vs. UniTalker | typischerweise unter 1 Stunde vs. 18,5 Stunden | UniTalker-Paper, arXiv 2024 |
| Verringerung des Lippen-Vertex-Fehlers durch das einheitliche Training von UniTalker: BIWI vs. VOCASET | 9,2% vs. 13,7% | UniTalker-Paper, arXiv 2024 |
| Durchschnittliche Fehlerverringerung über den A2F-Bench-Benchmark | 6,3% | UniTalker-Paper, arXiv 2024 |
| Umfang von VOCASET: Sequenzen, Sprecher, Erfassungsrate, Mesh-Vertices | 480 Sequenzen, 12 Sprecher, 60 fps, 5.023 Vertices | CodeTalker-Paper, arXiv 2023 |
| Umfang von BIWI: Sprecher, Sätze, Erfassungsrate, Mesh-Vertices | 14 Sprecher, 40 Sätze, 25 fps, 23.370 Vertices | CodeTalker-Paper, arXiv 2023 |
Einordnung: GLDiTalker ist das einzige Modell in dieser Tabelle, das gezielt deutlich abwechslungsreiche Ausgaben erzeugen soll (Diversitätswert 8,2176, gegenüber 0 bei den meisten Konkurrenten), eine Designentscheidung, die dem exakten Nachbilden einer einzelnen erfassten Lippenspur entgegenwirkt. Aktuellste verfügbare Daten für die beiden Datensatzbeschreibungen: ein Paper von 2023.
3. Präferenzraten in Nutzerstudien
Weil der LVE jede Mundbewegung bestraft, die von der erfassten abweicht, selbst wenn die Alternative richtig aussieht, stützen sich Papers auf menschliche Bewerter. Das Muster über die Studien hinweg ist konsistent: Neue Modelle schlagen die ältesten Baselines deutlich, übertreffen aber die vorherige Generation oft nur knapp. CodeTalker gewann 92,47% der BIWI-Lippensync-Urteile gegen VOCA, aber nur 53,76% gegen FaceFormer, nahe an einem Münzwurf (CodeTalker-Paper, arXiv 2023).
Auch Echtzeitsysteme gewinnen diese Tests inzwischen. Ein kausales Telepräsenzmodell, das kein künftiges Audio nutzt, wurde in 84,59% der A/B-Vergleiche gegenüber DiffPoseTalk und in 69,17% gegenüber Audio2Photoreal bevorzugt (Meta und Seoul National University, SIGGRAPH Asia 2025). Und die Lücke zwischen Metrik und Wahrnehmung ist messbar: In einer Studie des Karlsruher Instituts für Technologie hatte Wav2Lip den besten HDTF-LSE-C aller Methoden, aber nur eine menschliche Sync-Bewertung von 2,91, gegenüber 3,92 beim Modell der Autoren (Karlsruhe Institute of Technology, AV-HuBERT-expert-Paper 2024).
| Metrik | Wert | Quelle |
|---|---|---|
| A/B-Urteile, die CodeTalker gegenüber VOCA bei der Lippensynchronität auf BIWI-Test-B bevorzugten | 92,47% | CodeTalker-Paper, arXiv 2023 (31 Teilnehmende) |
| A/B-Urteile, die CodeTalker gegenüber FaceFormer bei der Lippensynchronität auf BIWI-Test-B bevorzugten | 53,76% | CodeTalker-Paper, arXiv 2023 |
| A/B-Präferenz für das Echtzeit-Gesichtsmodell für Telepräsenz gegenüber DiffPoseTalk | 84,59% | Meta und Seoul National University, SIGGRAPH Asia 2025 |
| A/B-Präferenz für das Echtzeit-Gesichtsmodell für Telepräsenz gegenüber Audio2Photoreal | 69,17% | Meta und Seoul National University, SIGGRAPH Asia 2025 |
| Mittlere Meinungsbewertung (MOS) für Lippensynchronität auf VOCASET (1 bis 5): GLDiTalker vs. FaceFormer | 4,05 vs. 3,08 | GLDiTalker-Paper, arXiv 2025 (20 Teilnehmende) |
| Menschliche Sync-Bewertung auf HDTF: bestes Modell vs. Wav2Lip, das den höchsten LSE-C von 9,054 hatte | 3,92 vs. 2,91 | Karlsruhe Institute of Technology, AV-HuBERT-expert-Paper 2024 (10 Teilnehmende) |
Einordnung: Die Stichproben sind klein. Die obigen Studien nutzten 10, 20 und 31 Bewerter, was für das Feld typisch ist und ein Grund, einstellige Präferenzunterschiede mit Vorsicht zu behandeln. Das Studiendesign von CodeTalker lieferte 372 Urteilseinträge pro Datensatz aus 120 Beispielpaaren.
4. Laufzeitleistung und Latenz
Geschwindigkeit ist bei 3D-Rigs vom Engpass zum gelösten Problem geworden. Das Open-Source-Diffusionsnetz Audio2Face-3D v3.0 läuft mit 3.269 Bildern pro Sekunde auf einer einzigen GeForce RTX 4090 mit TensorRT (NVIDIA, Audio2Face-3D-Paper 2025). Der Trick ist Destillation: Das Modell wird mit 1.000 Diffusionsschritten trainiert, inferiert aber mit 2. Für Studios ist die praktische Zahl die Parallelität: Das ältere Regressionsnetz v2.3 treibt 128 gleichzeitige Animationsspuren an (eine pro sprechender Figur) mit 1,3 GB GPU-Speicher.
Fotorealistisches Video ist weiterhin deutlich aufwendiger. VASA-1 streamt 512x512-Video mit bis zu 40 FPS nach 170 ms Startverzögerung auf einer RTX 4090 (Microsoft Research Asia, VASA-1-Paper 2024), und MuseTalk liefert 30 FPS bei nur 256x256 auf einer V100-Rechenzentrums-GPU (MuseTalk-Paper, arXiv 2024). Das Latenzrennen spiegelt wider, was in der Sprachsynthese geschah, wie in unseren Statistiken zu TTS-Echtzeitfaktor und Inferenzkosten behandelt.
| Metrik | Wert | Quelle |
|---|---|---|
| Geschwindigkeit des Diffusionsnetzes Audio2Face-3D v3.0, 1 Spur, TensorRT, RTX 4090 | 3.269 Bilder pro Sekunde | NVIDIA, Audio2Face-3D-Paper 2025 |
| Geschwindigkeit von Audio2Face-3D v2.3 (Claire), TensorRT, RTX 4090: 1 Spur vs. 8 gleichzeitige Spuren | 453 vs. 413 Bilder pro Sekunde | NVIDIA, Audio2Face-3D-Paper 2025 |
| GPU-Speicher von Audio2Face-3D v2.3 mit TensorRT: 8 Spuren vs. 128 Spuren | 0,6 GB vs. 1,3 GB | NVIDIA, Audio2Face-3D-Paper 2025 |
| VASA-1 Online-Erzeugung in 512x512 auf einer RTX 4090: Bildrate und Startlatenz | bis zu 40 FPS, 170 ms | Microsoft Research Asia, VASA-1-Paper 2024 |
| GPU-Zeit pro Bild des Echtzeit-Gesichtsmodells für Telepräsenz auf einer A100 | 10 ms (100 FPS), ohne Audio-Vorausschau | Meta und Seoul National University, SIGGRAPH Asia 2025 |
| Offline-Baselines im selben Vergleich: Audio2Photoreal vs. DiffPoseTalk mit Stil | 1,3 s vs. 11,4 s | Meta und Seoul National University, SIGGRAPH Asia 2025 |
| Lippensync-Videoausgabe von MuseTalk auf einer V100-GPU | 30 FPS bei 256x256 | MuseTalk-Paper, arXiv 2024 |
Einordnung: Das Telepräsenzmodell ist nach unserer Rechnung 130-mal schneller als Audio2Photoreal (1.300 ms geteilt durch 10 ms), in Einklang mit der Aussage des Papers selbst, 100- bis 1.000-mal schneller als Offline-Baselines zu sein. Die FPS von Audio2Face-3D zählen Ausgabebilder des Netzes, nicht eine gerenderte Spielszene.
5. Verbreitung in Spielen und Stimmung unter Entwicklern
Audiogesteuerte Animation wird bereits ausgeliefert, aber in eine Branche, die sich scharf gegen generative KI gewendet hat. 52% der Games-Fachleute sagen inzwischen, dass generative KI der Branche schadet, gegenüber 30% ein Jahr zuvor und 18% im Jahr davor (GDC, 2026 State of the Game Industry). Die negativste Gruppe sind Visual und Technical Art mit 64%, genau die Menschen, deren Gesichtsanimationsarbeit diese Werkzeuge automatisieren.
Die Nutzungszahlen gehen auseinander, je nachdem, wer antwortet. Die obige Umfrage unter einzelnen Fachleuten ergibt, dass 36% generative KI nutzen, während eine Umfrage auf Studioebene meldet, dass 96% der Studios KI-Werkzeuge in ausgewählten Arbeitsabläufen einsetzen (Unity, 2025 Gaming Report). Auf der Angebotsseite wurden die Audio2Face-Modelle, das SDK und das Trainings-Framework am 24. September 2025 als Open Source veröffentlicht, wobei neun Unternehmen als bereits integrierend genannt wurden (NVIDIA Developer Blog 2025). Die Stimmhälfte dieser Pipeline verfolgen unsere Statistiken zur Verbreitung von KI-Stimmen in NPC-Dialogen von Spielen.
| Metrik | Wert | Quelle |
|---|---|---|
| Fachleute der Spielebranche, die generative KI-Werkzeuge im Beruf nutzen | 36% (von mehr als 2.300 Befragten) | GDC, 2026 State of the Game Industry |
| Nutzung generativer KI: Befragte bei Spielestudios vs. bei Publishern, Support- und Marketing-/PR-Firmen | 30% vs. 58% | GDC, 2026 State of the Game Industry |
| Befragte, die sagen, generative KI habe negative Auswirkungen auf die Branche: 2026 vs. Vorjahr vs. zwei Jahre zuvor | 52% vs. 30% vs. 18% | GDC, 2026 State of the Game Industry |
| Fachleute aus Visual und Technical Art mit ungünstiger Sicht auf generative KI | 64% | GDC, 2026 State of the Game Industry |
| Befragte, die sagen, generative KI habe positive Auswirkungen: 2026 vs. 2025 | 7% vs. 13% | GDC, 2026 State of the Game Industry |
| Studios, die KI-Werkzeuge in ausgewählten Arbeitsabläufen nutzen | 96% | Unity, 2025 Gaming Report |
| Befragte mit positiver Haltung zu KI-Werkzeugen in der Spieleentwicklung | 79% | Unity, 2025 Gaming Report |
| Als Audio2Face-Anwender beim Open-Source-Start genannte Unternehmen (eigene Angabe des Anbieters) | 9 Unternehmen, plus 2 ausgelieferte Titel genannt | NVIDIA Developer Blog, 24. September 2025 |
Einordnung: Die neun genannten Anwender sind Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs und UneeQ; die zwei Titel sind Alien: Rogue Incursion Evolved Edition (Survios) und Chernobylite 2: Exclusion Zone (The Farm 51). Keines der Studiozitate nannte eine Zahl für die eingesparte Zeit.
6. Synchronisations-Realität und Rundfunk-Sync-Toleranzen
Die KI-gestützte visuelle Synchronisation verspricht, übersetzte Sprache an den Mund des Schauspielers anzupassen. Die Baseline, gegen die sie antritt, ist lockerer, als die meisten annehmen. In 319,57 Stunden professionell synchronisierter TV- und Filminhalte vom Englischen ins Deutsche und ins Spanische hatte nur etwa 12,4% der Sprechzeit im Bild in der Synchronfassung dasselbe Visem wie im Original (AWS AI Labs und MIT, Dubbing in Practice, TACL 2023). Ein Visem ist die sichtbare Mundform für eine Gruppe von Lauten (zum Beispiel schließen p, b und m die Lippen). Menschliche Synchronsprecher treffen die Mundformen etwas häufiger, wenn der Sprecher im Bild ist, doch die Autoren folgern, dass stimmliche Natürlichkeit und Übersetzungsqualität für Profis wichtiger sind als strikte Lippensynchronität.
Das Timing ist die engere Beschränkung. Die Isochronie (Sprache der Synchronfassung beginnt und endet, wenn die Originalsprache beginnt und endet) erreichte eine mittlere Überlappung von 0,658. Rundfunkanstalten wiederum setzen harte Grenzen für den Versatz zwischen Ton und Bild: Der Ton darf dem Bild höchstens 40 ms vorauseilen und höchstens 60 ms nachlaufen, Werte, die dort angesetzt sind, wo die Abweichung für 50% der Beobachter wahrnehmbar wird (EBU-Empfehlung R37-2007). Jede Live-Avatar-Pipeline erbt dieses Budget, sodass die Startlatenz eines Generators (170 ms bei VASA-1, siehe Abschnitt 4) durch eine entsprechende Verzögerung des Audios aufgefangen werden muss, sonst besteht das Ergebnis keine Rundfunkprüfung.
| Metrik | Wert | Quelle |
|---|---|---|
| Analysiertes professionell synchronisiertes Korpus: Stunden, Titel, Episoden | 319,57 Stunden, 54 Titel, 674 Episoden | AWS AI Labs und MIT, Dubbing in Practice, TACL 2023 |
| Anteil der Sprechzeit im Bild mit demselben Visem in Original und Synchronfassung | etwa 12,4% | AWS AI Labs und MIT, Dubbing in Practice, TACL 2023 |
| Mittlere (Median-)Überlappung der Sprechzeit zwischen Originalzeile und synchronisierter Zeile | 0,658 (0,731) | AWS AI Labs und MIT, Dubbing in Practice, TACL 2023 |
| Überlappung der Sprechzeit bei Sprechern im Bild vs. außerhalb des Bildes | 0,684 vs. 0,662 | AWS AI Labs und MIT, Dubbing in Practice, TACL 2023 |
| Synchronisierte Zeilen mit mindestens 10% mehr Zeichen als die englische Vorlage: Deutsch vs. Spanisch | 53% vs. 30% | AWS AI Labs und MIT, Dubbing in Practice, TACL 2023 |
| Durchgängige Rundfunkgrenze für den Ton relativ zum Bild: Ton früh vs. Ton spät | höchstens 40 ms vs. höchstens 60 ms | EBU-Empfehlung R37-2007 |
| Erforderliche Sync-Genauigkeit in jeder Produktionsstufe: Ton früh vs. Ton spät | 5 ms vs. 15 ms | EBU-Empfehlung R37-2007 |
Einordnung: Aktuellste verfügbare Daten: die Studie zum Synchronisationskorpus, 2023, und EBU R37, 2007 (weiterhin die gültige EBU-Empfehlung). Die Studie zur Synchronisation fand außerdem, dass 4,3% der synchronisierten Zeilen null zeitliche Überlappung mit dem Original hatten und dass sich die Werte der Übersetzungsqualität zwischen Zeilen im Bild und außerhalb des Bildes nicht signifikant unterschieden (COMET-QE p = 0,349).
7. Wahrnehmung und der Blickwinkel der Deepfake-Erkennung
Dieselben Modelle, die Spielfiguren animieren, können die Sprache einer realen Person fälschen. Die Erkennung ist einseitig. Über 56 Papers und 86.155 Teilnehmende hinweg erkannten Menschen Deepfakes mit einer Genauigkeit von 55,54% (95-%-KI 48,87 bis 62,10), nicht signifikant über dem Zufall, und bei Video nur mit 57,31% (Diel et al., Computers in Human Behavior Reports 2024). Feedback-Training, KI-Unterstützung oder Karikaturisierung hoben die Genauigkeit auf 65,14%.
Auf Lippensynchronität spezialisierte Maschinen schneiden im Labor deutlich besser ab, doch die Generalisierung ist die Schwachstelle. Der Detektor LipFD, der nach Timing-Abweichungen zwischen Audio und Lippenbewegung sucht, meldet eine durchschnittliche Genauigkeit von mehr als 95,3% und bis zu 90,2% in realen Umgebungen wie WeChat-Videoanrufen (Lips Are Lying, LipFD-Paper, arXiv 2024). Bei Deepfakes, die 2024 tatsächlich im Umlauf waren, verloren Open-Source-Videodetektoren 50% ihrer AUC (Fläche unter der ROC-Kurve, bei der 1,0 perfekt und 0,5 Zufall bedeutet) im Vergleich zu älteren Benchmarks (Benchmark Deepfake-Eval-2024, 2025).
| Metrik | Wert | Quelle |
|---|---|---|
| Gepoolte menschliche Deepfake-Erkennungsgenauigkeit, alle Medientypen | 55,54% (95-%-KI 48,87 bis 62,10, k = 67) | Diel et al., Computers in Human Behavior Reports 2024 |
| Menschliche Erkennungsgenauigkeit speziell für Deepfake-Video | 57,31% (95-%-KI 47,80 bis 66,57, k = 26) | Diel et al., Computers in Human Behavior Reports 2024 |
| Menschliche Erkennungsgenauigkeit mit Feedback-Training, KI-Unterstützung oder Karikaturisierung | 65,14% (95-%-KI 55,21 bis 74,46, k = 15) | Diel et al., Computers in Human Behavior Reports 2024 |
| Lippensync-Deepfake-Detektor LipFD: durchschnittliche Genauigkeit vs. reale Szenarien | mehr als 95,3% vs. bis zu 90,2% | Lips-Are-Lying-Paper (LipFD), arXiv 2024 |
| AUC-Einbruch von Open-Source-Detektoren bei realen Deepfakes von 2024 vs. früheren Benchmarks: Video, Audio, Bild | 50%, 48%, 45% | Benchmark Deepfake-Eval-2024, 2025 |
| Datensatz Deepfake-Eval-2024: Videostunden, Websites, Sprachen | 45 Stunden, 88 Websites, 52 Sprachen | Benchmark Deepfake-Eval-2024, 2025 |
| Genauigkeit des eigenen Detektors der VASA-1-Autoren bei der Unterscheidung echter Videos von VASA-1-Ausgaben | 97,8% | Microsoft Research Asia, VASA-1-Paper 2024 |
Einordnung: Der Wert von 97,8% betrifft die Ausgabe eines einzelnen Modells mit einem darauf trainierten Detektor. Das Ergebnis von Deepfake-Eval-2024 zeigt, was geschieht, wenn Detektoren auf Generatoren treffen, für die sie nicht trainiert wurden.
Zusammenfassung: Audiogesteuerte Gesichtsanimation und Lippensynchronität in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| SyncNet-Konfidenz auf VoxCeleb2: VASA-1 vs. echtes Video | 8,841 vs. 7,640 | Microsoft Research Asia, VASA-1-Paper 2024 |
| FVD auf HDTF: LatentSync vs. Wav2Lip | 162,74 vs. 304,35 | ByteDance, LatentSync-Paper 2025 |
| Genauigkeit des SyncNet-Richters auf HDTF: StableSyncNet vs. bisher bester | 94% vs. 91% | ByteDance, LatentSync-Paper 2025 |
| Lippen-Vertex-Fehler auf BIWI-Test-A: VOCA vs. TalkingStyle (x 10^-4 mm) | 6,5563 vs. 4,3646 | GLDiTalker-Paper, arXiv 2025 |
| 3D-Gesichtstrainingsdaten: typische Datensätze vs. UniTalker | unter 1 Stunde vs. 18,5 Stunden | UniTalker-Paper, arXiv 2024 |
| A/B-Urteile, die CodeTalker gegenüber VOCA bei der Lippensynchronität auf BIWI bevorzugten | 92,47% | CodeTalker-Paper, arXiv 2023 |
| A/B-Präferenz für das Echtzeit-Gesichtsmodell für Telepräsenz gegenüber DiffPoseTalk | 84,59% | Meta und Seoul National University, SIGGRAPH Asia 2025 |
| Menschliche Sync-Bewertung auf HDTF: bestes Modell vs. Wav2Lip trotz des höchsten LSE-C von Wav2Lip | 3,92 vs. 2,91 | Karlsruhe Institute of Technology, 2024 |
| Geschwindigkeit von Audio2Face-3D v3.0 auf einer RTX 4090 mit TensorRT | 3.269 Bilder pro Sekunde | NVIDIA, Audio2Face-3D-Paper 2025 |
| GPU-Zeit pro Bild des Echtzeit-Gesichtsmodells für Telepräsenz | 10 ms | Meta und Seoul National University, SIGGRAPH Asia 2025 |
| Games-Fachleute, die generative KI-Werkzeuge nutzen | 36% | GDC, 2026 State of the Game Industry |
| Studios, die KI-Werkzeuge in ausgewählten Arbeitsabläufen nutzen | 96% | Unity, 2025 Gaming Report |
| Synchronisierte Sprechzeit im Bild mit demselben Visem wie das Original | etwa 12,4% | AWS AI Labs und MIT, TACL 2023 |
| Mittlere Überlappung der Sprechzeit zwischen Original- und synchronisierten Zeilen | 0,658 | AWS AI Labs und MIT, TACL 2023 |
| Durchgängige Rundfunkgrenze für Lippensynchronität: Ton früh vs. Ton spät | 40 ms vs. 60 ms | EBU-Empfehlung R37-2007 |
| Gepoolte menschliche Deepfake-Erkennungsgenauigkeit | 55,54% | Diel et al., Computers in Human Behavior Reports 2024 |
| AUC-Einbruch von Open-Source-Deepfake-Videodetektoren bei realen Inhalten von 2024 | 50% | Benchmark Deepfake-Eval-2024, 2025 |
Methodik und Quellen
- NVIDIA: Audio2Face-3D, Audio-driven Realistic Facial Animation for Digital Avatars (arXiv 2508.16401, 2025) für Inferenzgeschwindigkeit, Speicher und Diffusionsschritte, sowie die Ankündigung der Open-Source-Veröffentlichung von Audio2Face, 24. September 2025 für die genannten Anwender (eigene Angabe des Anbieters).
- Microsoft Research Asia, VASA-1-Paper (arXiv 2404.10667, überarbeitet 2024): Sync-Werte, FVD, Bildrate, Latenz, Detektorgenauigkeit.
- Meta Codec Avatars Lab und Seoul National University, Audio Driven Real-Time Facial Animation for Social Telepresence (SIGGRAPH Asia 2025): Latenz und A/B-Präferenz.
- ByteDance, Beijing Jiaotong University und Monash University, LatentSync (arXiv 2412.09262, überarbeitet 2025): Sync, FID und FVD auf HDTF und VoxCeleb2.
- GLDiTalker-Paper, Beihang University und andere (arXiv 2408.01826, überarbeitet 2025): BIWI-Tabelle zum Lippen-Vertex-Fehler und mittlere Meinungsbewertungen.
- CodeTalker-Paper (arXiv 2301.02379, 2023): A/B-Präferenzraten und Datensatzbeschreibungen.
- UniTalker-Paper (arXiv 2408.00762, 2024): Umfang der Trainingsdaten und Fehlerverringerungen.
- Karlsruhe Institute of Technology, Istanbul Technical University und Carnegie Mellon University, AV-HuBERT-expert-Paper (arXiv 2405.04327, 2024): LSE-C/LSE-D vs. Nutzerstudie.
- MuseTalk-Paper (arXiv 2410.10122, überarbeitet 2025): Echtzeit-Bildrate.
- Wav2Lip-Paper (ACM Multimedia 2020): Hintergrund zum Baseline-Modell, keine Zahlen direkt daraus zitiert.
- GDC, 2026 State of the Game Industry: Nutzung generativer KI und Stimmung.
- Unity, Startbeitrag zum 2025 Gaming Report (17. März 2025): KI-Nutzung und Stimmung in Studios.
- AWS AI Labs und MIT Media Lab, Dubbing in Practice (TACL Bd. 11, 2023): Statistiken zum Korpus professioneller Synchronisation.
- EBU-Empfehlung R37-2007: Zeitgrenzen zwischen Ton und Bild.
- Diel et al., Human performance in detecting deepfakes, Computers in Human Behavior Reports Bd. 16 (2024): Metaanalyse der menschlichen Erkennung.
- Lips-Are-Lying-Paper (LipFD) (arXiv 2401.15668, 2024): Genauigkeit bei der Erkennung von Lippensync-Deepfakes.
- Benchmark Deepfake-Eval-2024 (arXiv 2503.02857, 2025): Leistung von Detektoren bei realen Inhalten.
- Daten-Hinweis: (1) Konflikte zwischen Metrik und Wahrnehmung sind real: VASA-1 schlägt echtes Video bei der SyncNet-Konfidenz, und der HDTF-Wert von Wav2Lip unterscheidet sich zwischen Papers (Sync_conf 8,2 in der LatentSync-Auswertung vs. LSE-C 9,054 in der Karlsruher Auswertung), daher sollten Werte nur innerhalb eines einzelnen Papers verglichen werden. (2) Die KI-Nutzungszahlen von 36% und 96% in Abschnitt 5 messen unterschiedliche Grundgesamtheiten (einzelne Fachleute vs. Studios, und die Stichprobengröße der Studioumfrage wird auf ihrer Startseite nicht genannt), sie sollten daher nicht als Widerspruch gelesen werden. (3) Im von uns gelesenen Text des Audio2Face-3D-Papers fanden wir keine Nutzerstudienergebnisse, daher ist seine wahrgenommene Qualität hier nicht abgedeckt. (4) CodeTalker (2023), die Studie zum Synchronisationskorpus (2023) und EBU R37 (2007) sind die aktuellsten verfügbaren Daten für ihre Metriken; neuere SIGGRAPH- und CVPR-Papers könnten die LVE- und Präferenzwerte aktualisieren. (5) Die LVE-Einheiten unterscheiden sich zwischen Benchmarks und Papers, daher sind Werte nur innerhalb derselben Tabelle vergleichbar. (6) Nutzerstudien in diesem Feld stützen sich auf 10 bis 31 Bewerter, daher sind kleine Präferenzunterschiede nicht belastbar.
Zuletzt aktualisiert: 6. November 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn der Bericht GDC 2027 State of the Game Industry erscheint.