Standart SyncNet senkron testinde VASA-1 konuşan yüz modeli 8,841 puan alıyor; karşılaştırıldığı gerçek videoların aldığı 7,640’ın üzerinde (Microsoft Research Asia, VASA-1 makalesi 2024). Bu tek sayı, 2026’da bu alanın büyük kısmını açıklıyor: modeller artık kendilerini yargılamak için tasarlanmış metrikte gerçek görüntüleri geride bırakıyor, bu yüzden kullanıcı çalışmaları ve çalışma süresi rakamları her zamankinden daha önemli. Gerçek zamanlı bir telepresans yüz modeli, daha yavaş DiffPoseTalk’a karşı A/B karşılaştırmalarının %84,59’unu kazanıyor (Meta ve Seoul National University, SIGGRAPH Asia 2025) ve 3D eğitim verisi tipik olarak 1 saatin altından 18,5 saate çıktı (UniTalker makalesi, arXiv 2024). Bu arada insan izleyiciler deepfake’leri %55,54 oranında tespit ediyor, yani yazı turadan ancak biraz iyi (Diel ve ark., Computers in Human Behavior Reports 2024). NVIDIA Research, ByteDance, European Broadcasting Union, Unity ve üniversite ile sanayi laboratuvarlarından bir düzine kıyaslama makalesinin verilerini bir araya getirdik. Soruna tanıma tarafından geldiyseniz, dudak okuma ve görsel konuşma tanıma istatistiklerimiz ters görevi ele alıyor: sözcüklerden dudak üretmek yerine dudaklardan sözcük okumak.
TL;DR
- VASA-1, VoxCeleb2 üzerinde 8,841 SyncNet güven skoru alırken gerçek video 7,640 alıyor (Microsoft Research Asia, VASA-1 makalesi 2024).
- LatentSync, HDTF FVD değerini Wav2Lip’in 304,35’inden 162,74’e indiriyor (ByteDance, LatentSync makalesi 2025).
- BIWI-Test-A üzerinde dudak köşe hatası 6,5563’ten (VOCA) 4,3646’ya (TalkingStyle) düştü, birim x 10^-4 mm (GLDiTalker makalesi, arXiv 2025).
- UniTalker, 3D yüz eğitim verisini tipik olarak 1 saatin altından 18,5 saate çıkardı (UniTalker makalesi, arXiv 2024).
- A/B yargılarının %92,47’si BIWI dudak senkronu için CodeTalker’ı VOCA’ya tercih etti (CodeTalker makalesi, arXiv 2023).
- Gerçek zamanlı bir telepresans yüz modeli 10 ms GPU süresinde çalışırken Audio2Photoreal için bu süre 1,3 sn (Meta ve Seoul National University, SIGGRAPH Asia 2025).
- Audio2Face-3D v3.0, tek bir RTX 4090 üzerinde TensorRT ile saniyede 3.269 kareye ulaşıyor (NVIDIA, Audio2Face-3D makalesi 2025).
- Oyun profesyonellerinin %36’sı üretken yapay zeka araçları kullanıyor ve %52’si bunun sektöre zarar verdiğini söylüyor (GDC, 2026 State of the Game Industry).
- Dublajlı ekran konuşma süresinin yalnızca yaklaşık %12,4’ünde orijinalle aynı viseme korunuyor (AWS AI Labs ve MIT, Dubbing in Practice, TACL 2023).
- Yayında dudak senkronu uçtan uca en fazla 40 ms erken ve 60 ms geç olmalı (EBU Recommendation R37-2007).
- İnsanın deepfake tespit doğruluğu 86.155 katılımcıda ortalama %55,54 (%95 GA 48,87 ila 62,10) (Diel ve ark., Computers in Human Behavior Reports 2024).
- Açık kaynaklı deepfake video dedektörleri, 2024 yılına ait gerçek ortam içeriğinde AUC değerlerinin %50’sini kaybediyor (Deepfake-Eval-2024 kıyaslaması, 2025).
1. Talking-Head Videosu için Dudak Senkronu Doğruluk Kıyaslamaları
2D dudak senkronu makalelerinde iki sayı ailesi öne çıkıyor. SyncNet güven skoru (LSE-C veya Sync_conf olarak bildirilir, yüksek olan daha iyi) ve SyncNet mesafesi (LSE-D, düşük olan daha iyi), ağız hareketinin sese uyup uymadığını yargılamak üzere eğitilmiş bir ağdan gelir. FID ve FVD (Frechet Inception Distance ve Frechet Video Distance, düşük olan daha iyi) ise üretilen karelerin ve klip’lerin gerçeklerden ne kadar uzaklaştığını ölçer.
Manşet bir paradoks. VASA-1, VoxCeleb2 üzerinde 8,841 SyncNet güven skoru alırken gerçek videolar 7,640 alıyor (Microsoft Research Asia, VASA-1 makalesi 2024). Bu testte ‘gerçeklikten daha senkron’ olan bir model daha gerçekçi değildir: FVD25 değeri gerçek videoda 29,25 iken onda 105,88. Senkron, metrik açısından neredeyse çözülmüş durumda; görsel gerçekçilik değil. LatentSync diğer kolu gösteriyor: SyncNet denetimini kaldırmak senkron güvenini 8,9’dan 4,6’ya düşürüyor; bu, gizli difüzyon modellerinin eğitime bir senkron yargıcı yerleştirilmedikçe ses-dudak bağlantıları yerine görsel kestirmeleri öğrendiği yönündeki yazarların bulgusuyla örtüşüyor (ByteDance, LatentSync makalesi 2025).
| Metrik | Değer | Kaynak |
|---|---|---|
| VoxCeleb2 test setinde SyncNet güven skoru: VASA-1 ve gerçek video (yüksek olan daha iyi) | 8,841 ve 7,640 | Microsoft Research Asia, VASA-1 makalesi 2024 |
| OneMin-32 setinde FVD25: VASA-1, gerçek video ve SadTalker (düşük olan daha iyi) | 105,88, 29,25 ve 214,51 | Microsoft Research Asia, VASA-1 makalesi 2024 |
| HDTF üzerinde SyncNet güven skoru (Sync_conf): LatentSync, Wav2Lip ve MuseTalk | 8,9, 8,2 ve 6,8 | ByteDance, LatentSync makalesi 2025 |
| HDTF üzerinde FVD: LatentSync ve Wav2Lip (düşük olan daha iyi) | 162,74 ve 304,35 | ByteDance, LatentSync makalesi 2025 |
| HDTF üzerinde FID: LatentSync ve Wav2Lip (düşük olan daha iyi) | 7,22 ve 12,5 | ByteDance, LatentSync makalesi 2025 |
| HDTF üzerinde Sync_conf: SyncNet denetimi olmayan LatentSync ve piksel uzayında SyncNet kullanan | 4,6 ve 8,9 | ByteDance, LatentSync makalesi 2025 |
| HDTF test setinde SyncNet yargıç doğruluğu: StableSyncNet ve önceki en iyi | %94 ve %91 | ByteDance, LatentSync makalesi 2025 |
Bağlam notu: SyncNet tabanlı eğitimi yaygınlaştıran 2020 tarihli model Wav2Lip (Wav2Lip makalesi, ACM Multimedia 2020), 2025’teki hemen her tabloda hâlâ temel model olarak yer alıyor. Skorları makaleler arasında değişiyor: LatentSync HDTF üzerinde 8,2’lik bir Sync_conf bildirirken, ayrı bir değerlendirme HDTF üzerinde 9,054’lük bir LSE-C bildiriyor (bkz. bölüm 3). Kıyaslama sayıları yalnızca tek bir makalenin değerlendirme düzeneği içinde karşılaştırılabilir.
2. Konuşma Güdümlü 3D Yüzler: Dudak Köşe Hatası ve Eğitim Verisi
3D yüzler (oyunlarda, VR’da ve filmde kullanılan ağlar) için standart metrik dudak köşe hatasıdır (LVE): üretilen ve yakalanan dudak köşe noktaları arasındaki kare başına en büyük mesafenin karelere göre ortalaması. Düşük olan daha iyidir. BIWI-Test-A kıyaslamasında LVE, VOCA için 6,5563’ten TalkingStyle için 4,3646’ya düştü (x 10^-4 mm); birkaç model neslini kapsayan bu, hesabımıza göre %33’lük bir azalma (2,1917 bölü 6,5563) (GLDiTalker makalesi, arXiv 2025 revizyonu).
Daha büyük hikaye veri kıtlığı. Alanın eğitim için kullandığı iki kıyaslama veri seti çok küçük: VOCASET her biri yaklaşık 4 saniyelik 480 dizi içeriyor, BIWI ise 40 cümle okuyan 14 konuşmacıya sahip (CodeTalker makalesi, arXiv 2023). UniTalker, sekiz veri setini birleştirip eğitim verisini 18,5 saate çıkararak bu darboğaza saldırdı ve LVE’yi BIWI’de %9,2, VOCASET’te %13,7 düşürdü (UniTalker makalesi, arXiv 2024). Yalnızca veriden gelen bu büyüklükte kazançlar, bir sonraki sıçramaların mimariden değil yakalama bütçelerinden geleceğini düşündürüyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| BIWI-Test-A üzerinde dudak köşe hatası: VOCA ve FaceFormer (x 10^-4 mm, düşük olan daha iyi) | 6,5563 ve 5,3077 | GLDiTalker makalesi, arXiv 2025 (Tablo 1) |
| BIWI-Test-A üzerinde dudak köşe hatası: CodeTalker ve FaceDiffuser (x 10^-4 mm) | 4,7914 ve 4,7823 | GLDiTalker makalesi, arXiv 2025 (Tablo 1) |
| BIWI-Test-A üzerinde dudak köşe hatası: TalkingStyle ve GLDiTalker (x 10^-4 mm) | 4,3646 ve 4,6440 | GLDiTalker makalesi, arXiv 2025 (Tablo 1) |
| 3D yüz eğitim verisi: yaygın kullanılan veri setleri ve UniTalker | tipik olarak 1 saatin altı ve 18,5 saat | UniTalker makalesi, arXiv 2024 |
| UniTalker’ın birleşik eğitiminden dudak köşe hatası azalması: BIWI ve VOCASET | %9,2 ve %13,7 | UniTalker makalesi, arXiv 2024 |
| A2F-Bench kıyaslaması genelinde ortalama hata azalması | %6,3 | UniTalker makalesi, arXiv 2024 |
| VOCASET boyutu: dizi, konuşmacı, yakalama hızı, ağ köşe noktaları | 480 dizi, 12 konuşmacı, 60 fps, 5.023 köşe noktası | CodeTalker makalesi, arXiv 2023 |
| BIWI boyutu: konuşmacı, cümle, yakalama hızı, ağ köşe noktaları | 14 konuşmacı, 40 cümle, 25 fps, 23.370 köşe noktası | CodeTalker makalesi, arXiv 2023 |
Bağlam notu: GLDiTalker, o tablodaki açıkça çeşitlendirilmiş çıktılar üretmek üzere tasarlanmış tek model (çeşitlilik skoru 8,2176, rakiplerin çoğunda 0); bu tasarım tercihi, yakalanmış tek bir dudak izini birebir eşleştirmeye karşı çalışıyor. İki veri seti tanımı için mevcut en güncel veri: 2023 tarihli bir makale.
3. Kullanıcı Çalışması Tercih Oranları
LVE, yakalanandan farklı olan her ağız hareketini, alternatif doğru görünse bile cezalandırdığı için makaleler insan değerlendiricilere yaslanıyor. Çalışmalar genelinde örüntü tutarlı: yeni modeller en eski temel modelleri ezip geçiyor, ancak bir önceki nesli çoğu zaman ince farklarla geride bırakıyor. CodeTalker, BIWI dudak senkronu yargılarının %92,47’sini VOCA karşısında kazandı, ancak FaceFormer karşısında yalnızca %53,76’sını, yani yazı turaya yakın bir oranı (CodeTalker makalesi, arXiv 2023).
Gerçek zamanlı sistemler de bu testleri artık kazanıyor. Gelecekteki sesi kullanmayan nedensel bir telepresans modeli, DiffPoseTalk karşısında A/B karşılaştırmalarının %84,59’unda, Audio2Photoreal karşısında ise %69,17’sinde tercih edildi (Meta ve Seoul National University, SIGGRAPH Asia 2025). Metrik ile algı arasındaki fark ölçülebilir: Karlsruhe Institute of Technology’nin bir çalışmasında Wav2Lip, tüm yöntemler arasında en iyi HDTF LSE-C değerine sahipti, ancak insan senkron puanı yalnızca 2,91’di; yazarların modeli ise 3,92 aldı (Karlsruhe Institute of Technology, AV-HuBERT uzman makalesi 2024).
| Metrik | Değer | Kaynak |
|---|---|---|
| BIWI-Test-B üzerinde dudak senkronu için CodeTalker’ı VOCA’ya tercih eden A/B yargıları | %92,47 | CodeTalker makalesi, arXiv 2023 (31 katılımcı) |
| BIWI-Test-B üzerinde dudak senkronu için CodeTalker’ı FaceFormer’a tercih eden A/B yargıları | %53,76 | CodeTalker makalesi, arXiv 2023 |
| Gerçek zamanlı telepresans yüz modelinin DiffPoseTalk’a göre A/B tercihi | %84,59 | Meta ve Seoul National University, SIGGRAPH Asia 2025 |
| Gerçek zamanlı telepresans yüz modelinin Audio2Photoreal’e göre A/B tercihi | %69,17 | Meta ve Seoul National University, SIGGRAPH Asia 2025 |
| VOCASET üzerinde dudak senkronu için ortalama görüş puanı (1 ila 5): GLDiTalker ve FaceFormer | 4,05 ve 3,08 | GLDiTalker makalesi, arXiv 2025 (20 katılımcı) |
| HDTF üzerinde insan senkron puanı: en iyi model ve Wav2Lip (Wav2Lip’in en yüksek LSE-C değeri 9,054 iken) | 3,92 ve 2,91 | Karlsruhe Institute of Technology, AV-HuBERT uzman makalesi 2024 (10 katılımcı) |
Bağlam notu: örneklem büyüklükleri küçük. Yukarıdaki çalışmalar 10, 20 ve 31 değerlendirici kullandı; bu alan için tipik bir durum ve tek haneli tercih farklarına temkinli yaklaşmak için bir neden. CodeTalker’ın çalışma tasarımı, 120 örnek çiftinden veri seti başına 372 yargı girdisi üretti.
4. Çalışma Süresi Performansı ve Gecikme
Hız, 3D iskeletler için darboğaz olmaktan çıkıp çözülmüş bir sorun hâline geldi. Açık kaynaklı Audio2Face-3D v3.0 difüzyon ağı, tek bir GeForce RTX 4090 üzerinde TensorRT ile saniyede 3.269 kare hızında çalışıyor (NVIDIA, Audio2Face-3D makalesi 2025). Püf noktası damıtma: model 1.000 difüzyon adımıyla eğitiliyor ama çıkarımı 2 adımla yapıyor. Stüdyolar için pratik rakam eşzamanlılık: daha eski v2.3 regresyon ağı, 1,3 GB GPU belleğinde 128 eşzamanlı animasyon izini (konuşan her karakter için bir tane) yönetiyor.
Fotogerçekçi video hâlâ çok daha ağır. VASA-1, RTX 4090 üzerinde 170 ms başlangıç gecikmesinin ardından saniyede 40 kareye kadar 512x512 video akıtıyor (Microsoft Research Asia, VASA-1 makalesi 2024), MuseTalk ise bir V100 veri merkezi GPU’sunda yalnızca 256x256 çözünürlükte saniyede 30 kare veriyor (MuseTalk makalesi, arXiv 2024). Gecikme yarışı, TTS gerçek zaman faktörü ve çıkarım maliyeti istatistiklerimizde ele aldığımız konuşma sentezinde yaşananları yansıtıyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| Audio2Face-3D v3.0 difüzyon ağı hızı, 1 iz, TensorRT, RTX 4090 | saniyede 3.269 kare | NVIDIA, Audio2Face-3D makalesi 2025 |
| Audio2Face-3D v2.3 (Claire) hızı, TensorRT, RTX 4090: 1 iz ve 8 eşzamanlı iz | saniyede 453 ve 413 kare | NVIDIA, Audio2Face-3D makalesi 2025 |
| TensorRT ile Audio2Face-3D v2.3 GPU belleği: 8 iz ve 128 iz | 0,6 GB ve 1,3 GB | NVIDIA, Audio2Face-3D makalesi 2025 |
| Tek bir RTX 4090 üzerinde 512x512 VASA-1 çevrimiçi üretimi: kare hızı ve başlangıç gecikmesi | 40 FPS’e kadar, 170 ms | Microsoft Research Asia, VASA-1 makalesi 2024 |
| Gerçek zamanlı telepresans yüz modelinin bir A100 üzerinde kare başına GPU süresi | 10 ms (100 FPS), sıfır ses ileri bakışıyla | Meta ve Seoul National University, SIGGRAPH Asia 2025 |
| Aynı karşılaştırmadaki çevrimdışı temel modeller: Audio2Photoreal ve stilli DiffPoseTalk | 1,3 sn ve 11,4 sn | Meta ve Seoul National University, SIGGRAPH Asia 2025 |
| Bir V100 GPU üzerinde MuseTalk dudak senkronu video çıktısı | 256x256’da 30 FPS | MuseTalk makalesi, arXiv 2024 |
Bağlam notu: telepresans modeli, hesabımıza göre Audio2Photoreal’den 130 kat daha hızlı (1.300 ms bölü 10 ms); bu, makalenin çevrimdışı temel modellerden 100 ila 1.000 kat daha hızlı olduğu yönündeki kendi iddiasıyla tutarlı. Audio2Face-3D FPS değeri ağın çıktı karelerini sayar, işlenmiş bir oyun sahnesini değil.
5. Oyunlarda Benimsenme ve Geliştiricilerin Görüşü
Ses güdümlü animasyon ürünlere giriyor, ama üretken yapay zekaya karşı keskin biçimde dönmüş bir sektöre. Oyun profesyonellerinin %52’si artık üretken yapay zekanın sektöre zarar verdiğini söylüyor; bu oran bir yıl önce %30, ondan önceki yıl %18’di (GDC, 2026 State of the Game Industry). En olumsuz grup %64 ile görsel ve teknik sanat; yüz animasyonu işi bu araçlarla otomatikleşen aynı kişiler.
Kullanım rakamları, kime sorulduğuna göre ayrışıyor. Yukarıdaki bireysel profesyonel anketi %36’sının üretken yapay zeka kullandığını bulurken, stüdyo düzeyindeki bir anket stüdyoların %96’sının seçili iş akışlarında yapay zeka araçları kullandığını bildiriyor (Unity, 2025 Gaming Report). Arz tarafında, Audio2Face modelleri, SDK’sı ve eğitim çerçevesi 24 Eylül 2025’te açık kaynak oldu; bunları halihazırda entegre eden dokuz şirket adıyla duyuruldu (NVIDIA Developer Blog 2025). Bu hattın ses yarısını oyun NPC diyaloglarında yapay zeka sesi benimsenme istatistiklerimizde izliyoruz.
| Metrik | Değer | Kaynak |
|---|---|---|
| İşinde üretken yapay zeka araçları kullanan oyun sektörü profesyonelleri | %36 (2.300’den fazla katılımcının) | GDC, 2026 State of the Game Industry |
| Üretken yapay zeka kullanımı: oyun stüdyolarındaki katılımcılar ve yayıncılar, destek ile pazarlama/halkla ilişkiler firmalarındaki katılımcılar | %30 ve %58 | GDC, 2026 State of the Game Industry |
| Üretken yapay zekanın sektör üzerinde olumsuz etkisi olduğunu söyleyen katılımcılar: 2026, önceki yıl ve iki yıl öncesi | %52, %30 ve %18 | GDC, 2026 State of the Game Industry |
| Üretken yapay zekaya olumsuz bakan görsel ve teknik sanat profesyonelleri | %64 | GDC, 2026 State of the Game Industry |
| Üretken yapay zekanın olumlu etkisi olduğunu söyleyen katılımcılar: 2026 ve 2025 | %7 ve %13 | GDC, 2026 State of the Game Industry |
| Seçili iş akışlarında yapay zeka araçları kullanan stüdyolar | %96 | Unity, 2025 Gaming Report |
| Oyun geliştirmede yapay zeka araçları hakkında olumlu hisseden katılımcılar | %79 | Unity, 2025 Gaming Report |
| Açık kaynak lansmanında Audio2Face benimseyicisi olarak adı geçen şirketler (üreticinin kendi iddiası) | 9 şirket, ayrıca kredilendirilen 2 yayımlanmış oyun | NVIDIA Developer Blog, 24 Eylül 2025 |
Bağlam notu: adı geçen dokuz benimseyici Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs ve UneeQ; iki oyun ise Alien: Rogue Incursion Evolved Edition (Survios) ve Chernobylite 2: Exclusion Zone (The Farm 51). Stüdyo alıntılarının hiçbiri kazanılan süreye bir sayı bağlamadı.
6. Dublaj Gerçeği ve Yayın Senkron Toleransları
Yapay zekayla görsel dublaj, çevrilmiş konuşmayı oyuncunun ağzına uydurmayı vaat ediyor. Rekabet ettiği referans düzey, çoğu insanın varsaydığından daha gevşek. Profesyonelce dublajlanmış İngilizceden Almancaya ve İngilizceden İspanyolcaya 319,57 saatlik TV ve filmde, ekrandaki konuşma süresinin yalnızca yaklaşık %12,4’ünde dublajdaki viseme orijinaldekiyle aynıydı (AWS AI Labs ve MIT, Dubbing in Practice, TACL 2023). Viseme, bir ses grubunun görünür ağız şeklidir (örneğin p, b ve m’nin hepsi dudakları kapatır). İnsan dublajcılar, konuşan kişi ekrandayken ağız şekillerini biraz daha sık eşleştiriyor; ancak yazarlar, profesyoneller için ses doğallığının ve çeviri kalitesinin katı dudak senkronundan daha önemli olduğu sonucuna varıyor.
Zamanlama daha sıkı kısıt. İzokroni (dublajdaki konuşmanın orijinal konuşmayla aynı anda başlayıp bitmesi) ortalama 0,658 örtüşme verdi. Yayıncılar ise ses-video kaymasına sert sınırlar koyuyor: ses görüntüden en fazla 40 ms önce gelebilir ve en fazla 60 ms geç kalabilir; bu değerler, uyumsuzluğun gözlemcilerin %50’si için fark edilir hâle geldiği noktaya göre belirlenmiştir (EBU Recommendation R37-2007). Her canlı avatar hattı bu bütçeyi devralır; bu yüzden bir üreticinin başlangıç gecikmesinin (VASA-1 için 170 ms, bkz. bölüm 4) sesi geciktirerek karşılanması gerekir, aksi hâlde sonuç yayın denetiminden geçemez.
| Metrik | Değer | Kaynak |
|---|---|---|
| Analiz edilen profesyonel dublaj külliyatı: saat, yapım, bölüm | 319,57 saat, 54 yapım, 674 bölüm | AWS AI Labs ve MIT, Dubbing in Practice, TACL 2023 |
| Kaynakta ve dublajda aynı viseme’e sahip ekrandaki konuşma süresi payı | yaklaşık %12,4 | AWS AI Labs ve MIT, Dubbing in Practice, TACL 2023 |
| Orijinal replik ile dublajlı replik arasındaki konuşma süresi örtüşmesi, ortalama (medyan) | 0,658 (0,731) | AWS AI Labs ve MIT, Dubbing in Practice, TACL 2023 |
| Konuşma süresi örtüşmesi: ekrandaki konuşmacılar ve ekran dışı konuşmacılar | 0,684 ve 0,662 | AWS AI Labs ve MIT, Dubbing in Practice, TACL 2023 |
| İngilizce kaynaktan karakter olarak en az %10 daha uzun dublajlı replikler: Almanca ve İspanyolca | %53 ve %30 | AWS AI Labs ve MIT, Dubbing in Practice, TACL 2023 |
| Görüntüye göre ses için uçtan uca yayın sınırı: ses erken ve ses geç | en fazla 40 ms ve en fazla 60 ms | EBU Recommendation R37-2007 |
| Her yapım aşamasında gereken senkron doğruluğu: ses erken ve ses geç | 5 ms ve 15 ms | EBU Recommendation R37-2007 |
Bağlam notu: mevcut en güncel veri: dublaj külliyatı çalışması, 2023 ve EBU R37, 2007 (hâlâ geçerli EBU önerisi). Dublaj çalışması ayrıca dublajlı replikların %4,3’ünün orijinalle sıfır zaman örtüşmesine sahip olduğunu ve çeviri kalite puanlarının ekrandaki ve ekran dışı replikler arasında anlamlı biçimde farklılaşmadığını da buldu (COMET-QE p = 0,349).
7. Algı ve Deepfake Tespiti Boyutu
Oyun karakterlerini canlandıran aynı modeller, gerçek bir kişinin konuşmasını taklit edebilir. Tespit dengesiz. 56 makale ve 86.155 katılımcı genelinde insanlar deepfake’leri %55,54 doğrulukla tespit etti (%95 GA 48,87 ila 62,10); bu, şansın anlamlı biçimde üzerinde değil, video için ise yalnızca %57,31 (Diel ve ark., Computers in Human Behavior Reports 2024). Geri bildirim eğitimi, yapay zeka desteği veya karikatürleştirme doğruluğu %65,14’e çıkardı.
Dudak senkronuna özelleşmiş makineler laboratuvarda çok daha iyi, ancak genelleme zayıf nokta. Ses ile dudak hareketi arasındaki zamanlama uyumsuzluklarını arayan LipFD dedektörü, %95,3’ten fazla ortalama doğruluk ve WeChat görüntülü aramaları gibi gerçek dünya ortamlarında %90,2’ye kadar doğruluk bildiriyor (Lips Are Lying, LipFD makalesi, arXiv 2024). 2024’te fiilen dolaşımda olan deepfake’lerde açık kaynaklı video dedektörleri, daha eski kıyaslamalara göre AUC değerlerinin %50’sini kaybetti (AUC, ROC eğrisi altında kalan alandır; 1,0 kusursuz, 0,5 şans düzeyidir) (Deepfake-Eval-2024 kıyaslaması, 2025).
| Metrik | Değer | Kaynak |
|---|---|---|
| Tüm ortam türlerinde birleştirilmiş insan deepfake tespit doğruluğu | %55,54 (%95 GA 48,87 ila 62,10, k = 67) | Diel ve ark., Computers in Human Behavior Reports 2024 |
| Özellikle deepfake video için insan tespit doğruluğu | %57,31 (%95 GA 47,80 ila 66,57, k = 26) | Diel ve ark., Computers in Human Behavior Reports 2024 |
| Geri bildirim eğitimi, yapay zeka desteği veya karikatürleştirme ile insan tespit doğruluğu | %65,14 (%95 GA 55,21 ila 74,46, k = 15) | Diel ve ark., Computers in Human Behavior Reports 2024 |
| LipFD dudak senkronu deepfake dedektörü: ortalama doğruluk ve gerçek dünya senaryoları | %95,3’ten fazla ve %90,2’ye kadar | Lips Are Lying (LipFD) makalesi, arXiv 2024 |
| Açık kaynaklı dedektörlerin 2024 gerçek ortam deepfake’lerinde önceki kıyaslamalara göre AUC düşüşü: video, ses, görüntü | %50, %48, %45 | Deepfake-Eval-2024 kıyaslaması, 2025 |
| Deepfake-Eval-2024 veri seti: video saati, web sitesi, dil | 45 saat, 88 web sitesi, 52 dil | Deepfake-Eval-2024 kıyaslaması, 2025 |
| VASA-1 yazarlarının kendi dedektörünün gerçek videoları VASA-1 çıktısından ayırma doğruluğu | %97,8 | Microsoft Research Asia, VASA-1 makalesi 2024 |
Bağlam notu: %97,8’lik rakam, tek bir modelin çıktısını, o model için eğitilmiş bir dedektörle kapsıyor. Deepfake-Eval-2024 sonucu, dedektörler eğitilmedikleri üreticilerle karşılaştığında ne olduğunu gösteriyor.
Özet: Rakamlarla Ses Güdümlü Yüz Animasyonu ve Dudak Senkronu
| Metrik | Değer | Kaynak |
|---|---|---|
| VoxCeleb2 üzerinde SyncNet güven skoru: VASA-1 ve gerçek video | 8,841 ve 7,640 | Microsoft Research Asia, VASA-1 makalesi 2024 |
| HDTF üzerinde FVD: LatentSync ve Wav2Lip | 162,74 ve 304,35 | ByteDance, LatentSync makalesi 2025 |
| HDTF üzerinde SyncNet yargıç doğruluğu: StableSyncNet ve önceki en iyi | %94 ve %91 | ByteDance, LatentSync makalesi 2025 |
| BIWI-Test-A üzerinde dudak köşe hatası: VOCA ve TalkingStyle (x 10^-4 mm) | 6,5563 ve 4,3646 | GLDiTalker makalesi, arXiv 2025 |
| 3D yüz eğitim verisi: tipik veri setleri ve UniTalker | 1 saatin altı ve 18,5 saat | UniTalker makalesi, arXiv 2024 |
| BIWI üzerinde dudak senkronu için CodeTalker’ı VOCA’ya tercih eden A/B yargıları | %92,47 | CodeTalker makalesi, arXiv 2023 |
| Gerçek zamanlı telepresans yüz modelinin DiffPoseTalk’a göre A/B tercihi | %84,59 | Meta ve Seoul National University, SIGGRAPH Asia 2025 |
| HDTF üzerinde insan senkron puanı: en iyi model ve Wav2Lip (Wav2Lip’in en yüksek LSE-C değerine rağmen) | 3,92 ve 2,91 | Karlsruhe Institute of Technology, 2024 |
| Tek bir RTX 4090 üzerinde TensorRT ile Audio2Face-3D v3.0 hızı | saniyede 3.269 kare | NVIDIA, Audio2Face-3D makalesi 2025 |
| Gerçek zamanlı telepresans yüz modelinin kare başına GPU süresi | 10 ms | Meta ve Seoul National University, SIGGRAPH Asia 2025 |
| Üretken yapay zeka araçları kullanan oyun profesyonelleri | %36 | GDC, 2026 State of the Game Industry |
| Seçili iş akışlarında yapay zeka araçları kullanan stüdyolar | %96 | Unity, 2025 Gaming Report |
| Dublajlı ekran konuşma süresinde orijinalle aynı viseme payı | yaklaşık %12,4 | AWS AI Labs ve MIT, TACL 2023 |
| Orijinal ve dublajlı replikler arasındaki ortalama konuşma süresi örtüşmesi | 0,658 | AWS AI Labs ve MIT, TACL 2023 |
| Yayında uçtan uca dudak senkronu sınırı: ses erken ve ses geç | 40 ms ve 60 ms | EBU Recommendation R37-2007 |
| Birleştirilmiş insan deepfake tespit doğruluğu | %55,54 | Diel ve ark., Computers in Human Behavior Reports 2024 |
| Açık kaynaklı video deepfake dedektörlerinin 2024 gerçek ortam içeriğinde AUC düşüşü | %50 | Deepfake-Eval-2024 kıyaslaması, 2025 |
Metodoloji ve Kaynaklar
- NVIDIA: çıkarım hızı, bellek ve difüzyon adımı rakamları için Audio2Face-3D, Audio-driven Realistic Facial Animation for Digital Avatars (arXiv 2508.16401, 2025) ve adı geçen benimseyiciler için Audio2Face açık kaynak duyurusu, 24 Eylül 2025 (üreticinin kendi iddiası).
- Microsoft Research Asia, VASA-1 makalesi (arXiv 2404.10667, 2024 revizyonu): senkron skorları, FVD, kare hızı, gecikme, dedektör doğruluğu.
- Meta Codec Avatars Lab ve Seoul National University, Audio Driven Real-Time Facial Animation for Social Telepresence (SIGGRAPH Asia 2025): gecikme ve A/B tercihi.
- ByteDance, Beijing Jiaotong University ve Monash University, LatentSync (arXiv 2412.09262, 2025 revizyonu): HDTF ve VoxCeleb2 senkronu, FID ve FVD.
- GLDiTalker makalesi, Beihang University ve diğerleri (arXiv 2408.01826, 2025 revizyonu): BIWI dudak köşe hatası tablosu ve ortalama görüş puanları.
- CodeTalker makalesi (arXiv 2301.02379, 2023): A/B tercih oranları ve veri seti tanımları.
- UniTalker makalesi (arXiv 2408.00762, 2024): eğitim verisi ölçeği ve hata azalmaları.
- Karlsruhe Institute of Technology, Istanbul Technical University ve Carnegie Mellon University, AV-HuBERT uzman makalesi (arXiv 2405.04327, 2024): LSE-C/LSE-D ile kullanıcı çalışması karşılaştırması.
- MuseTalk makalesi (arXiv 2410.10122, 2025 revizyonu): gerçek zamanlı kare hızı.
- Wav2Lip makalesi (ACM Multimedia 2020): temel model hakkında arka plan, doğrudan ondan sayı alıntılanmadı.
- GDC, 2026 State of the Game Industry: üretken yapay zeka kullanımı ve görüşler.
- Unity, 2025 Gaming Report lansman yazısı (17 Mart 2025): stüdyoların yapay zeka kullanımı ve görüşleri.
- AWS AI Labs ve MIT Media Lab, Dubbing in Practice (TACL cilt 11, 2023): profesyonel dublaj külliyatı istatistikleri.
- EBU Recommendation R37-2007: ses ve görüntü zamanlama sınırları.
- Diel ve ark., Human performance in detecting deepfakes, Computers in Human Behavior Reports cilt 16 (2024): insan tespitine ilişkin meta-analiz.
- Lips Are Lying (LipFD) makalesi (arXiv 2401.15668, 2024): dudak senkronu deepfake tespit doğruluğu.
- Deepfake-Eval-2024 kıyaslaması (arXiv 2503.02857, 2025): gerçek ortamda dedektör performansı.
- Veri notu: (1) Metrik ile algı arasındaki çelişkiler gerçektir: VASA-1, SyncNet güven skorunda gerçek videoyu geride bırakıyor ve Wav2Lip’in HDTF skoru makaleler arasında farklılaşıyor (LatentSync değerlendirmesinde Sync_conf 8,2, Karlsruhe değerlendirmesinde LSE-C 9,054); bu yüzden skorları yalnızca tek bir makale içinde karşılaştırın. (2) Bölüm 5’teki %36 ve %96 yapay zeka kullanım rakamları farklı kitleleri ölçüyor (bireysel profesyoneller ve stüdyolar; üstelik stüdyo anketinin örneklem büyüklüğü lansman sayfasında belirtilmiyor), bu yüzden bir çelişki olarak okunmamalı. (3) Okuduğumuz Audio2Face-3D makale metninde kullanıcı çalışması sonucu bulamadık, bu nedenle algısal kalitesi burada ele alınmıyor. (4) CodeTalker (2023), dublaj külliyatı çalışması (2023) ve EBU R37 (2007), kendi metrikleri için mevcut en güncel verilerdir; daha yeni SIGGRAPH ve CVPR makaleleri LVE ve tercih rakamlarını güncelleyebilir. (5) LVE birimleri kıyaslamalar ve makaleler arasında farklılaşıyor, bu yüzden değerler yalnızca aynı tablo içinde karşılaştırılabilir. (6) Bu alandaki kullanıcı çalışmaları 10 ila 31 değerlendiriciye dayanıyor, bu yüzden küçük tercih farkları sağlam değildir.
Son güncelleme: 6 Kasım 2026. Bu derlemeyi üç ayda bir güncelliyoruz ve bir sonraki yenilemenin GDC 2027 State of the Game Industry raporu yayımlandığında yapılması bekleniyor.