Konuşmacının dudaklarına ait videoyu eklemek, -7,5 dB’lik yoğun beyaz gürültüde bir konuşma tanıyıcının kelime hata oranını %88,9’dan %24,2’ye düşürdü (Ma et al., Auto-AVSR, ICASSP 2023). Yalnızca dudaklar hâlâ sesten çok daha zayıf: 2025’te bir dudak okuyucu LRS3 TED konuşması kıyaslamasında %18,7 WER bildirirken (Thomas, Fish ve Bowden, VALLR 2025), LLM tabanlı bir görsel-işitsel sistem %0,77’ye ulaşıyor (Cappellazzo et al., Llama-AVSR, ICASSP 2025). İnsan dudak okuması daha da düşük bir çıta: profesyonel dudak okuyucular YouTube klipleri üzerinde %86,4 ile %92,9 arasında WER aldı (Shillingford et al., DeepMind ve Google, Large-Scale Visual Speech Recognition 2018). Verileri Oxford Visual Geometry Group (VGG) LRS2 ve LRS3 veri setlerinden, Meta AI’nin AV-HuBERT makalelerinden, WildVSR genelleme çalışmasından, Dünya Sağlık Örgütü’nden ve JASA, JSLHR ile Trends in Hearing dergilerindeki hakemli işitme araştırmalarından derledik. Yalnızca sese dayalı tanıyıcıların konuşmacılar arasında nasıl bozulduğunu görmek için konuşma tanıma aksan yanlılığı istatistiklerimize bakın.
Yazı boyunca kullanılan terimlere dair bir not: WER (kelime hata oranı), bir sistemin yanlış yaptığı kelimelerin payıdır; yanlış yerleştirilen, eksik kalan ve fazladan eklenen kelimeleri sayar, dolayısıyla düşük olması iyidir. VSR (görsel konuşma tanıma), sessiz videodan makineyle dudak okuma anlamına gelir, ASR yalnızca sese dayalı tanımayı, AVSR ise ikisini birlikte kullanan görsel-işitsel tanımayı ifade eder. SNR (sinyal-gürültü oranı), konuşmanın arka plan gürültüsünden ne kadar yüksek olduğunu ölçer; negatif bir SNR, gürültünün sesten daha yüksek olduğu anlamına gelir.
TL;DR
- 0 dB babble gürültüsünde İngilizce WER, yalnızca sesli Whisper-Large’da %13,8’den görsel-işitsel Whisper-Flamingo’da %7,2’ye düştü (Rouditchenko et al., Interspeech 2024).
- LLM tabanlı bir sistem, LRS3’te görsel-işitsel %0,77 ve yalnızca sesli %0,79 WER bildiriyor (Cappellazzo et al., Llama-AVSR, ICASSP 2025).
- Google’ın bir dudak okuma modeli LRS3’te %12,8 WER bildiriyor; bu, dört yıl öncesinin yalnızca sesli modelleriyle boy ölçüşen bir sonuç olarak tanımlanıyor (Chang et al., Google, Conformers paper 2023).
- Fonem tabanlı bir dudak okuyucu, bir sonraki en iyi yaklaşıma göre %99,4 daha az etiketli veriyle LRS3’te %18,7 WER’e ulaştı (Thomas, Fish ve Bowden, VALLR 2025).
- Profesyonel dudak okuyucular bağlamsız %92,9, bağlamlı %86,4 WER aldı; makine sisteminde bu oran %40,9 idi (Shillingford et al., DeepMind ve Google 2018).
- Normal işiten 84 üniversite öğrencisi, cümlelerin sessiz videosundan kelimelerin %12,4’ünü belirledi (Altieri, Pisoni ve Townsend, JASA 2011).
- Erken başlangıçlı işitme kaybı olan yetişkinler dudaklardan kelimelerin %43,55’ini okudu; normal işiten yetişkinlerde bu oran %18,57 idi (Auer ve Bernstein, JSLHR 2007).
- Yalnızca 30 etiketli saatle AV-HuBERT %32,5 dudak okuma WER’ine ulaştı ve 31.000 saatle eğitilmiş %33,6’lık bir sistemi geride bıraktı (Shi et al., Meta AI, ICLR 2022).
- En gelişmiş dudak okuma modelleri LRS3’ten WildVSR test setine geçince ortalama 30 WER puanı kaybediyor (Djilali et al., WildVSR 2023).
- Görünür yüzler, net konuşmayı anlamak için gereken gürültü eşiğini 3,74 dB düşürdü (Blackburn et al., Trends in Hearing 2019).
- 430 milyon kişi yeti yitimine yol açan işitme kaybı nedeniyle rehabilitasyona ihtiyaç duyuyor (Dünya Sağlık Örgütü, Deafness and hearing loss fact sheet 2026).
1. Dudak, Ses ve İkisi Birden: Kelime Hata Oranında Modalite Farkı
Göz ile kulak arasındaki fark hâlâ bir büyüklük mertebesinden fazla. Bu derlemede LRS3 üzerindeki en düşük dudak okuma skorları %12,8 ve %18,7 WER iken, en düşük ses ve görsel-işitsel skorlar %1’in altında. Farklı sesler tam olarak aynı dudak hareketini üretebilir (‘p’ ve ‘b’ standart bir örnektir), bu yüzden sessiz bir model, ses modelinin sadece duyduğunu bağlamdan çıkarmak zorunda.
Daha şaşırtıcı sayı üst uçta. Temiz seste video neredeyse hiçbir şey katmıyor, hatta biraz da zarar verebiliyor: Whisper-Flamingo, LRS3’te yalnızca sesle %0,68 WER alırken görsel-işitselde %0,76 aldı (Rouditchenko et al., Interspeech 2024). Dudakların değeri stüdyo kalitesindeki TED konuşmalarında değil, gürültüde ortaya çıkıyor (bkz. bölüm 2). Llama-AVSR makalesi de aynı yakın beraberliği %0,79 ve %0,77 ile gösteriyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| LRS3’te WER, yalnızca dudak okuma karşı yalnızca ses karşı ses artı video, 3.448 saatle eğitilmiş model | %19,1 karşı %1,0 karşı %0,9 | Ma et al., Auto-AVSR, ICASSP 2023 |
| LRS3’te WER, yalnızca ses karşı ses artı video, LLM tabanlı sistem | %0,79 karşı %0,77 | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| LRS3’te WER, yalnızca ses karşı ses artı video, Whisper tabanlı sistem | %0,68 karşı %0,76 | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| LRS3’te dudak okuma WER’i, Google Conformer modeli | %12,8 | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
| LRS3’te dudak okuma WER’i, büyük dil modelli fonem tabanlı model | %18,7 | Thomas, Fish ve Bowden, VALLR, arXiv 2025 (5 Ocak 2026’da revize edildi) |
| BBC televizyonunda (LRS) WER, yalnızca dudaklar karşı yalnızca temiz ses karşı temiz ses artı dudaklar | %50,2 karşı %17,7 karşı %13,9 | Chung et al. (Oxford VGG ve Google DeepMind), Lip Reading Sentences in the Wild, CVPR 2017 |
Bağlam: Auto-AVSR makalesi bu rakamları 3.448 saatle eğitilmiş bir model için bildiriyor; BBC tabanlı LRS2 setindeki yalnızca dudak hata oranı ise daha düşük, yalnızca sesli %1,5’e karşılık %14,6. Bu modeller aynı test setini paylaşıyor ancak eğitim verilerini paylaşmıyor, bu yüzden skorlar eşit koşullarda değil. Yalnızca sesli sistemlerin düz kelime hatalarının ötesinde kendi hata biçimleri var; bunları konuşma tanıma halüsinasyon istatistiklerimizde ele alıyoruz.
2. Düşük SNR’de Video, Konuşma Tanımaya Ne Kadar Yardımcı Olur
Dudak videosu yerini burada hak ediyor. Gürültü arttıkça yalnızca sesli hata oranı dik biçimde tırmanırken görsel-işitsel hata oranı yavaş yükseliyor; böylece altyazıların ve sesli arayüzlerin en çok başarısız olduğu yerde fark açılıyor. Meta’nın görsel-işitsel modeli gürültüde ortalama %5,8 WER’e ulaşırken yalnızca sesli sürüm %25,8’de kaldı; ölçüm 4 gürültü türü ve -10 ile 10 dB arasındaki 5 SNR düzeyi üzerinden yapıldı (Shi, Hsu ve Mohamed, Interspeech 2022).
Gürültü türü önemli. Babble (arka planda birçok kişinin konuşması), aşağıdaki -7,5 dB testlerinde yalnızca sesli modeli en az etkiledi; ancak babble eğitim sırasında da kullanıldı, bu yüzden yazarlar bu sonuçların pembe ve beyaz gürültüyle (geniş bantlı hışırtı) doğrudan karşılaştırılamayacağı konusunda uyarıyor. En büyük farkları bu iki gürültü türü üretti.
| Metrik | Değer | Kaynak |
|---|---|---|
| -7,5 dB SNR’de WER, yalnızca ses karşı ses artı video: beyaz gürültü; pembe gürültü; babble gürültüsü | %88,9 karşı %24,2; %56,8 karşı %16,2; %8,3 karşı %5,6 | Ma et al., Auto-AVSR, ICASSP 2023 |
| 2,5 dB SNR’de beyaz gürültüde WER, yalnızca ses karşı ses artı video | %10,4 karşı %4,3 | Ma et al., Auto-AVSR, ICASSP 2023 |
| 4 gürültü türü ve 5 SNR düzeyinde (-10 ile 10 dB) ortalama WER, yalnızca sesli model karşı AV-HuBERT üzerine kurulu görsel-işitsel model | %25,8 karşı %5,8 | Shi, Hsu ve Mohamed (Meta AI), Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022 |
| Babble gürültüsünde WER, 433 etiketli saatle eğitilmiş önceki en gelişmiş sistem karşı 30 etiketli saatle eğitilmiş AV-HuBERT | %28,0 karşı %14,1 | Shi, Hsu ve Mohamed (Meta AI), Interspeech 2022 |
| 0 dB SNR’de babble gürültüsünde İngilizce WER (MuAViC testi), yalnızca sesli Whisper-Large karşı görsel-işitsel Whisper-Flamingo | %13,8 karşı %7,2 | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| BBC televizyonunda 10 dB ve 0 dB SNR’de WER, yalnızca ses karşı ses artı dudaklar | %37,6 ve %62,9 karşı %27,6 ve %42,0 | Chung et al. (Oxford VGG ve Google DeepMind), CVPR 2017 |
Aykırı değer notu: 2017 BBC rakamları çok daha zayıf bir model neslinden geliyor, ancak daha yüksek bir hata düzeyinde aynı örüntüyü gösteriyor. 0 dB’de dudakları eklemek hatayı 20,9 puan azalttı (62,9 eksi 42,0); 2023’te -7,5 dB beyaz gürültüde azalma 64,7 puandı (88,9 eksi 24,2). Bu BBC karşılaştırması için erişilebilen en güncel veri: 2017 çalışması.
3. Referans Olarak İnsan Dudak Okuyucular
İnsan dudak okuması çoğu kişinin sandığından çok daha zor. Normal işiten genç yetişkinler, konuşulan cümlelerin sessiz videosundan kelimelerin yalnızca %12,4’ünü belirledi (Altieri, Pisoni ve Townsend, JASA 2011). Ömür boyu yüze güvenmek bunu belirgin biçimde artırıyor: işitmesini erken yitiren yetişkinler, işiten yetişkinlerin iki katından fazla kelime okudu (Auer ve Bernstein, JSLHR 2007).
Makineler, kıyaslama videolarında eğitimli profesyonelleri yıllar önce geride bıraktı, ancak bu karşılaştırmanın sınırları var. İnsan referansları küçük örneklemler kullandı: LipNet için 300 video ve 3 dudak okuyucu, BBC çalışması için 200 video ve tek bir profesyonel. Bu profesyonel her klibin hangi programdan geldiğini görebiliyor, örnek eğitim videolarını inceleyebiliyor ve klipleri sınırsız kez tekrar oynatabiliyordu; dolayısıyla insan skoru, ilk bakışta okuma sonucu değil. Sağır eğitiminin sınıf tarafı için sağır ve işitme güçlüğü olan öğrencilerin eğitimi istatistiklerimize bakın.
| Metrik | Değer | Kaynak |
|---|---|---|
| CUNY cümlelerinin sessiz videosundan doğru kelimeler, normal işiten 84 üniversite öğrencisi | %12,4 (SS %6,67) | Altieri, Pisoni ve Townsend (Indiana University), Some normative data on lip-reading skills, JASA 2011 |
| 30 cümlenin sessiz videosundan doğru kelimeler, erken başlangıçlı işitme kaybı olan yetişkinler (n = 112) karşı normal işiten (n = 220) | %43,55 (SS 17,48) karşı %18,57 (SS 13,18); t(330) = 14,576, p < 0,01 | Auer ve Bernstein, JSLHR 2007 |
| Maskesiz sessiz videodan tanınan ünsüzler: normal işiten çocuklar karşı işitme kaybı olan çocuklar karşı normal işiten yetişkinler | yaklaşık %31 karşı %33 karşı %42 | Lalonde, Buss, Miller ve Leibold, Frontiers in Psychology 2022 |
| Daha önce görülmemiş konuşmacıların GRID cümlelerinde WER, işitme engelli 3 dudak okuyucu karşı LipNet | %47,7 karşı %11,4 | Assael et al. (University of Oxford ve Google DeepMind), LipNet 2016 |
| BBC test kliplerinde WER, bir profesyonel dudak okuyucu karşı yalnızca dudak kullanan makine modeli | %73,8 karşı %50,2 (reddedilen klipler sayıldığında insan için %87,6) | Chung et al. (Oxford VGG ve Google DeepMind), CVPR 2017 |
| YouTube kliplerinde WER, profesyonel dudak okuyucular bağlamsız karşı bağlamlı karşı makine sistemi | %92,9 karşı %86,4 karşı %40,9 | Shillingford et al. (DeepMind ve Google), Large-Scale Visual Speech Recognition 2018 |
| Normal işiten yetişkinler için görsel fayda (anahtar sözcüklerin yarısını doğru almak için gereken SNR’deki düşüş), net konuşma karşı gürültü-vokoderli konuşma | 3,74 dB (SS 2,67) karşı 4,68 dB (SS 3,28) | Blackburn et al., Trends in Hearing 2019 |
Bağlam: Blackburn çalışmasının 1. deneyinde dinleyiciler yalnızca videoyla ortalama sadece %1,56 doğru sonuç aldı, ancak konuşmacıyı görmek yine de eşiklerini yalnızca sese göre iyileştirdi (3,74 dB ve 4,68 dB rakamları 2. deneyden geliyor). Dudak okuma, makineler ve insanlar için aynı şekilde, sese bir ek olarak en iyi sonucu veriyor. Gürültü-vokoderli konuşma, sesten ince ayrıntının çıkarılmasıyla kasıtlı olarak bozulmuş sestir. İnsanlara ait normatif skorlar için erişilebilen en güncel veri: Altieri et al., 2011 ve Auer ve Bernstein, 2007.
4. Dudak Okuma Veri Setleri: Saat, Konuşmacı ve Kelime Dağarcığı
Dudak okuma araştırması, yayın televizyonu ve TED konuşmalarından oluşturulmuş bir avuç kamuya açık veri setine dayanıyor. LRS3 kıyaslaması 5.594 TED ve TEDx konuşmasından 400 saatten fazla içerik barındırıyor, ancak test seti yalnızca 1 saat (Afouras, Chung ve Zisserman, LRS3-TED 2018). Bütün bir alan, modellerini 1.452 test cümlesi üzerinde sıralıyor; bölüm 6’nın önemli olmasının bir nedeni bu.
En büyük eğitim setleri sektöre ait. 3.886 saatlik LSVSR YouTube seti, LRS3 ön eğitim setinin neredeyse on katı (3.886’yı 407’ye bölmek 9,5 eder); kamuya açık araştırma ise bunu makine tarafından üretilmiş etiketler ve kendi kendine denetimli ön eğitimle telafi ediyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| LRS3-TED toplam video ve kaynak konuşmalar; test seti boyutu | 5.594 TED ve TEDx konuşmasından 400 saatten fazla; 1 saat, 1.452 cümle, 451 konuşmacı | Afouras, Chung ve Zisserman (Oxford VGG), LRS3-TED 2018 |
| LRS2-BBC ön eğitim seti karşı eğitim-doğrulama seti | 195 saat (96 bin cümle) karşı 29 saat (47 bin cümle) | Afouras, Chung ve Zisserman (Oxford VGG), LRS3-TED 2018, Tablo 1 |
| LSVSR YouTube veri seti: saat, cümle, kelime dağarcığı | 3.886 saat; 2.934.899 cümle; 127.055 kelime | Shillingford et al. (DeepMind ve Google), 2018 |
| Ön eğitimde kullanılan İngilizce VoxCeleb2 videosu; toplam AV-HuBERT ön eğitim verisi | 1.326 saat; 1.759 saat | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| MuAViC çok dilli görsel-işitsel derlem | 9 dilde 1.200 saat | Anwar et al. (Meta AI), MuAViC 2023 |
| WildVSR test seti: saat, cümle, konuşmacı, kelime dağarcığı | 4,8 saat; 2.854 cümle; 618 konuşmacı; 6.040 kelime | Djilali et al. (Technology Innovation Institute), Do VSR Models Generalize Beyond LRS3?, 2023 |
Bağlam: LRS3 ön eğitim ve eğitim-doğrulama bölümleri içerik olarak örtüşüyor, bu yüzden saatleri toplanmamalı. Temel kıyaslamalar için erişilebilen en güncel veri: LRS3-TED makalesi, 2018. MuAViC makalesi, kendini çok dilli görsel-işitsel konuşma tanıma için en büyük açık kıyaslama olarak tanıtıyor.
5. Eğitim Verisi Ölçeği ve Dudak Okuma Doğruluğu
Daha fazla video hâlâ doğruluk satın alıyor, ancak daha akıllı eğitim saat başına daha fazlasını satın alıyor. AV-HuBERT, yalnızca 30 etiketli saatle 31.000 saatlik bir sisteme eşit geldi: %32,5 WER karşı %33,6 (Shi et al., Meta AI, ICLR 2022). Ağır işi, etiketsiz video üzerindeki kendi kendine denetimli ön eğitim yaptı: aynı mimari, bu 30 saatle sıfırdan eğitildiğinde %92,3 aldı.
Saatler hâlâ önemli ama sıralamayı belirlemiyor. Eğitim saatini 818’den 3.448’e çıkarmak, LRS3 dudak okuma hatasını 13,9 puan düşürdü (33,0 eksi 19,1). Aşağıdaki tablodaki çok daha büyük iki eğitim ise birbirinden 4,2 puan uzakta kalıyor: yaklaşık 90.000 saatte %17,0, 100 bin saatte %12,8; bu da hacmin yanı sıra mimariye de işaret ediyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| 818 karşı 1.902 karşı 3.448 eğitim saatiyle LRS3’te dudak okuma WER’i (yaklaşık 90.000 kamuya açık olmayan saatle eğitilmiş bir model: %17,0) | %33,0 karşı %23,5 karşı %19,1 | Ma et al., Auto-AVSR, ICASSP 2023 |
| LRS3’te dudak okuma WER’i, 30 etiketli saatli AV-HuBERT karşı 433 etiketli saatin tamamı artı kendi kendine eğitim (önceki en iyi: 31.000 saatte %33,6) | %32,5 karşı %26,9 | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| LRS3’te dudak okuma WER’i, aynı büyük mimari sıfırdan 30 karşı 433 etiketli saatle eğitildiğinde | %92,3 karşı %62,3 | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022, Tablo 1 |
| Fonem tabanlı bir dudak okuyucunun kullandığı etiketli veri, bir sonraki en iyi yaklaşımla karşılaştırıldığında | %99,4 daha az (LRS3’te %18,7 WER için) | Thomas, Fish ve Bowden, VALLR, arXiv 2025 |
| Google’ın LRS3’teki %12,8 dudak okuma WER’inin arkasındaki eğitim videosu | 100 bin saatlik yazıya dökülmüş YouTube bölümü, ardından LRS3 üzerinde ince ayar (400 saatten fazla) | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
Bağlam: daha büyük dil modelleri de bir kestirme yol değil. Jain ve Harte (arXiv, Eylül 2025), büyük dil modeli kod çözücülerinin esas olarak görsel özellikleri değil bağlamsal muhakemeyi iyileştirdiği ve daha fazla ilerleme için daha güçlü görsel kodlayıcılara ihtiyaç olduğu sonucuna varıyor.
6. TED Konuşmalarının Ötesi: Doğal Ortam Videosu ve İngilizce Dışı Dudak Okuma
Kıyaslama WER’i dudak okumayı olduğundan iyi gösteriyor. Araştırmacılar, LRS3 oluşturma sürecini yakından izleyerek YouTube videosundan yeni bir test seti oluşturduğunda, en gelişmiş dudak okuma modelleri ortalama 30 WER puanı kaybetti (Djilali et al., WildVSR 2023). Ses çok daha az değişti: Whisper %1,1’den %4,2’ye çıktı. Yine de sıralamalar korundu; yani daha iyi bir LRS3 skoru hâlâ daha iyi bir WildVSR skorunu öngörüyor.
Dil, ikinci kör nokta. İngilizce LRS3’te %31,5 WER alan yöntem, İspanyolca, İtalyanca ve Fransızca TED tarzı konuşmalarda %56,3 veya daha kötüsünü aldı (Ma, Petridis ve Pantic, Nature Machine Intelligence 2022). İngilizce dışı dudak okuma için erişilebilen en güncel veri: bu 2022 makalesi.
| Metrik | Değer | Kaynak |
|---|---|---|
| En gelişmiş dudak okuma modelleri için ortalama WER artışı, LRS3’ten WildVSR’ye | 30 puan | Djilali et al., WildVSR 2023 |
| Dudak okuma WER’i, test edilen en iyi model (Auto-AVSR, 3.448 saat), LRS3 karşı WildVSR | %19,1 karşı %38,6 | Djilali et al., WildVSR 2023, Tablo 2 |
| Yalnızca sesli WER, Whisper, LRS3 karşı WildVSR | %1,1 karşı %4,2 | Djilali et al., WildVSR 2023, Tablo 2 |
| Modeller arasında WildVSR WER’i ile LRS3 WER’i arasındaki uyumlanmış ilişki | WildVSR WER = yaklaşık 1,31 x LRS3 WER + 14,05 | Djilali et al., WildVSR 2023 |
| Dudak okuma WER’i, Llama-2-13B kod çözücü modeli, LRS3 karşı WildVSR | %24,7 karşı %47,0 | Jain ve Harte, From Hype to Insight, arXiv 2025 |
| Dile göre dudak okuma hatası, en iyi çalıştırma: Mandarin karakter hata oranı (CMLR) karşı İspanyolca, İtalyanca ve Fransızca kelime hata oranı (Multilingual TEDx) | %8,0 karşı %56,3, %57,4 ve %66,2 | Ma, Petridis ve Pantic, Nature Machine Intelligence 2022 |
Bağlam: Mandarin rakamı kelime değil karakter başına hata sayıyor, bu yüzden WER rakamlarıyla doğrudan karşılaştırılamaz. En iyi model için WildVSR farkı 19,5 puan (38,6 eksi 19,1) ve 30 puanlık ortalamanın altında; bu, yazarların daha güçlü modellerin daha az bozulduğu yönündeki bulgusuyla tutarlı.
7. Gizlilik, Gözetim ve Erişilebilirlik
Belgelenmiş gizlilik kaygısı somut: araştırmacılar CCTV’yi bizzat işaret ediyor. Ma, Petridis ve Pantic görsel konuşma tanımayı ‘çift kullanımlı bir teknoloji’ olarak adlandırıyor ve bunun ‘CCTV üzerinden ya da akıllı telefon kameraları aracılığıyla bile gözetim için kullanılabileceğini, bunun da gizlilik kaygıları doğurduğunu’ belirtiyor; devlet düzenlemesinin gerekli olduğunu savunuyorlar. Ayrıca o sırada konuşma engelli kişilerin iletişim kurmasına yardımcı olacak bir akıllı telefon uygulamasının Birleşik Krallık NHS hastanelerinde denendiğini bildiriyorlar. Birleşik Krallık Gözetim Kamerası Komiseri (Surveillance Camera Commissioner) Tony Porter, Ağustos 2019’da ufukta dudak okuma gözetim teknolojisi olduğu konusunda uyarmıştı (Big Brother Watch, 28 Ağustos 2019).
Karşı ağırlık teknik. Oxford VGG araştırmacıları, kameraların ‘genellikle çok daha düşük çözünürlük ve kare hızında ve alışılmadık açılardan çalışması’ nedeniyle CCTV dinlemeyi ‘çok düşük risk’ olarak değerlendiriyor (Prajwal, Afouras ve Zisserman, 2021). 3.886 saatlik sistem yalnızca kameraya göre 30 dereceyi aşmayacak şekilde dönmüş yüzlerle eğitildi ve yazarları sistemin başka bağlamlarda iyi performans göstermediğini söylüyor (Shillingford et al., 2018). Erişilebilirlik gerekçesi geniş bir nüfusa dayanıyor: WHO bilgi notu, altyazıyı ve dudak okumayı işitme kaybına yönelik destekler arasında sayıyor. Dudakların ötesindeki görsel dil yapay zekâsı işaret dili yapay zekâsı ve bilgisayarlı görü istatistiklerimizde ele alınıyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| 3.886 saatlik dudak okuma sisteminin eğitim koşulları: baş açısı; minimum yüz boyutu; minimum kare hızı | yaw ve pitch artı veya eksi 30 derece içinde; gözler arasında en az 80 piksel; saniyede 23 kareden kısa klipler çıkarıldı | Shillingford et al. (DeepMind ve Google), 2018 |
| Güvenilir otomatik dudak okuma için videoda kapalı dudakların minimum yüksekliği | 4 piksel | Bear, Harvey, Theobald ve Lan, Resolution limits on visual speech recognition, ICIP 2014 |
| Çözünürlük çalışmasında test edilen en düşük video çözünürlüğü karşı tam HD kaynak | 42 x 32 karşı 1440 x 1080 piksel (18 çözünürlük test edildi) | Bear, Harvey, Theobald ve Lan, ICIP 2014 |
| Yeti yitimine yol açan işitme kaybı nedeniyle rehabilitasyona ihtiyaç duyan kişiler | 430 milyon (dünya nüfusunun %5’inden fazlası) | Dünya Sağlık Örgütü, Deafness and hearing loss fact sheet, 3 Mart 2026 |
| 2050’ye kadar bir miktar işitme kaybı yaşaması öngörülen kişiler karşı yeti yitimine yol açan işitme kaybı yaşaması öngörülenler | neredeyse 2,5 milyar karşı 700 milyondan fazla | Dünya Sağlık Örgütü, Deafness and hearing loss fact sheet, 3 Mart 2026 |
| Tedavi edilmeyen işitme kaybının yıllık küresel maliyeti | neredeyse 1 trilyon ABD doları | Dünya Sağlık Örgütü, Deafness and hearing loss fact sheet, 3 Mart 2026 |
Bağlam: Bear et al. çalışması iki konuşmacıdan yaklaşık 30 dakikalık video kullandı, bu yüzden 4 piksellik alt sınır bir garanti değil, gösterge niteliğinde bir sınır. Çözünürlük sınırı için erişilebilen en güncel veri: Bear et al., 2014.
Özet: Dudak Okuma Görsel Konuşma Tanıma WER Rakamlarla
| Metrik | Değer | Kaynak |
|---|---|---|
| Beyaz gürültüde -7,5 dB SNR’de WER, yalnızca ses karşı ses artı video | %88,9 karşı %24,2 | Ma et al., Auto-AVSR, ICASSP 2023 |
| 4 gürültü türü ve 5 SNR düzeyinde ortalama WER, yalnızca sesli karşı görsel-işitsel model | %25,8 karşı %5,8 | Shi, Hsu ve Mohamed (Meta AI), Interspeech 2022 |
| 0 dB babble gürültüsünde İngilizce WER, yalnızca sesli Whisper-Large karşı Whisper-Flamingo | %13,8 karşı %7,2 | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| LRS3’te WER, yalnızca ses karşı ses artı video, LLM tabanlı sistem | %0,79 karşı %0,77 | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| LRS3’te dudak okuma WER’i, Google Conformer modeli | %12,8 | Chang et al. (Google), 2023 |
| LRS3’te dudak okuma WER’i, %99,4 daha az etiketli veriyle fonem tabanlı model | %18,7 | Thomas, Fish ve Bowden, VALLR, arXiv 2025 |
| LRS3’te dudak okuma WER’i, 30 etiketli saatli AV-HuBERT karşı 31.000 saatteki önceki en iyi | %32,5 karşı %33,6 | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| En gelişmiş dudak okuma modelleri için ortalama WER artışı, LRS3’ten WildVSR’ye | 30 puan | Djilali et al., WildVSR 2023 |
| Dudak okuma WER’i, Llama-2-13B kod çözücü modeli, LRS3 karşı WildVSR | %24,7 karşı %47,0 | Jain ve Harte, arXiv 2025 |
| Sessiz cümlelerden doğru kelimeler, normal işiten 84 üniversite öğrencisi | %12,4 | Altieri, Pisoni ve Townsend, JASA 2011 |
| Sessiz cümlelerden doğru kelimeler, erken başlangıçlı işitme kaybı karşı normal işitme | %43,55 karşı %18,57 | Auer ve Bernstein, JSLHR 2007 |
| YouTube kliplerinde WER, profesyonel dudak okuyucular (bağlamsız karşı bağlamlı) karşı makine | %92,9 ve %86,4 karşı %40,9 | Shillingford et al. (DeepMind ve Google), 2018 |
| BBC kliplerinde WER, profesyonel dudak okuyucu karşı yalnızca dudak kullanan model | %73,8 karşı %50,2 | Chung et al. (Oxford VGG ve Google DeepMind), CVPR 2017 |
| Gürültüde net konuşma için görsel fayda, normal işiten yetişkinler | 3,74 dB | Blackburn et al., Trends in Hearing 2019 |
| LRS3-TED video ve konuşmalar | 400 saatten fazla, 5.594 konuşma | Afouras, Chung ve Zisserman (Oxford VGG), 2018 |
| Güvenilir otomatik dudak okuma için videoda kapalı dudakların minimum yüksekliği | 4 piksel | Bear et al., ICIP 2014 |
| Yeti yitimine yol açan işitme kaybı nedeniyle rehabilitasyona ihtiyaç duyan kişiler | 430 milyon | Dünya Sağlık Örgütü, 2026 |
Metodoloji ve Kaynaklar
- Ma et al., Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels, ICASSP 2023: modalite farkı, gürültü dayanıklılığı tabloları ve eğitim verisi ölçeklemesi.
- Cappellazzo et al., Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR), ICASSP 2025: LRS3’te yalnızca ses ve görsel-işitsel WER.
- Rouditchenko et al., Whisper-Flamingo, Interspeech 2024: yalnızca sesli ve görsel-işitsel Whisper için temiz ve babble gürültülü ortamda WER.
- Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023: LRS3’te %12,8 dudak okuma WER’i ve 100 bin saatlik eğitim seti.
- Thomas, Fish ve Bowden, VALLR: Visual ASR Language Model for Lip Reading, arXiv 2025: %18,7 WER ve etiketli veri verimliliği.
- Jain ve Harte, From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition, arXiv Eylül 2025: LRS3 ve WildVSR’de LLM kod çözücü sonuçları.
- Meta AI: Shi et al., AV-HuBERT, ICLR 2022 ve Shi, Hsu ve Mohamed, Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022: veri verimliliği ve gürültü dayanıklılığı.
- Anwar et al. (Meta AI), MuAViC multilingual audio-visual corpus, 2023: derlem boyutu ve dil kapsamı.
- Oxford VGG: Afouras, Chung ve Zisserman, LRS3-TED, 2018 ve Prajwal, Afouras ve Zisserman, Sub-word Level Lip Reading With Visual Attention, 2021: veri seti boyutları ve CCTV risk değerlendirmesi.
- Chung et al., Lip Reading Sentences in the Wild, CVPR 2017: BBC dudak karşı ses sonuçları, gürültü sonuçları ve profesyonel dudak okuyucu referansı.
- Assael et al., LipNet: End-to-End Sentence-level Lipreading, 2016: GRID cümle derlemindeki sonuçlar ve işitme engelli dudak okuyucu referansı.
- Shillingford et al., Large-Scale Visual Speech Recognition, 2018: LSVSR veri seti, profesyonel dudak okuyucu WER’i, yüz açısı ve çözünürlük kısıtları.
- Djilali et al., Do VSR Models Generalize Beyond LRS3? (WildVSR), 2023: doğal ortamda genelleme farkı.
- Ma, Petridis ve Pantic, Visual Speech Recognition for Multiple Languages in the Wild, Nature Machine Intelligence 2022: İngilizce dışı WER ile çift kullanım ve gizlilik tartışması.
- Altieri, Pisoni ve Townsend, Some normative data on lip-reading skills, JASA 2011: insanların yalnızca görsel cümle skorları.
- Auer ve Bernstein, Enhanced visual speech perception in individuals with early-onset hearing impairment, JSLHR 2007: sağır ve işiten kişilerin dudak okuma skorları.
- Blackburn et al., Visual Speech Benefit in Clear and Degraded Speech, Trends in Hearing 2019: desibel cinsinden görsel fayda.
- Lalonde, Buss, Miller ve Leibold, Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss, Frontiers in Psychology 2022: çocuklar ve yetişkinler için yalnızca görsel ünsüz skorları.
- Bear, Harvey, Theobald ve Lan, Resolution limits on visual speech recognition, ICIP 2014: minimum dudak çözünürlüğü.
- Dünya Sağlık Örgütü, Deafness and hearing loss fact sheet, 3 Mart 2026: işitme kaybı yaygınlığı, projeksiyonlar ve maliyet.
- Big Brother Watch, 28 Ağustos 2019: Birleşik Krallık Gözetim Kamerası Komiseri’nin dudak okuma gözetimine ilişkin uyarısının haberi.
- Veri notu: LRS3 test setindeki skorlar, farklı verilerle eğitim yapan makaleler arasında eşit koşullarda değil ve test setleri çok küçük (LRS3 için 1 saat). Birkaç makale farklı tarihlerde en gelişmiş sonuç olduğunu iddia ediyor: Llama-AVSR’nin %0,79 ve %0,77 değerleri Whisper-Flamingo’nun %0,68 ve %0,76 değerlerinin yanında duruyor, VALLR’ın %18,7 değeri ise çok daha fazla etiketli veri kullanan Google’ın daha düşük %12,8 değerinin yanında duruyor. VALLR ve Jain ile Harte çalışması, hakemli bir yayın yeri belirtilmemiş ön baskılar. Aynı veri setinin saatleri kaynağa göre değişiyor: LRS3-TED makalesi 407 saatlik ön eğitim kümesini, LRS2-BBC ön eğitim ve eğitim-doğrulama kümelerini ise 195 ve 29 saat olarak veriyor; Ma, Petridis ve Pantic ise LRS3 için 438 saat, LRS2 için 223 saat sayıyor. WildVSR makalesi uyumu için iki eğim veriyor (1,31 ve 1,30) ve Ek B’si Whisper’ın her iki test setinde de 4’ün altında WER aldığını söylüyor; bu, Tablo 2’deki 4,2 ile çelişiyor. Whisper model boyutunu da belirtmiyor. İnsan referansları çok küçük panellere dayanıyor (BBC çalışmasında bir profesyonel, LipNet için işitme engelli üç dudak okuyucu) ve insanlara ait normatif veriler 2007 ve 2011 tarihli. Lalonde çalışması, konuşmacılara maske taktırmak yerine maskeleri simüle etti. Gerçek CCTV görüntülerinden dudak okuma doğruluğuna dair hakemli bir ölçüm bulamadık: burada anılan gözetim kaygıları ölçülmüş uygulamalar değil, belgelenmiş uyarılardır.
Son güncelleme: 31 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz ve bir sonraki yenilemenin, ICASSP 2027 ve Interspeech 2027 bildirileri yeni LRS3 ve WildVSR sonuçlarını yayımladığında yapılması bekleniyor.