Menambahkan video bibir pembicara menurunkan tingkat kesalahan kata sebuah sistem pengenal ucapan dari 88,9% menjadi 24,2% pada derau putih yang pekat di -7,5 dB (Ma et al., Auto-AVSR, ICASSP 2023). Bibir saja masih jauh lebih lemah daripada audio: pembaca bibir tahun 2025 melaporkan WER 18,7% pada tolok ukur ceramah TED LRS3 (Thomas, Fish dan Bowden, VALLR 2025), sementara sistem audio-visual berbasis LLM mencapai 0,77% (Cappellazzo et al., Llama-AVSR, ICASSP 2025). Pembacaan bibir oleh manusia adalah standar yang lebih rendah lagi: pembaca bibir profesional memperoleh WER 86,4% hingga 92,9% pada klip YouTube (Shillingford et al., DeepMind dan Google, Large-Scale Visual Speech Recognition 2018). Kami menghimpun data dari dataset LRS2 dan LRS3 milik Oxford Visual Geometry Group (VGG), makalah AV-HuBERT dari Meta AI, studi generalisasi WildVSR, Organisasi Kesehatan Dunia, serta penelitian pendengaran yang ditelaah sejawat di JASA, JSLHR, dan Trends in Hearing. Untuk melihat bagaimana pengenal yang hanya memakai audio menurun kinerjanya antarpembicara, lihat statistik bias aksen pada pengenalan ucapan kami.
Catatan tentang istilah yang dipakai di seluruh artikel: WER (tingkat kesalahan kata) adalah porsi kata yang salah dikenali sebuah sistem, dengan menghitung kata yang tergantikan, hilang, dan berlebih, sehingga semakin rendah semakin baik. VSR (pengenalan ucapan visual) berarti pembacaan bibir oleh mesin dari video tanpa suara, ASR berarti pengenalan yang hanya memakai audio, dan AVSR berarti pengenalan audio-visual yang memakai keduanya. SNR (rasio sinyal terhadap derau) mengukur seberapa lebih keras ucapan dibandingkan derau latar; SNR negatif berarti derau lebih keras daripada suara.
TL;DR
- WER bahasa Inggris pada derau babble 0 dB turun dari 13,8% untuk Whisper-Large yang hanya audio menjadi 7,2% untuk Whisper-Flamingo audio-visual (Rouditchenko et al., Interspeech 2024).
- Sistem berbasis LLM melaporkan WER 0,77% audio-visual dan 0,79% hanya audio pada LRS3 (Cappellazzo et al., Llama-AVSR, ICASSP 2025).
- Model pembacaan bibir dari Google melaporkan WER 12,8% pada LRS3, yang digambarkan menyaingi model hanya audio dari empat tahun sebelumnya (Chang et al., Google, Conformers paper 2023).
- Pembaca bibir berbasis fonem mencapai WER 18,7% pada LRS3 dengan data berlabel 99,4% lebih sedikit daripada pendekatan terbaik berikutnya (Thomas, Fish dan Bowden, VALLR 2025).
- Pembaca bibir profesional memperoleh WER 92,9% tanpa konteks dan 86,4% dengan konteks, dibandingkan 40,9% untuk sistem mesin (Shillingford et al., DeepMind dan Google 2018).
- 84 mahasiswa berpendengaran normal mengidentifikasi 12,4% kata dari video kalimat tanpa suara (Altieri, Pisoni dan Townsend, JASA 2011).
- Orang dewasa dengan gangguan pendengaran onset dini membaca 43,55% kata dari bibir dibandingkan 18,57% pada orang dewasa berpendengaran normal (Auer dan Bernstein, JSLHR 2007).
- Hanya dengan 30 jam berlabel, AV-HuBERT mencapai WER pembacaan bibir 32,5%, mengalahkan sistem 33,6% yang dilatih pada 31.000 jam (Shi et al., Meta AI, ICLR 2022).
- Model pembacaan bibir mutakhir kehilangan rata-rata 30 poin WER saat dipindahkan dari LRS3 ke set uji WildVSR (Djilali et al., WildVSR 2023).
- Wajah yang terlihat menurunkan ambang derau untuk memahami ucapan sebesar 3,74 dB untuk ucapan jernih (Blackburn et al., Trends in Hearing 2019).
- 430 juta orang memerlukan rehabilitasi karena gangguan pendengaran yang melumpuhkan (Organisasi Kesehatan Dunia, Deafness and hearing loss fact sheet 2026).
1. Bibir vs Audio vs Keduanya: Kesenjangan Modalitas dalam Tingkat Kesalahan Kata
Kesenjangan antara mata dan telinga masih lebih dari satu orde besaran. Skor pembacaan bibir terendah pada LRS3 dalam rangkuman ini adalah WER 12,8% dan 18,7%, sedangkan skor audio dan audio-visual terendah berada di bawah 1%. Bunyi yang berbeda bisa menghasilkan gerakan bibir yang persis sama (‘p’ dan ‘b’ adalah contoh standar), sehingga model tanpa suara harus menyimpulkan dari konteks apa yang cukup didengar oleh model audio.
Angka yang lebih mengejutkan ada di puncak. Pada audio bersih, video nyaris tidak menambah apa pun dan bahkan bisa sedikit merugikan: Whisper-Flamingo memperoleh WER 0,76% audio-visual dibandingkan 0,68% hanya audio pada LRS3 (Rouditchenko et al., Interspeech 2024). Nilai bibir tampak pada kondisi bising (lihat bagian 2), bukan pada ceramah TED berkualitas studio. Makalah Llama-AVSR menunjukkan hasil yang nyaris seri serupa, yaitu 0,79% berbanding 0,77%.
| Metrik | Nilai | Sumber |
|---|---|---|
| WER pada LRS3, hanya pembacaan bibir berbanding hanya audio berbanding audio plus video, model yang dilatih pada 3.448 jam | 19,1% berbanding 1,0% berbanding 0,9% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER pada LRS3, hanya audio berbanding audio plus video, sistem berbasis LLM | 0,79% berbanding 0,77% | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| WER pada LRS3, hanya audio berbanding audio plus video, sistem berbasis Whisper | 0,68% berbanding 0,76% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER pembacaan bibir pada LRS3, model Google Conformer | 12,8% | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
| WER pembacaan bibir pada LRS3, model berbasis fonem dengan model bahasa besar | 18,7% | Thomas, Fish dan Bowden, VALLR, arXiv 2025 (direvisi 5 Januari 2026) |
| WER pada televisi BBC (LRS), hanya bibir berbanding hanya audio bersih berbanding audio bersih plus bibir | 50,2% berbanding 17,7% berbanding 13,9% | Chung et al. (Oxford VGG dan Google DeepMind), Lip Reading Sentences in the Wild, CVPR 2017 |
Konteks: makalah Auto-AVSR melaporkan angka-angka ini untuk model yang dilatih pada 3.448 jam, dan tingkat kesalahan hanya-bibirnya pada set LRS2 berbasis BBC lebih rendah, yaitu 14,6%, berbanding 1,5% untuk hanya audio. Model-model ini berbagi set uji tetapi tidak berbagi data pelatihan, sehingga skornya tidak sebanding secara apel dengan apel. Sistem yang hanya memakai audio memiliki mode kegagalan tersendiri di luar kesalahan kata biasa, yang kami bahas dalam statistik halusinasi pengenalan ucapan kami.
2. Seberapa Besar Video Membantu Pengenalan Ucapan pada SNR Rendah
Di sinilah video bibir membuktikan gunanya. Seiring derau meningkat, kesalahan hanya-audio naik curam sementara kesalahan audio-visual naik pelan, sehingga kesenjangan melebar tepat di tempat takarir dan antarmuka suara paling sering gagal. Model audio-visual Meta rata-rata memperoleh WER 5,8% pada kondisi bising dibandingkan 25,8% untuk versi hanya-audio, di 4 jenis derau dan 5 tingkat SNR dari -10 hingga 10 dB (Shi, Hsu dan Mohamed, Interspeech 2022).
Jenis derau berpengaruh. Babble (banyak orang berbicara di latar belakang) paling sedikit merugikan model hanya-audio pada uji -7,5 dB di bawah, tetapi babble juga dipakai selama pelatihan, sehingga para penulis memperingatkan bahwa hasil tersebut tidak dapat langsung dibandingkan dengan derau merah muda dan putih (desis pita lebar). Kedua jenis derau itulah yang menghasilkan kesenjangan terbesar.
| Metrik | Nilai | Sumber |
|---|---|---|
| WER pada SNR -7,5 dB, hanya audio berbanding audio plus video: derau putih; derau merah muda; derau babble | 88,9% berbanding 24,2%; 56,8% berbanding 16,2%; 8,3% berbanding 5,6% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER pada derau putih di SNR 2,5 dB, hanya audio berbanding audio plus video | 10,4% berbanding 4,3% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER rata-rata di 4 jenis derau dan 5 tingkat SNR (-10 hingga 10 dB), model hanya-audio berbanding model audio-visual berbasis AV-HuBERT | 25,8% berbanding 5,8% | Shi, Hsu dan Mohamed (Meta AI), Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022 |
| WER pada derau babble, state of the art sebelumnya yang dilatih pada 433 jam berlabel berbanding AV-HuBERT yang dilatih pada 30 jam berlabel | 28,0% berbanding 14,1% | Shi, Hsu dan Mohamed (Meta AI), Interspeech 2022 |
| WER bahasa Inggris pada derau babble di SNR 0 dB (uji MuAViC), Whisper-Large hanya audio berbanding Whisper-Flamingo audio-visual | 13,8% berbanding 7,2% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER pada televisi BBC di SNR 10 dB dan 0 dB, hanya audio berbanding audio plus bibir | 37,6% dan 62,9% berbanding 27,6% dan 42,0% | Chung et al. (Oxford VGG dan Google DeepMind), CVPR 2017 |
Catatan pencilan: angka BBC tahun 2017 berasal dari generasi model yang jauh lebih lemah, tetapi menunjukkan pola yang sama pada tingkat kesalahan yang lebih tinggi. Pada 0 dB, penambahan bibir memangkas kesalahan sebesar 20,9 poin (62,9 dikurangi 42,0); pada derau putih -7,5 dB di tahun 2023, pemangkasannya 64,7 poin (88,9 dikurangi 24,2). Data terbaru yang tersedia untuk perbandingan BBC itu: studi 2017.
3. Pembaca Bibir Manusia sebagai Tolok Ukur
Pembacaan bibir oleh manusia jauh lebih sulit daripada yang dikira kebanyakan orang. Orang dewasa muda berpendengaran normal hanya mengidentifikasi 12,4% kata dari video kalimat lisan tanpa suara (Altieri, Pisoni dan Townsend, JASA 2011). Ketergantungan seumur hidup pada wajah menaikkannya secara substansial: orang dewasa yang kehilangan pendengaran sejak dini membaca lebih dari dua kali lipat kata dibandingkan orang dewasa yang mendengar (Auer dan Bernstein, JSLHR 2007).
Mesin sudah menyalip profesional terlatih bertahun-tahun lalu pada video tolok ukur, tetapi perbandingan ini punya batas. Tolok ukur manusia memakai sampel kecil: 300 video dan 3 pembaca bibir untuk LipNet, 200 video dan satu profesional untuk studi BBC. Profesional itu dapat melihat klip berasal dari program mana, mempelajari contoh video pelatihan, dan memutar ulang klip tanpa batas, sehingga skor manusia bukan hasil membaca tanpa persiapan. Untuk sisi ruang kelas dari pendidikan tunarungu, lihat statistik pendidikan siswa tunarungu dan kurang dengar kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Kata benar dari video tanpa suara kalimat CUNY, 84 mahasiswa berpendengaran normal | 12,4% (SD 6,67%) | Altieri, Pisoni dan Townsend (Indiana University), Some normative data on lip-reading skills, JASA 2011 |
| Kata benar dari video tanpa suara 30 kalimat, orang dewasa dengan gangguan pendengaran onset dini (n = 112) berbanding berpendengaran normal (n = 220) | 43,55% (SD 17,48) berbanding 18,57% (SD 13,18); t(330) = 14,576, p < 0,01 | Auer dan Bernstein, JSLHR 2007 |
| Konsonan yang dikenali dari video tanpa suara tanpa masker: anak berpendengaran normal berbanding anak dengan gangguan pendengaran berbanding orang dewasa berpendengaran normal | sekitar 31% berbanding 33% berbanding 42% | Lalonde, Buss, Miller dan Leibold, Frontiers in Psychology 2022 |
| WER pada kalimat GRID dari pembicara yang belum pernah dilihat, 3 pembaca bibir dengan gangguan pendengaran berbanding LipNet | 47,7% berbanding 11,4% | Assael et al. (University of Oxford dan Google DeepMind), LipNet 2016 |
| WER pada klip uji BBC, satu pembaca bibir profesional berbanding model mesin hanya-bibir | 73,8% berbanding 50,2% (87,6% untuk manusia bila klip yang ditolak dihitung) | Chung et al. (Oxford VGG dan Google DeepMind), CVPR 2017 |
| WER pada klip YouTube, pembaca bibir profesional tanpa konteks berbanding dengan konteks berbanding sistem mesin | 92,9% berbanding 86,4% berbanding 40,9% | Shillingford et al. (DeepMind dan Google), Large-Scale Visual Speech Recognition 2018 |
| Manfaat visual bagi orang dewasa berpendengaran normal (penurunan SNR yang dibutuhkan untuk mendapat separuh kata kunci benar), ucapan jernih berbanding ucapan ber-vocoder derau | 3,74 dB (SD 2,67) berbanding 4,68 dB (SD 3,28) | Blackburn et al., Trends in Hearing 2019 |
Konteks: pada eksperimen 1 studi Blackburn, para pendengar rata-rata hanya benar 1,56% dengan video saja, namun melihat pembicara tetap memperbaiki ambang mereka dibandingkan audio saja (angka 3,74 dB dan 4,68 dB berasal dari eksperimen 2). Pembacaan bibir bekerja paling baik sebagai pelengkap suara, baik bagi mesin maupun manusia. Ucapan ber-vocoder derau adalah audio yang sengaja diturunkan kualitasnya dengan menghilangkan detail halus dari bunyi. Data terbaru yang tersedia untuk skor normatif manusia: Altieri et al., 2011, dan Auer dan Bernstein, 2007.
4. Dataset Pembacaan Bibir: Jam, Pembicara, dan Kosakata
Penelitian pembacaan bibir bertumpu pada segelintir dataset publik yang dibangun dari siaran televisi dan ceramah TED. Tolok ukur LRS3 memuat lebih dari 400 jam dari 5.594 ceramah TED dan TEDx, tetapi set ujinya hanya 1 jam (Afouras, Chung dan Zisserman, LRS3-TED 2018). Seluruh bidang memeringkat modelnya pada 1.452 ujaran uji, yang menjadi salah satu alasan bagian 6 penting.
Set pelatihan terbesar dimiliki industri. Set YouTube LSVSR berdurasi 3.886 jam hampir sepuluh kali set pra-pelatihan LRS3 (3.886 dibagi 407 adalah 9,5), sementara riset publik menutupinya dengan label buatan mesin dan pra-pelatihan swa-supervisi.
| Metrik | Nilai | Sumber |
|---|---|---|
| Total video LRS3-TED dan ceramah sumber; ukuran set uji | lebih dari 400 jam dari 5.594 ceramah TED dan TEDx; 1 jam, 1.452 ujaran, 451 pembicara | Afouras, Chung dan Zisserman (Oxford VGG), LRS3-TED 2018 |
| Set pra-latih LRS2-BBC berbanding set latih-validasi | 195 jam (96 ribu ujaran) berbanding 29 jam (47 ribu ujaran) | Afouras, Chung dan Zisserman (Oxford VGG), LRS3-TED 2018, Tabel 1 |
| Dataset YouTube LSVSR: jam, ujaran, kosakata | 3.886 jam; 2.934.899 ujaran; 127.055 kata | Shillingford et al. (DeepMind dan Google), 2018 |
| Video VoxCeleb2 bahasa Inggris yang dipakai untuk pra-pelatihan; total data pra-pelatihan AV-HuBERT | 1.326 jam; 1.759 jam | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Korpus audio-visual multibahasa MuAViC | 1.200 jam dalam 9 bahasa | Anwar et al. (Meta AI), MuAViC 2023 |
| Set uji WildVSR: jam, ujaran, pembicara, kosakata | 4,8 jam; 2.854 ujaran; 618 pembicara; 6.040 kata | Djilali et al. (Technology Innovation Institute), Do VSR Models Generalize Beyond LRS3?, 2023 |
Konteks: pembagian pra-latih dan latih-validasi LRS3 tumpang tindih dalam isinya, sehingga jamnya tidak boleh dijumlahkan. Data terbaru yang tersedia untuk tolok ukur inti: makalah LRS3-TED, 2018. Makalah MuAViC menyebut dirinya tolok ukur terbuka terbesar untuk pengenalan ucapan audio-visual multibahasa.
5. Skala Data Pelatihan vs Akurasi Pembacaan Bibir
Lebih banyak video masih membeli akurasi, tetapi pelatihan yang lebih cerdas membeli lebih banyak per jam. AV-HuBERT menyamai sistem 31.000 jam hanya dengan 30 jam berlabel: WER 32,5% berbanding 33,6% (Shi et al., Meta AI, ICLR 2022). Pra-pelatihan swa-supervisi pada video tanpa label yang melakukan pekerjaan beratnya: arsitektur yang sama yang dilatih dari nol pada 30 jam itu memperoleh 92,3%.
Jam tetap penting, tetapi tidak menentukan peringkat. Naik dari 818 ke 3.448 jam pelatihan memangkas kesalahan pembacaan bibir LRS3 sebesar 13,9 poin (33,0 dikurangi 19,1). Dua pelatihan yang jauh lebih besar pada tabel di bawah kemudian terpaut 4,2 poin, 17,0% pada sekitar 90.000 jam dan 12,8% pada 100 ribu jam, yang menunjukkan bahwa arsitektur berperan di samping volume.
| Metrik | Nilai | Sumber |
|---|---|---|
| WER pembacaan bibir pada LRS3 dengan 818 berbanding 1.902 berbanding 3.448 jam pelatihan (model yang dilatih pada sekitar 90.000 jam non-publik: 17,0%) | 33,0% berbanding 23,5% berbanding 19,1% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER pembacaan bibir pada LRS3, AV-HuBERT dengan 30 jam berlabel berbanding seluruh 433 jam berlabel plus pelatihan mandiri (terbaik sebelumnya: 33,6% pada 31.000 jam) | 32,5% berbanding 26,9% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| WER pembacaan bibir pada LRS3, arsitektur besar yang sama dilatih dari nol dengan 30 berbanding 433 jam berlabel | 92,3% berbanding 62,3% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022, Tabel 1 |
| Data berlabel yang dipakai pembaca bibir berbasis fonem dibandingkan pendekatan terbaik berikutnya | 99,4% lebih sedikit (untuk WER 18,7% pada LRS3) | Thomas, Fish dan Bowden, VALLR, arXiv 2025 |
| Video pelatihan di balik WER pembacaan bibir 12,8% milik Google pada LRS3 | 100 ribu jam segmen YouTube bertranskripsi, lalu fine-tuning pada LRS3 (lebih dari 400 jam) | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
Konteks: model bahasa yang lebih besar juga bukan jalan pintas. Jain dan Harte (arXiv, September 2025) menyimpulkan bahwa dekoder model bahasa besar terutama menyempurnakan penalaran kontekstual, bukan fitur visual, dan bahwa encoder visual yang lebih kuat diperlukan untuk kemajuan berikutnya.
6. Di Luar Ceramah TED: Video di Dunia Nyata dan Pembacaan Bibir Non-Inggris
WER tolok ukur membuat pembacaan bibir tampak lebih baik daripada kenyataan. Ketika para peneliti membangun set uji baru dari video YouTube dengan mengikuti dengan cermat proses pembuatan LRS3, model pembacaan bibir mutakhir kehilangan rata-rata 30 poin WER (Djilali et al., WildVSR 2023). Audio bergeser jauh lebih sedikit: Whisper naik dari 1,1% menjadi 4,2%. Peringkatnya bertahan, sehingga skor LRS3 yang lebih baik masih memprediksi skor WildVSR yang lebih baik.
Bahasa adalah titik buta kedua. Metode yang memperoleh WER 31,5% pada LRS3 bahasa Inggris memperoleh 56,3% atau lebih buruk pada ceramah bergaya TED berbahasa Spanyol, Italia, dan Prancis (Ma, Petridis dan Pantic, Nature Machine Intelligence 2022). Data terbaru yang tersedia untuk pembacaan bibir non-Inggris: makalah 2022 itu.
| Metrik | Nilai | Sumber |
|---|---|---|
| Kenaikan WER rata-rata untuk model pembacaan bibir mutakhir, LRS3 ke WildVSR | 30 poin | Djilali et al., WildVSR 2023 |
| WER pembacaan bibir, model terbaik yang diuji (Auto-AVSR, 3.448 jam), LRS3 berbanding WildVSR | 19,1% berbanding 38,6% | Djilali et al., WildVSR 2023, Tabel 2 |
| WER hanya-audio, Whisper, LRS3 berbanding WildVSR | 1,1% berbanding 4,2% | Djilali et al., WildVSR 2023, Tabel 2 |
| Hubungan terfit antara WER WildVSR dan WER LRS3 di berbagai model | WER WildVSR = sekitar 1,31 x WER LRS3 + 14,05 | Djilali et al., WildVSR 2023 |
| WER pembacaan bibir, model dekoder Llama-2-13B, LRS3 berbanding WildVSR | 24,7% berbanding 47,0% | Jain dan Harte, From Hype to Insight, arXiv 2025 |
| Kesalahan pembacaan bibir menurut bahasa, eksekusi terbaik: tingkat kesalahan karakter bahasa Mandarin (CMLR) berbanding tingkat kesalahan kata bahasa Spanyol, Italia, dan Prancis (Multilingual TEDx) | 8,0% berbanding 56,3%, 57,4% dan 66,2% | Ma, Petridis dan Pantic, Nature Machine Intelligence 2022 |
Konteks: angka bahasa Mandarin menghitung kesalahan per karakter, bukan per kata, sehingga tidak dapat langsung dibandingkan dengan angka WER. Kesenjangan WildVSR untuk model terbaik adalah 19,5 poin (38,6 dikurangi 19,1), di bawah rata-rata 30 poin, sejalan dengan temuan para penulis bahwa model yang lebih kuat menurun lebih sedikit.
7. Privasi, Pengawasan, dan Aksesibilitas
Kekhawatiran privasi yang terdokumentasi bersifat konkret: para peneliti sendiri menandai CCTV. Ma, Petridis dan Pantic menyebut pengenalan ucapan visual sebagai ‘teknologi dwiguna’ yang ‘dapat dikerahkan untuk pengawasan melalui CCTV atau bahkan melalui kamera ponsel pintar, yang menimbulkan kekhawatiran privasi’, dan mereka berpendapat bahwa regulasi pemerintah diperlukan. Mereka juga melaporkan bahwa aplikasi ponsel pintar untuk membantu penyandang gangguan bicara berkomunikasi sedang diuji coba di rumah sakit NHS Inggris pada saat itu. Komisioner Kamera Pengawas Inggris (Surveillance Camera Commissioner), Tony Porter, memperingatkan teknologi pengawasan berbasis pembacaan bibir yang akan datang pada Agustus 2019 (Big Brother Watch, 28 Agustus 2019).
Penyeimbangnya bersifat teknis. Peneliti Oxford VGG menilai penyadapan lewat CCTV sebagai ‘risiko sangat rendah’ karena kamera ‘biasanya beroperasi pada resolusi dan frame rate yang jauh lebih rendah serta dari sudut yang tidak lazim’ (Prajwal, Afouras dan Zisserman, 2021). Sistem 3.886 jam itu dilatih hanya pada wajah yang menoleh dalam 30 derajat dari kamera, dan para penulisnya mengatakan sistem itu tidak berkinerja baik dalam konteks lain (Shillingford et al., 2018). Argumen aksesibilitas bertumpu pada populasi yang besar: lembar fakta WHO mencantumkan takarir dan pembacaan ucapan di antara dukungan bagi gangguan pendengaran. AI bahasa visual di luar bibir dibahas dalam statistik AI bahasa isyarat dan visi komputer kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Kondisi pelatihan sistem pembacaan bibir 3.886 jam: sudut kepala; ukuran wajah minimum; frame rate minimum | yaw dan pitch dalam kisaran plus minus 30 derajat; minimal 80 piksel di antara mata; klip di bawah 23 bingkai per detik dibuang | Shillingford et al. (DeepMind dan Google), 2018 |
| Tinggi minimum bibir tertutup dalam video untuk pembacaan bibir otomatis yang andal | 4 piksel | Bear, Harvey, Theobald dan Lan, Resolution limits on visual speech recognition, ICIP 2014 |
| Resolusi video terendah yang diuji dalam studi resolusi berbanding sumber full HD | 42 x 32 berbanding 1440 x 1080 piksel (18 resolusi diuji) | Bear, Harvey, Theobald dan Lan, ICIP 2014 |
| Orang yang memerlukan rehabilitasi karena gangguan pendengaran yang melumpuhkan | 430 juta (lebih dari 5% populasi dunia) | Organisasi Kesehatan Dunia, Deafness and hearing loss fact sheet, 3 Maret 2026 |
| Orang yang diproyeksikan mengalami gangguan pendengaran dalam tingkat tertentu berbanding gangguan pendengaran yang melumpuhkan pada 2050 | hampir 2,5 miliar berbanding lebih dari 700 juta | Organisasi Kesehatan Dunia, Deafness and hearing loss fact sheet, 3 Maret 2026 |
| Biaya global tahunan gangguan pendengaran yang tidak tertangani | hampir 1 triliun dolar AS | Organisasi Kesehatan Dunia, Deafness and hearing loss fact sheet, 3 Maret 2026 |
Konteks: studi Bear et al. memakai sekitar 30 menit video dari dua pembicara, sehingga batas bawah 4 piksel adalah batas indikatif, bukan jaminan. Data terbaru yang tersedia untuk batas resolusi: Bear et al., 2014.
Ringkasan: WER Pengenalan Ucapan Visual Berbasis Pembacaan Bibir dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| WER pada SNR -7,5 dB dalam derau putih, hanya audio berbanding audio plus video | 88,9% berbanding 24,2% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER rata-rata di 4 jenis derau dan 5 tingkat SNR, model hanya-audio berbanding audio-visual | 25,8% berbanding 5,8% | Shi, Hsu dan Mohamed (Meta AI), Interspeech 2022 |
| WER bahasa Inggris pada derau babble 0 dB, Whisper-Large hanya audio berbanding Whisper-Flamingo | 13,8% berbanding 7,2% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER pada LRS3, hanya audio berbanding audio plus video, sistem berbasis LLM | 0,79% berbanding 0,77% | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| WER pembacaan bibir pada LRS3, model Google Conformer | 12,8% | Chang et al. (Google), 2023 |
| WER pembacaan bibir pada LRS3, model berbasis fonem dengan data berlabel 99,4% lebih sedikit | 18,7% | Thomas, Fish dan Bowden, VALLR, arXiv 2025 |
| WER pembacaan bibir pada LRS3, AV-HuBERT dengan 30 jam berlabel berbanding terbaik sebelumnya pada 31.000 jam | 32,5% berbanding 33,6% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Kenaikan WER rata-rata untuk model pembacaan bibir mutakhir, LRS3 ke WildVSR | 30 poin | Djilali et al., WildVSR 2023 |
| WER pembacaan bibir, model dekoder Llama-2-13B, LRS3 berbanding WildVSR | 24,7% berbanding 47,0% | Jain dan Harte, arXiv 2025 |
| Kata benar dari kalimat tanpa suara, 84 mahasiswa berpendengaran normal | 12,4% | Altieri, Pisoni dan Townsend, JASA 2011 |
| Kata benar dari kalimat tanpa suara, gangguan pendengaran onset dini berbanding pendengaran normal | 43,55% berbanding 18,57% | Auer dan Bernstein, JSLHR 2007 |
| WER pada klip YouTube, pembaca bibir profesional (tanpa berbanding dengan konteks) berbanding mesin | 92,9% dan 86,4% berbanding 40,9% | Shillingford et al. (DeepMind dan Google), 2018 |
| WER pada klip BBC, pembaca bibir profesional berbanding model hanya-bibir | 73,8% berbanding 50,2% | Chung et al. (Oxford VGG dan Google DeepMind), CVPR 2017 |
| Manfaat visual pada kondisi bising untuk ucapan jernih, orang dewasa berpendengaran normal | 3,74 dB | Blackburn et al., Trends in Hearing 2019 |
| Video dan ceramah LRS3-TED | lebih dari 400 jam, 5.594 ceramah | Afouras, Chung dan Zisserman (Oxford VGG), 2018 |
| Tinggi minimum bibir tertutup dalam video untuk pembacaan bibir otomatis yang andal | 4 piksel | Bear et al., ICIP 2014 |
| Orang yang memerlukan rehabilitasi karena gangguan pendengaran yang melumpuhkan | 430 juta | Organisasi Kesehatan Dunia, 2026 |
Metodologi dan Sumber
- Ma et al., Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels, ICASSP 2023: kesenjangan modalitas, tabel ketahanan terhadap derau, dan penskalaan data pelatihan.
- Cappellazzo et al., Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR), ICASSP 2025: WER audio dan audio-visual pada LRS3.
- Rouditchenko et al., Whisper-Flamingo, Interspeech 2024: WER pada audio bersih dan derau babble untuk Whisper hanya-audio berbanding audio-visual.
- Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023: WER pembacaan bibir 12,8% pada LRS3 dan set pelatihan 100 ribu jamnya.
- Thomas, Fish dan Bowden, VALLR: Visual ASR Language Model for Lip Reading, arXiv 2025: WER 18,7% dan efisiensi data berlabel.
- Jain dan Harte, From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition, arXiv September 2025: hasil dekoder LLM pada LRS3 dan WildVSR.
- Meta AI: Shi et al., AV-HuBERT, ICLR 2022 dan Shi, Hsu dan Mohamed, Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022: efisiensi data dan ketahanan terhadap derau.
- Anwar et al. (Meta AI), MuAViC multilingual audio-visual corpus, 2023: ukuran korpus dan cakupan bahasa.
- Oxford VGG: Afouras, Chung dan Zisserman, LRS3-TED, 2018 dan Prajwal, Afouras dan Zisserman, Sub-word Level Lip Reading With Visual Attention, 2021: ukuran dataset dan penilaian risiko CCTV.
- Chung et al., Lip Reading Sentences in the Wild, CVPR 2017: hasil bibir berbanding audio pada BBC, hasil derau, dan tolok ukur pembaca bibir profesional.
- Assael et al., LipNet: End-to-End Sentence-level Lipreading, 2016: hasil pada korpus kalimat GRID dan tolok ukur pembaca bibir dengan gangguan pendengaran.
- Shillingford et al., Large-Scale Visual Speech Recognition, 2018: dataset LSVSR, WER pembaca bibir profesional, batasan sudut wajah dan resolusi.
- Djilali et al., Do VSR Models Generalize Beyond LRS3? (WildVSR), 2023: kesenjangan generalisasi di dunia nyata.
- Ma, Petridis dan Pantic, Visual Speech Recognition for Multiple Languages in the Wild, Nature Machine Intelligence 2022: WER non-Inggris dan pembahasan dwiguna serta privasi.
- Altieri, Pisoni dan Townsend, Some normative data on lip-reading skills, JASA 2011: skor kalimat visual-saja pada manusia.
- Auer dan Bernstein, Enhanced visual speech perception in individuals with early-onset hearing impairment, JSLHR 2007: skor pembacaan bibir tunarungu berbanding orang yang mendengar.
- Blackburn et al., Visual Speech Benefit in Clear and Degraded Speech, Trends in Hearing 2019: manfaat visual dalam desibel.
- Lalonde, Buss, Miller dan Leibold, Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss, Frontiers in Psychology 2022: skor konsonan visual-saja untuk anak dan orang dewasa.
- Bear, Harvey, Theobald dan Lan, Resolution limits on visual speech recognition, ICIP 2014: resolusi bibir minimum.
- Organisasi Kesehatan Dunia, Deafness and hearing loss fact sheet, 3 Maret 2026: prevalensi gangguan pendengaran, proyeksi, dan biaya.
- Big Brother Watch, 28 Agustus 2019: laporan peringatan Komisioner Kamera Pengawas Inggris tentang pengawasan berbasis pembacaan bibir.
- Catatan data: skor pada set uji LRS3 tidak sebanding secara apel dengan apel antarmakalah yang berlatih pada data berbeda, dan set ujinya sangat kecil (1 jam untuk LRS3). Beberapa makalah mengklaim status state of the art pada tanggal yang berbeda: 0,79% dan 0,77% milik Llama-AVSR berdampingan dengan 0,68% dan 0,76% milik Whisper-Flamingo, dan 18,7% milik VALLR berdampingan dengan 12,8% milik Google yang lebih rendah, yang memakai data berlabel jauh lebih banyak. VALLR dan studi Jain dan Harte adalah pracetak tanpa venue yang ditelaah sejawat. Jam untuk dataset yang sama berbeda menurut sumber: makalah LRS3-TED mencantumkan 407 jam pra-latih, serta set pra-latih dan latih-validasi LRS2-BBC masing-masing 195 dan 29 jam, sedangkan Ma, Petridis dan Pantic menghitung 438 jam untuk LRS3 dan 223 jam untuk LRS2. Makalah WildVSR memberikan dua kemiringan untuk fit-nya (1,31 dan 1,30), dan Lampiran B-nya menyebut Whisper memperoleh WER di bawah 4 pada kedua set uji, yang bertentangan dengan angka 4,2 pada Tabel 2-nya. Makalah itu juga tidak menyebutkan ukuran model Whisper. Tolok ukur manusia bergantung pada panel yang sangat kecil (satu profesional untuk studi BBC, tiga pembaca bibir dengan gangguan pendengaran untuk LipNet), dan data normatif manusia berasal dari 2007 dan 2011. Studi Lalonde mensimulasikan masker alih-alih meminta pembicara memakainya. Kami tidak menemukan pengukuran akurasi pembacaan bibir dari rekaman CCTV nyata yang ditelaah sejawat: kekhawatiran pengawasan yang dikutip di sini adalah peringatan yang terdokumentasi, bukan penerapan yang terukur.
Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika prosiding ICASSP 2027 dan Interspeech 2027 menerbitkan hasil LRS3 dan WildVSR yang baru.