Việc bổ sung video môi của người nói đã giảm tỷ lệ lỗi từ của một hệ thống nhận dạng giọng nói từ 88,9% xuống 24,2% trong nhiễu trắng lớn ở mức -7,5 dB (Ma et al., Auto-AVSR, ICASSP 2023). Chỉ riêng môi vẫn yếu hơn âm thanh rất nhiều: một mô hình đọc khẩu hình năm 2025 báo cáo WER 18,7% trên chuẩn đánh giá bài nói TED LRS3 (Thomas, Fish và Bowden, VALLR 2025), trong khi một hệ thống âm thanh-hình ảnh dựa trên LLM đạt 0,77% (Cappellazzo et al., Llama-AVSR, ICASSP 2025). Đọc khẩu hình của con người là mức chuẩn còn thấp hơn: các chuyên gia đọc khẩu hình đạt WER từ 86,4% đến 92,9% trên clip YouTube (Shillingford et al., DeepMind và Google, Large-Scale Visual Speech Recognition 2018). Chúng tôi tổng hợp dữ liệu từ các bộ dữ liệu LRS2 và LRS3 của Oxford Visual Geometry Group (VGG), các bài báo AV-HuBERT của Meta AI, nghiên cứu khái quát hóa WildVSR, Tổ chức Y tế Thế giới, và các nghiên cứu về thính giác được bình duyệt trên JASA, JSLHR và Trends in Hearing. Để xem các bộ nhận dạng chỉ dùng âm thanh suy giảm thế nào giữa các người nói, hãy xem thống kê thiên lệch giọng vùng miền trong nhận dạng giọng nói của chúng tôi.
Một lưu ý về các thuật ngữ dùng xuyên suốt bài: WER (tỷ lệ lỗi từ) là tỷ lệ số từ mà hệ thống nhận sai, tính cả từ bị thay thế, bị thiếu và bị thừa, nên càng thấp càng tốt. VSR (nhận dạng lời nói bằng hình ảnh) nghĩa là máy đọc khẩu hình từ video không có tiếng, ASR là nhận dạng chỉ dùng âm thanh, còn AVSR là nhận dạng âm thanh-hình ảnh dùng cả hai. SNR (tỷ số tín hiệu trên nhiễu) đo mức độ lời nói to hơn nhiễu nền; SNR âm nghĩa là nhiễu to hơn giọng nói.
Tóm tắt nhanh
- WER tiếng Anh trong nhiễu babble 0 dB giảm từ 13,8% với Whisper-Large chỉ dùng âm thanh xuống 7,2% với Whisper-Flamingo âm thanh-hình ảnh (Rouditchenko et al., Interspeech 2024).
- Một hệ thống dựa trên LLM báo cáo WER 0,77% khi dùng âm thanh-hình ảnh và 0,79% khi chỉ dùng âm thanh trên LRS3 (Cappellazzo et al., Llama-AVSR, ICASSP 2025).
- Một mô hình đọc khẩu hình của Google báo cáo WER 12,8% trên LRS3, được mô tả là sánh ngang các mô hình chỉ dùng âm thanh của bốn năm trước (Chang et al., Google, Conformers paper 2023).
- Một mô hình đọc khẩu hình dựa trên âm vị đạt WER 18,7% trên LRS3 với lượng dữ liệu có nhãn ít hơn 99,4% so với phương pháp tốt nhất tiếp theo (Thomas, Fish và Bowden, VALLR 2025).
- Các chuyên gia đọc khẩu hình đạt WER 92,9% khi không có ngữ cảnh và 86,4% khi có ngữ cảnh, so với 40,9% của một hệ thống máy (Shillingford et al., DeepMind và Google 2018).
- 84 sinh viên đại học nghe bình thường nhận ra 12,4% số từ từ video không tiếng của các câu (Altieri, Pisoni và Townsend, JASA 2011).
- Người trưởng thành mất thính lực khởi phát sớm đọc được 43,55% số từ từ môi so với 18,57% ở người trưởng thành nghe bình thường (Auer và Bernstein, JSLHR 2007).
- Chỉ với 30 giờ có nhãn, AV-HuBERT đạt WER đọc khẩu hình 32,5%, vượt hệ thống 33,6% được huấn luyện trên 31.000 giờ (Shi et al., Meta AI, ICLR 2022).
- Các mô hình đọc khẩu hình tiên tiến nhất mất trung bình 30 điểm WER khi chuyển từ LRS3 sang tập kiểm tra WildVSR (Djilali et al., WildVSR 2023).
- Khuôn mặt nhìn thấy được làm giảm ngưỡng nhiễu để hiểu lời nói rõ xuống 3,74 dB (Blackburn et al., Trends in Hearing 2019).
- 430 triệu người cần phục hồi chức năng do mất thính lực gây tàn tật (Tổ chức Y tế Thế giới, Deafness and hearing loss fact sheet 2026).
1. Môi, Âm thanh và Cả Hai: Khoảng Cách Giữa Các Phương Thức Theo Tỷ Lệ Lỗi Từ
Khoảng cách giữa mắt và tai vẫn lớn hơn một bậc độ lớn. Điểm đọc khẩu hình thấp nhất trên LRS3 trong bài tổng hợp này là WER 12,8% và 18,7%, trong khi điểm thấp nhất của âm thanh và âm thanh-hình ảnh đều dưới 1%. Các âm khác nhau có thể tạo ra đúng cùng một chuyển động môi (‘p’ và ‘b’ là ví dụ kinh điển), nên một mô hình không tiếng phải suy luận từ ngữ cảnh những gì mô hình âm thanh chỉ cần nghe.
Con số đáng ngạc nhiên hơn nằm ở đầu bảng. Với âm thanh sạch, video hầu như không bổ sung gì và thậm chí có thể làm kết quả kém đi đôi chút: Whisper-Flamingo đạt WER 0,76% khi dùng âm thanh-hình ảnh so với 0,68% khi chỉ dùng âm thanh trên LRS3 (Rouditchenko et al., Interspeech 2024). Giá trị của môi thể hiện trong môi trường ồn (xem mục 2), không phải trên các bài nói TED chất lượng phòng thu. Bài báo Llama-AVSR cũng cho thấy kết quả gần như hòa tương tự, ở mức 0,79% so với 0,77%.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| WER trên LRS3, chỉ đọc khẩu hình so với chỉ âm thanh so với âm thanh cộng video, mô hình huấn luyện trên 3.448 giờ | 19,1% so với 1,0% so với 0,9% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER trên LRS3, chỉ âm thanh so với âm thanh cộng video, hệ thống dựa trên LLM | 0,79% so với 0,77% | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| WER trên LRS3, chỉ âm thanh so với âm thanh cộng video, hệ thống dựa trên Whisper | 0,68% so với 0,76% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER đọc khẩu hình trên LRS3, mô hình Google Conformer | 12,8% | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
| WER đọc khẩu hình trên LRS3, mô hình dựa trên âm vị kết hợp mô hình ngôn ngữ lớn | 18,7% | Thomas, Fish và Bowden, VALLR, arXiv 2025 (sửa đổi ngày 5 tháng 1 năm 2026) |
| WER trên truyền hình BBC (LRS), chỉ môi so với chỉ âm thanh sạch so với âm thanh sạch cộng môi | 50,2% so với 17,7% so với 13,9% | Chung et al. (Oxford VGG và Google DeepMind), Lip Reading Sentences in the Wild, CVPR 2017 |
Bối cảnh: bài báo Auto-AVSR báo cáo các con số này cho mô hình huấn luyện trên 3.448 giờ, và tỷ lệ lỗi chỉ dùng môi của nó trên bộ LRS2 dựa trên BBC thấp hơn, ở mức 14,6%, so với 1,5% khi chỉ dùng âm thanh. Các mô hình này dùng chung một tập kiểm tra nhưng không dùng chung dữ liệu huấn luyện, nên điểm số không so sánh ngang bằng được. Các hệ thống chỉ dùng âm thanh còn có những kiểu thất bại riêng ngoài lỗi từ thông thường, được đề cập trong thống kê ảo giác trong nhận dạng giọng nói của chúng tôi.
2. Video Giúp Nhận Dạng Lời Nói Được Bao Nhiêu Ở SNR Thấp
Đây là nơi video môi chứng minh giá trị của mình. Khi nhiễu tăng, lỗi chỉ dùng âm thanh tăng rất dốc trong khi lỗi âm thanh-hình ảnh tăng chậm, nên khoảng cách nới rộng đúng ở nơi phụ đề và giao diện giọng nói thất bại nhiều nhất. Mô hình âm thanh-hình ảnh của Meta đạt WER trung bình 5,8% trong môi trường ồn so với 25,8% của phiên bản chỉ dùng âm thanh, trên 4 loại nhiễu và 5 mức SNR từ -10 đến 10 dB (Shi, Hsu và Mohamed, Interspeech 2022).
Loại nhiễu có ảnh hưởng. Babble (nhiều người nói chuyện ở phía sau) làm hại mô hình chỉ dùng âm thanh ít nhất trong các thử nghiệm -7,5 dB dưới đây, nhưng babble cũng được dùng trong huấn luyện, nên các tác giả cảnh báo rằng những kết quả đó không thể so sánh trực tiếp với nhiễu hồng và nhiễu trắng (tiếng xì băng rộng). Hai loại nhiễu đó tạo ra khoảng cách lớn nhất.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| WER ở SNR -7,5 dB, chỉ âm thanh so với âm thanh cộng video: nhiễu trắng; nhiễu hồng; nhiễu babble | 88,9% so với 24,2%; 56,8% so với 16,2%; 8,3% so với 5,6% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER trong nhiễu trắng ở SNR 2,5 dB, chỉ âm thanh so với âm thanh cộng video | 10,4% so với 4,3% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER trung bình trên 4 loại nhiễu và 5 mức SNR (-10 đến 10 dB), mô hình chỉ âm thanh so với mô hình âm thanh-hình ảnh xây dựng trên AV-HuBERT | 25,8% so với 5,8% | Shi, Hsu và Mohamed (Meta AI), Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022 |
| WER trong nhiễu babble, mức tiên tiến nhất trước đó huấn luyện trên 433 giờ có nhãn so với AV-HuBERT huấn luyện trên 30 giờ có nhãn | 28,0% so với 14,1% | Shi, Hsu và Mohamed (Meta AI), Interspeech 2022 |
| WER tiếng Anh trong nhiễu babble ở SNR 0 dB (kiểm tra MuAViC), Whisper-Large chỉ âm thanh so với Whisper-Flamingo âm thanh-hình ảnh | 13,8% so với 7,2% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER trên truyền hình BBC ở SNR 10 dB và 0 dB, chỉ âm thanh so với âm thanh cộng môi | 37,6% và 62,9% so với 27,6% và 42,0% | Chung et al. (Oxford VGG và Google DeepMind), CVPR 2017 |
Lưu ý về giá trị ngoại lệ: các số liệu BBC năm 2017 đến từ một thế hệ mô hình yếu hơn nhiều, nhưng cho thấy cùng một quy luật ở mức lỗi cao hơn. Ở 0 dB, việc thêm môi giảm lỗi 20,9 điểm (62,9 trừ 42,0); với nhiễu trắng -7,5 dB năm 2023, mức giảm là 64,7 điểm (88,9 trừ 24,2). Dữ liệu mới nhất hiện có cho phép so sánh BBC đó: nghiên cứu năm 2017.
3. Người Đọc Khẩu Hình Là Con Người Làm Mức Chuẩn
Đọc khẩu hình của con người khó hơn nhiều so với hầu hết mọi người nghĩ. Người trưởng thành trẻ nghe bình thường chỉ nhận ra 12,4% số từ từ video không tiếng của các câu nói (Altieri, Pisoni và Townsend, JASA 2011). Việc dựa vào khuôn mặt suốt đời nâng con số này lên đáng kể: người trưởng thành mất thính lực từ sớm đọc được nhiều hơn gấp đôi số từ so với người trưởng thành nghe được (Auer và Bernstein, JSLHR 2007).
Máy đã vượt các chuyên gia được đào tạo từ nhiều năm trước trên video chuẩn đánh giá, nhưng phép so sánh có giới hạn. Các mức chuẩn của con người dùng mẫu nhỏ: 300 video và 3 người đọc khẩu hình cho LipNet, 200 video và một chuyên gia cho nghiên cứu BBC. Chuyên gia đó có thể biết mỗi clip đến từ chương trình nào, xem trước các video huấn luyện mẫu và xem lại clip không giới hạn, nên điểm của con người không phải là kết quả đọc lần đầu. Về khía cạnh lớp học của giáo dục người khiếm thính, hãy xem thống kê giáo dục học sinh khiếm thính và nghe kém của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Số từ đúng từ video không tiếng của các câu CUNY, 84 sinh viên đại học nghe bình thường | 12,4% (ĐLC 6,67%) | Altieri, Pisoni và Townsend (Indiana University), Some normative data on lip-reading skills, JASA 2011 |
| Số từ đúng từ video không tiếng của 30 câu, người trưởng thành mất thính lực khởi phát sớm (n = 112) so với nghe bình thường (n = 220) | 43,55% (ĐLC 17,48) so với 18,57% (ĐLC 13,18); t(330) = 14,576, p < 0,01 | Auer và Bernstein, JSLHR 2007 |
| Phụ âm được nhận ra từ video không tiếng khi không đeo khẩu trang: trẻ em nghe bình thường so với trẻ em mất thính lực so với người trưởng thành nghe bình thường | khoảng 31% so với 33% so với 42% | Lalonde, Buss, Miller và Leibold, Frontiers in Psychology 2022 |
| WER trên các câu GRID của những người nói chưa từng thấy, 3 người đọc khẩu hình khiếm thính so với LipNet | 47,7% so với 11,4% | Assael et al. (University of Oxford và Google DeepMind), LipNet 2016 |
| WER trên các clip kiểm tra BBC, một chuyên gia đọc khẩu hình so với mô hình máy chỉ dùng môi | 73,8% so với 50,2% (87,6% đối với con người khi tính cả các clip bị từ chối) | Chung et al. (Oxford VGG và Google DeepMind), CVPR 2017 |
| WER trên các clip YouTube, chuyên gia đọc khẩu hình không có ngữ cảnh so với có ngữ cảnh so với hệ thống máy | 92,9% so với 86,4% so với 40,9% | Shillingford et al. (DeepMind và Google), Large-Scale Visual Speech Recognition 2018 |
| Lợi ích thị giác đối với người trưởng thành nghe bình thường (mức giảm SNR cần thiết để đúng một nửa số từ khóa), lời nói rõ so với lời nói qua bộ mã hóa giọng nói bằng nhiễu | 3,74 dB (ĐLC 2,67) so với 4,68 dB (ĐLC 3,28) | Blackburn et al., Trends in Hearing 2019 |
Bối cảnh: trong thí nghiệm 1 của nghiên cứu Blackburn, người nghe chỉ đạt trung bình 1,56% đúng khi chỉ có video, nhưng việc nhìn thấy người nói vẫn cải thiện ngưỡng của họ so với chỉ có âm thanh (các con số 3,74 dB và 4,68 dB đến từ thí nghiệm 2). Đọc khẩu hình hoạt động tốt nhất như một sự bổ trợ cho âm thanh, đối với cả máy lẫn con người. Lời nói qua bộ mã hóa giọng nói bằng nhiễu là âm thanh bị cố ý làm suy giảm bằng cách loại bỏ chi tiết mịn khỏi âm thanh. Dữ liệu mới nhất hiện có cho điểm chuẩn tắc của con người: Altieri et al., 2011, và Auer và Bernstein, 2007.
4. Bộ Dữ Liệu Đọc Khẩu Hình: Số Giờ, Người Nói và Từ Vựng
Nghiên cứu đọc khẩu hình dựa vào một số ít bộ dữ liệu công khai được xây dựng từ truyền hình và các bài nói TED. Chuẩn đánh giá LRS3 có hơn 400 giờ từ 5.594 bài nói TED và TEDx, nhưng tập kiểm tra chỉ dài 1 giờ (Afouras, Chung và Zisserman, LRS3-TED 2018). Cả một lĩnh vực xếp hạng mô hình của mình trên 1.452 câu kiểm tra, đó là một lý do khiến mục 6 quan trọng.
Các tập huấn luyện lớn nhất thuộc về ngành công nghiệp. Bộ YouTube LSVSR 3.886 giờ lớn gần gấp mười lần tập tiền huấn luyện LRS3 (3.886 chia 407 bằng 9,5), trong khi nghiên cứu công khai bù đắp bằng nhãn do máy tạo ra và tiền huấn luyện tự giám sát.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tổng video LRS3-TED và các bài nói nguồn; kích thước tập kiểm tra | hơn 400 giờ từ 5.594 bài nói TED và TEDx; 1 giờ, 1.452 câu, 451 người nói | Afouras, Chung và Zisserman (Oxford VGG), LRS3-TED 2018 |
| Tập tiền huấn luyện LRS2-BBC so với tập huấn luyện-kiểm định | 195 giờ (96 nghìn câu) so với 29 giờ (47 nghìn câu) | Afouras, Chung và Zisserman (Oxford VGG), LRS3-TED 2018, Bảng 1 |
| Bộ dữ liệu YouTube LSVSR: số giờ, số câu, từ vựng | 3.886 giờ; 2.934.899 câu; 127.055 từ | Shillingford et al. (DeepMind và Google), 2018 |
| Video VoxCeleb2 tiếng Anh dùng để tiền huấn luyện; tổng dữ liệu tiền huấn luyện AV-HuBERT | 1.326 giờ; 1.759 giờ | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Kho dữ liệu âm thanh-hình ảnh đa ngôn ngữ MuAViC | 1.200 giờ bằng 9 ngôn ngữ | Anwar et al. (Meta AI), MuAViC 2023 |
| Tập kiểm tra WildVSR: số giờ, số câu, người nói, từ vựng | 4,8 giờ; 2.854 câu; 618 người nói; 6.040 từ | Djilali et al. (Technology Innovation Institute), Do VSR Models Generalize Beyond LRS3?, 2023 |
Bối cảnh: các phần tiền huấn luyện và huấn luyện-kiểm định của LRS3 trùng nhau về nội dung, nên không được cộng số giờ lại với nhau. Dữ liệu mới nhất hiện có cho các chuẩn đánh giá cốt lõi: bài báo LRS3-TED, 2018. Bài báo MuAViC tự giới thiệu là chuẩn đánh giá mở lớn nhất cho nhận dạng lời nói âm thanh-hình ảnh đa ngôn ngữ.
5. Quy Mô Dữ Liệu Huấn Luyện So Với Độ Chính Xác Đọc Khẩu Hình
Nhiều video hơn vẫn mua được độ chính xác, nhưng huấn luyện thông minh hơn mua được nhiều hơn trên mỗi giờ. AV-HuBERT sánh ngang một hệ thống 31.000 giờ chỉ với 30 giờ có nhãn: WER 32,5% so với 33,6% (Shi et al., Meta AI, ICLR 2022). Tiền huấn luyện tự giám sát trên video không có nhãn đã làm phần việc nặng: cùng kiến trúc đó, huấn luyện từ đầu chỉ trên 30 giờ này, đạt 92,3%.
Số giờ vẫn quan trọng nhưng không quyết định thứ hạng. Việc tăng từ 818 lên 3.448 giờ huấn luyện đã giảm lỗi đọc khẩu hình trên LRS3 đi 13,9 điểm (33,0 trừ 19,1). Hai lần huấn luyện lớn hơn nhiều trong bảng dưới đây sau đó chỉ cách nhau 4,2 điểm, 17,0% trên khoảng 90.000 giờ và 12,8% trên 100 nghìn giờ, cho thấy kiến trúc cũng quan trọng như khối lượng dữ liệu.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| WER đọc khẩu hình trên LRS3 với 818 so với 1.902 so với 3.448 giờ huấn luyện (một mô hình huấn luyện trên khoảng 90.000 giờ không công khai: 17,0%) | 33,0% so với 23,5% so với 19,1% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER đọc khẩu hình trên LRS3, AV-HuBERT với 30 giờ có nhãn so với toàn bộ 433 giờ có nhãn cộng tự huấn luyện (mức tốt nhất trước đó: 33,6% trên 31.000 giờ) | 32,5% so với 26,9% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| WER đọc khẩu hình trên LRS3, cùng kiến trúc lớn huấn luyện từ đầu với 30 so với 433 giờ có nhãn | 92,3% so với 62,3% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022, Bảng 1 |
| Dữ liệu có nhãn mà một mô hình đọc khẩu hình dựa trên âm vị sử dụng so với phương pháp tốt nhất tiếp theo | ít hơn 99,4% (cho WER 18,7% trên LRS3) | Thomas, Fish và Bowden, VALLR, arXiv 2025 |
| Video huấn luyện đứng sau WER đọc khẩu hình 12,8% của Google trên LRS3 | 100 nghìn giờ đoạn YouTube đã phiên âm, sau đó tinh chỉnh trên LRS3 (hơn 400 giờ) | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
Bối cảnh: các mô hình ngôn ngữ lớn hơn cũng không phải đường tắt. Jain và Harte (arXiv, tháng 9 năm 2025) kết luận rằng bộ giải mã mô hình ngôn ngữ lớn chủ yếu tinh chỉnh khả năng suy luận theo ngữ cảnh chứ không phải đặc trưng thị giác, và cần có bộ mã hóa thị giác mạnh hơn để tiến xa hơn.
6. Vượt Ra Ngoài Các Bài Nói TED: Video Ngoài Đời Thực và Đọc Khẩu Hình Ngoài Tiếng Anh
WER trên chuẩn đánh giá làm đọc khẩu hình trông tốt hơn thực tế. Khi các nhà nghiên cứu xây dựng một tập kiểm tra mới từ video YouTube bằng cách bám sát quy trình tạo LRS3, các mô hình đọc khẩu hình tiên tiến nhất mất trung bình 30 điểm WER (Djilali et al., WildVSR 2023). Âm thanh dịch chuyển ít hơn nhiều: Whisper đi từ 1,1% lên 4,2%. Tuy vậy, thứ hạng vẫn giữ nguyên, nên điểm LRS3 tốt hơn vẫn dự đoán điểm WildVSR tốt hơn.
Ngôn ngữ là điểm mù thứ hai. Phương pháp đạt WER 31,5% trên LRS3 tiếng Anh chỉ đạt 56,3% hoặc tệ hơn trên các bài nói kiểu TED bằng tiếng Tây Ban Nha, Ý và Pháp (Ma, Petridis và Pantic, Nature Machine Intelligence 2022). Dữ liệu mới nhất hiện có cho đọc khẩu hình ngoài tiếng Anh: bài báo năm 2022 đó.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Mức tăng WER trung bình của các mô hình đọc khẩu hình tiên tiến nhất, từ LRS3 sang WildVSR | 30 điểm | Djilali et al., WildVSR 2023 |
| WER đọc khẩu hình, mô hình tốt nhất được thử nghiệm (Auto-AVSR, 3.448 giờ), LRS3 so với WildVSR | 19,1% so với 38,6% | Djilali et al., WildVSR 2023, Bảng 2 |
| WER chỉ âm thanh, Whisper, LRS3 so với WildVSR | 1,1% so với 4,2% | Djilali et al., WildVSR 2023, Bảng 2 |
| Mối quan hệ khớp giữa WER WildVSR và WER LRS3 trên các mô hình | WER WildVSR = khoảng 1,31 x WER LRS3 + 14,05 | Djilali et al., WildVSR 2023 |
| WER đọc khẩu hình, mô hình bộ giải mã Llama-2-13B, LRS3 so với WildVSR | 24,7% so với 47,0% | Jain và Harte, From Hype to Insight, arXiv 2025 |
| Lỗi đọc khẩu hình theo ngôn ngữ, lần chạy tốt nhất: tỷ lệ lỗi ký tự tiếng Quan Thoại (CMLR) so với tỷ lệ lỗi từ tiếng Tây Ban Nha, Ý và Pháp (Multilingual TEDx) | 8,0% so với 56,3%, 57,4% và 66,2% | Ma, Petridis và Pantic, Nature Machine Intelligence 2022 |
Bối cảnh: con số tiếng Quan Thoại tính lỗi theo ký tự chứ không phải theo từ, nên không so sánh trực tiếp được với các con số WER. Khoảng cách WildVSR của mô hình tốt nhất là 19,5 điểm (38,6 trừ 19,1), thấp hơn mức trung bình 30 điểm, phù hợp với phát hiện của các tác giả rằng các mô hình mạnh hơn suy giảm ít hơn.
7. Quyền Riêng Tư, Giám Sát và Khả Năng Tiếp Cận
Mối lo ngại về quyền riêng tư đã được ghi nhận là cụ thể: chính các nhà nghiên cứu đã chỉ ra CCTV. Ma, Petridis và Pantic gọi nhận dạng lời nói bằng hình ảnh là ‘công nghệ lưỡng dụng’ mà ‘có thể được triển khai để giám sát qua CCTV hoặc thậm chí qua camera điện thoại thông minh, làm dấy lên những lo ngại về quyền riêng tư’, và họ lập luận rằng cần có quy định của chính phủ. Họ cũng báo cáo rằng vào thời điểm đó, một ứng dụng điện thoại thông minh giúp người khuyết tật ngôn ngữ giao tiếp đang được thử nghiệm tại các bệnh viện NHS của Vương quốc Anh. Ủy viên Camera Giám sát của Vương quốc Anh (Surveillance Camera Commissioner), Tony Porter, đã cảnh báo vào tháng 8 năm 2019 về công nghệ giám sát bằng đọc khẩu hình đang đến gần (Big Brother Watch, ngày 28 tháng 8 năm 2019).
Đối trọng mang tính kỹ thuật. Các nhà nghiên cứu Oxford VGG đánh giá việc nghe lén qua CCTV là ‘rủi ro rất thấp’ vì camera ‘thường hoạt động ở độ phân giải và tốc độ khung hình thấp hơn nhiều và từ những góc nhìn bất thường’ (Prajwal, Afouras và Zisserman, 2021). Hệ thống 3.886 giờ chỉ được huấn luyện trên những khuôn mặt quay trong phạm vi 30 độ so với camera, và các tác giả của nó cho biết hệ thống không hoạt động tốt trong các bối cảnh khác (Shillingford et al., 2018). Lập luận về khả năng tiếp cận dựa trên một quần thể lớn: bản tóm tắt của WHO liệt kê phụ đề và đọc khẩu hình trong số các hình thức hỗ trợ cho người mất thính lực. AI ngôn ngữ thị giác ngoài môi được đề cập trong thống kê AI ngôn ngữ ký hiệu và thị giác máy tính của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Điều kiện huấn luyện của hệ thống đọc khẩu hình 3.886 giờ: góc đầu; kích thước khuôn mặt tối thiểu; tốc độ khung hình tối thiểu | góc quay ngang và góc nghiêng trong phạm vi cộng trừ 30 độ; tối thiểu 80 pixel giữa hai mắt; các clip dưới 23 khung hình mỗi giây bị loại | Shillingford et al. (DeepMind và Google), 2018 |
| Chiều cao tối thiểu của đôi môi khép kín trong video để đọc khẩu hình tự động tin cậy | 4 pixel | Bear, Harvey, Theobald và Lan, Resolution limits on visual speech recognition, ICIP 2014 |
| Độ phân giải video thấp nhất được thử nghiệm trong nghiên cứu độ phân giải so với nguồn full HD | 42 x 32 so với 1440 x 1080 pixel (đã thử nghiệm 18 độ phân giải) | Bear, Harvey, Theobald và Lan, ICIP 2014 |
| Số người cần phục hồi chức năng do mất thính lực gây tàn tật | 430 triệu (hơn 5% dân số thế giới) | Tổ chức Y tế Thế giới, Deafness and hearing loss fact sheet, ngày 3 tháng 3 năm 2026 |
| Số người được dự báo bị mất thính lực ở mức độ nào đó so với mất thính lực gây tàn tật vào năm 2050 | gần 2,5 tỷ so với hơn 700 triệu | Tổ chức Y tế Thế giới, Deafness and hearing loss fact sheet, ngày 3 tháng 3 năm 2026 |
| Chi phí toàn cầu hàng năm của tình trạng mất thính lực không được giải quyết | gần 1 nghìn tỷ đô la Mỹ | Tổ chức Y tế Thế giới, Deafness and hearing loss fact sheet, ngày 3 tháng 3 năm 2026 |
Bối cảnh: nghiên cứu của Bear et al. dùng khoảng 30 phút video của hai người nói, nên ngưỡng 4 pixel là một giới hạn mang tính chỉ dẫn, không phải đảm bảo. Dữ liệu mới nhất hiện có cho giới hạn độ phân giải: Bear et al., 2014.
Tổng kết: WER Nhận Dạng Lời Nói Bằng Hình Ảnh Qua Đọc Khẩu Hình Qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| WER ở SNR -7,5 dB trong nhiễu trắng, chỉ âm thanh so với âm thanh cộng video | 88,9% so với 24,2% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER trung bình trên 4 loại nhiễu và 5 mức SNR, mô hình chỉ âm thanh so với mô hình âm thanh-hình ảnh | 25,8% so với 5,8% | Shi, Hsu và Mohamed (Meta AI), Interspeech 2022 |
| WER tiếng Anh trong nhiễu babble 0 dB, Whisper-Large chỉ âm thanh so với Whisper-Flamingo | 13,8% so với 7,2% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER trên LRS3, chỉ âm thanh so với âm thanh cộng video, hệ thống dựa trên LLM | 0,79% so với 0,77% | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| WER đọc khẩu hình trên LRS3, mô hình Google Conformer | 12,8% | Chang et al. (Google), 2023 |
| WER đọc khẩu hình trên LRS3, mô hình dựa trên âm vị với dữ liệu có nhãn ít hơn 99,4% | 18,7% | Thomas, Fish và Bowden, VALLR, arXiv 2025 |
| WER đọc khẩu hình trên LRS3, AV-HuBERT với 30 giờ có nhãn so với mức tốt nhất trước đó trên 31.000 giờ | 32,5% so với 33,6% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Mức tăng WER trung bình của các mô hình đọc khẩu hình tiên tiến nhất, từ LRS3 sang WildVSR | 30 điểm | Djilali et al., WildVSR 2023 |
| WER đọc khẩu hình, mô hình bộ giải mã Llama-2-13B, LRS3 so với WildVSR | 24,7% so với 47,0% | Jain và Harte, arXiv 2025 |
| Số từ đúng từ các câu không tiếng, 84 sinh viên đại học nghe bình thường | 12,4% | Altieri, Pisoni và Townsend, JASA 2011 |
| Số từ đúng từ các câu không tiếng, mất thính lực khởi phát sớm so với nghe bình thường | 43,55% so với 18,57% | Auer và Bernstein, JSLHR 2007 |
| WER trên các clip YouTube, chuyên gia đọc khẩu hình (không có so với có ngữ cảnh) so với máy | 92,9% và 86,4% so với 40,9% | Shillingford et al. (DeepMind và Google), 2018 |
| WER trên các clip BBC, chuyên gia đọc khẩu hình so với mô hình chỉ dùng môi | 73,8% so với 50,2% | Chung et al. (Oxford VGG và Google DeepMind), CVPR 2017 |
| Lợi ích thị giác trong môi trường ồn đối với lời nói rõ, người trưởng thành nghe bình thường | 3,74 dB | Blackburn et al., Trends in Hearing 2019 |
| Video và bài nói LRS3-TED | hơn 400 giờ, 5.594 bài nói | Afouras, Chung và Zisserman (Oxford VGG), 2018 |
| Chiều cao tối thiểu của đôi môi khép kín trong video để đọc khẩu hình tự động tin cậy | 4 pixel | Bear et al., ICIP 2014 |
| Số người cần phục hồi chức năng do mất thính lực gây tàn tật | 430 triệu | Tổ chức Y tế Thế giới, 2026 |
Phương pháp luận và Nguồn
- Ma et al., Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels, ICASSP 2023: khoảng cách giữa các phương thức, bảng khả năng chống nhiễu và việc mở rộng quy mô dữ liệu huấn luyện.
- Cappellazzo et al., Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR), ICASSP 2025: WER âm thanh và âm thanh-hình ảnh trên LRS3.
- Rouditchenko et al., Whisper-Flamingo, Interspeech 2024: WER trong môi trường sạch và nhiễu babble cho Whisper chỉ âm thanh so với âm thanh-hình ảnh.
- Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023: WER đọc khẩu hình 12,8% trên LRS3 và tập huấn luyện 100 nghìn giờ của nó.
- Thomas, Fish và Bowden, VALLR: Visual ASR Language Model for Lip Reading, arXiv 2025: WER 18,7% và hiệu quả dữ liệu có nhãn.
- Jain và Harte, From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition, arXiv tháng 9 năm 2025: kết quả bộ giải mã LLM trên LRS3 và WildVSR.
- Meta AI: Shi et al., AV-HuBERT, ICLR 2022 và Shi, Hsu và Mohamed, Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022: hiệu quả dữ liệu và khả năng chống nhiễu.
- Anwar et al. (Meta AI), MuAViC multilingual audio-visual corpus, 2023: quy mô kho dữ liệu và phạm vi ngôn ngữ.
- Oxford VGG: Afouras, Chung và Zisserman, LRS3-TED, 2018 và Prajwal, Afouras và Zisserman, Sub-word Level Lip Reading With Visual Attention, 2021: kích thước bộ dữ liệu và đánh giá rủi ro CCTV.
- Chung et al., Lip Reading Sentences in the Wild, CVPR 2017: kết quả môi so với âm thanh trên BBC, kết quả chống nhiễu và mức chuẩn của chuyên gia đọc khẩu hình.
- Assael et al., LipNet: End-to-End Sentence-level Lipreading, 2016: kết quả trên kho câu GRID và mức chuẩn của người đọc khẩu hình khiếm thính.
- Shillingford et al., Large-Scale Visual Speech Recognition, 2018: bộ dữ liệu LSVSR, WER của chuyên gia đọc khẩu hình, các ràng buộc về góc mặt và độ phân giải.
- Djilali et al., Do VSR Models Generalize Beyond LRS3? (WildVSR), 2023: khoảng cách khái quát hóa ngoài đời thực.
- Ma, Petridis và Pantic, Visual Speech Recognition for Multiple Languages in the Wild, Nature Machine Intelligence 2022: WER ngoài tiếng Anh và thảo luận về tính lưỡng dụng và quyền riêng tư.
- Altieri, Pisoni và Townsend, Some normative data on lip-reading skills, JASA 2011: điểm câu chỉ dùng thị giác của con người.
- Auer và Bernstein, Enhanced visual speech perception in individuals with early-onset hearing impairment, JSLHR 2007: điểm đọc khẩu hình của người khiếm thính so với người nghe được.
- Blackburn et al., Visual Speech Benefit in Clear and Degraded Speech, Trends in Hearing 2019: lợi ích thị giác tính bằng decibel.
- Lalonde, Buss, Miller và Leibold, Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss, Frontiers in Psychology 2022: điểm phụ âm chỉ dùng thị giác của trẻ em và người trưởng thành.
- Bear, Harvey, Theobald và Lan, Resolution limits on visual speech recognition, ICIP 2014: độ phân giải môi tối thiểu.
- Tổ chức Y tế Thế giới, Deafness and hearing loss fact sheet, ngày 3 tháng 3 năm 2026: mức độ phổ biến của mất thính lực, dự báo và chi phí.
- Big Brother Watch, ngày 28 tháng 8 năm 2019: tường thuật về lời cảnh báo của Ủy viên Camera Giám sát Vương quốc Anh về giám sát bằng đọc khẩu hình.
- Lưu ý về dữ liệu: điểm trên tập kiểm tra LRS3 không so sánh ngang bằng được giữa các bài báo huấn luyện trên dữ liệu khác nhau, và các tập kiểm tra rất nhỏ (1 giờ đối với LRS3). Nhiều bài báo tuyên bố đạt mức tiên tiến nhất vào những thời điểm khác nhau: 0,79% và 0,77% của Llama-AVSR nằm cạnh 0,68% và 0,76% của Whisper-Flamingo, và 18,7% của VALLR nằm cạnh 12,8% thấp hơn của Google, vốn dùng nhiều dữ liệu có nhãn hơn hẳn. VALLR và nghiên cứu của Jain và Harte là các bản in trước chưa có nơi công bố được bình duyệt. Số giờ của cùng một bộ dữ liệu khác nhau tùy nguồn: bài báo LRS3-TED ghi 407 giờ tiền huấn luyện, và các tập tiền huấn luyện và huấn luyện-kiểm định của LRS2-BBC lần lượt là 195 và 29 giờ, trong khi Ma, Petridis và Pantic tính 438 giờ cho LRS3 và 223 giờ cho LRS2. Bài báo WildVSR đưa ra hai hệ số góc cho đường khớp của mình (1,31 và 1,30), và Phụ lục B của nó nói Whisper đạt WER dưới 4 trên cả hai tập kiểm tra, mâu thuẫn với con số 4,2 trong Bảng 2. Bài báo cũng không nêu kích thước mô hình Whisper. Các mức chuẩn của con người dựa trên những nhóm rất nhỏ (một chuyên gia cho nghiên cứu BBC, ba người đọc khẩu hình khiếm thính cho LipNet), và dữ liệu chuẩn tắc của con người có từ năm 2007 và 2011. Nghiên cứu của Lalonde mô phỏng khẩu trang thay vì để người nói đeo khẩu trang thật. Chúng tôi không tìm thấy phép đo độ chính xác đọc khẩu hình nào được bình duyệt từ cảnh quay CCTV thực tế: các mối lo ngại về giám sát được trích dẫn ở đây là những cảnh báo được ghi nhận, không phải các triển khai đã được đo lường.
Cập nhật lần cuối: ngày 31 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi kỷ yếu ICASSP 2027 và Interspeech 2027 công bố các kết quả LRS3 và WildVSR mới.