Năm hệ thống nhận dạng giọng nói thương mại có tỷ lệ lỗi từ (WER) trung bình 0,35 với người nói da đen so với 0,19 với người nói da trắng (Stanford, Koenecke và cs., PNAS 2020), và một nghiên cứu công bố năm 2026 vẫn cho thấy WER trung bình 20% so với 15% trên bốn hệ thống thương mại (University of Washington, Scott và cs., LREC 2026). Các bộ đánh giá chuẩn che giấu khoảng cách này: Whisper large đạt 2,7% trên LibriSpeech test-clean và 19,7% trên một kho ngữ liệu các giọng tiếng Anh quốc tế (University of Edinburgh, bài báo EdAcc 2023). Với người nói bị loạn vận ngôn do bệnh Parkinson, một hệ thống nhận dạng chỉ sai 3,4% với giọng nói điển hình lại sai tới 36,3% (Speech Accessibility Project, JSLHR 2024). Chúng tôi tổng hợp dữ liệu từ PNAS, bài báo Whisper của OpenAI, bộ dữ liệu Fair-Speech của Meta, Speech Accessibility Project, Mozilla Common Voice và hơn một chục nguồn đã qua bình duyệt khác, giữ nguyên cách ghi của từng nguồn (một số báo cáo WER dưới dạng phân số như 0,35, phần lớn dưới dạng phần trăm như 19,7%). Cùng một chỉ số này nằm dưới các quy tắc về độ chính xác của phụ đề trực tiếp, đó là lý do vài điểm WER có ý nghĩa vượt xa phòng thí nghiệm.
Tóm tắt nhanh
- Năm hệ thống ASR thương mại có WER trung bình 0,35 với người nói da đen so với 0,19 với người nói da trắng, và 23% so với 1,6% đoạn âm thanh không dùng được khi WER trên 0,5 (Stanford, Koenecke và cs., PNAS 2020).
- Bốn hệ thống thương mại có WER trung bình 20% với người nói gốc Phi so với 15% với người nói Mỹ da trắng, tăng tương đối 33% (University of Washington, Scott và cs., LREC 2026).
- Whisper large đạt WER 2,7% trên LibriSpeech test-clean và 19,7% trên tập kiểm tra tiếng Anh có giọng EdAcc (University of Edinburgh, bài báo EdAcc 2023).
- Whisper-large-v2 đạt 9,52 với người nói da đen hoặc gốc Phi so với 3,96 với người nói da trắng trên các lệnh thoại (Meta, Fair-Speech Dataset 2024).
- Một hệ thống nhận dạng tiếng Hà Lan đạt WER 55,9% với giọng đọc của người không phải bản ngữ so với 26,1% của người bản ngữ (TU Delft, Feng và cs., Quantifying Bias in ASR 2021).
- Giọng nói loạn vận ngôn đẩy WER cơ sở từ 3,4% lên 36,3%, và tinh chỉnh đưa xuống 23,7% (Speech Accessibility Project, JSLHR 2024).
- Hệ thống tốt nhất trong Interspeech 2025 Speech Accessibility Project Challenge đạt WER 8,11% so với 17,82% của hệ thống cơ sở whisper-large-v2 (Zheng và cs., Interspeech 2025).
- Sáu hệ thống ASR có WER trung bình 0,281 với giọng nói nói lắp so với 0,105 sau khi loại bỏ các rối loạn trôi chảy (Mujtaba và cs., NAACL 2024).
- Common Voice Scripted Speech v27.0 có 29.295 giờ đã xác thực trong 295 ngôn ngữ, so với tổng số hơn 7.000 ngôn ngữ trên thế giới (Mozilla Common Voice 2026; Pratap và cs., bài báo MMS 2023).
- AWS General Transcribe có WER trung vị 50% với bệnh nhân da đen được chăm sóc tại nhà so với 33% với bệnh nhân da trắng, P = 0,016 (Zolnoori và cs., JAMIA Open 2024).
- Các tốc ký viên tòa án đạt chứng nhận độ chính xác 95% chỉ đạt trung bình 82,9% độ chính xác ở mức từ với tiếng Anh của người Mỹ gốc Phi (Jones và cs., Language 2019).
- 93% người tham gia gốc Phi trong một nghiên cứu nhật ký hai tuần đã thay đổi phương ngữ của mình để được công nghệ giọng nói hiểu (Mengesha và cs., Frontiers in Artificial Intelligence 2021).
1. Khoảng Cách Chủng Tộc và Phương Ngữ Trong ASR Thương Mại và Mã Nguồn Mở
Con số kinh điển đã sáu năm tuổi và chưa bị bằng chứng tốt hơn thay thế. Trong cuộc kiểm toán PNAS đối với Amazon, Apple, Google, IBM và Microsoft, WER trung bình là 0,35 với người nói da đen và 0,19 với người nói da trắng, chênh lệch 0,16 (0,35 trừ 0,19), đo trên 19,8 giờ âm thanh từ 73 người nói da đen và 42 người nói da trắng được ghép cặp theo tuổi và giới tính. Các tác giả đặt vấn đề ở mô hình âm học, vì khoảng cách vẫn tồn tại trên những cụm từ giống hệt nhau: Microsoft, hệ thống tốt nhất, đạt 0,13 so với 0,07 trên các phát ngôn được ghép cặp. Dữ liệu mới nhất hiện có cho một cuộc kiểm toán năm nhà cung cấp: Koenecke và cs., PNAS 2020.
Bằng chứng mới hơn, lấy từ các kho ngữ liệu khác, cho thấy tỷ lệ lỗi nhìn chung thấp hơn nhưng khoảng cách chưa khép lại. Một nhóm tại University of Washington báo cáo mức tăng tương đối 33% với người nói gốc Phi trên bốn hệ thống thương mại, và bộ dữ liệu lệnh thoại của chính Meta cho thấy Whisper-large-v2 đạt 9,52 với người nói da đen hoặc gốc Phi so với 3,96 với người nói da trắng. Nhóm Washington gắn các lỗi này với sự khác biệt về chất lượng nguyên âm giữa các phương ngữ, điều này khớp với chẩn đoán về mô hình âm học từ năm 2020.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| WER trung bình, người nói da đen so với da trắng, năm hệ thống thương mại | 0,35 so với 0,19 | Stanford (Koenecke và cs.), PNAS 2020 |
| Nhà cung cấp tốt nhất và kém nhất, người nói da đen so với da trắng | Microsoft 0,27 so với 0,15; Apple 0,45 so với 0,23 | Stanford (Koenecke và cs.), PNAS 2020 |
| Đoạn âm thanh có WER trên 0,5 (bản chuyển ghi không dùng được) | 23% đoạn của người nói da đen so với 1,6% đoạn của người nói da trắng | Stanford (Koenecke và cs.), PNAS 2020 |
| WER trung bình, người nói gốc Phi so với Mỹ da trắng, bốn hệ thống thương mại | 20% so với 15% (tăng tương đối 33%) | University of Washington (Scott và cs.), LREC 2026 |
| WER trung bình, người nói ChicanX và Yakama, cùng bốn hệ thống | 23% và 21% | University of Washington (Scott và cs.), LREC 2026 |
| WER, người nói da đen hoặc gốc Phi so với da trắng, Whisper-large-v2 và Whisper-small | 9,52 so với 3,96; 16,99 so với 4,51 | Meta (Veliche và cs.), Fair-Speech Dataset 2024 |
| Chênh lệch WER tương đối giữa các nhóm dân tộc, Whisper-large-v2 so với mô hình video bán giám sát của Meta | 61,13% so với 31,04% | Meta (Veliche và cs.), Fair-Speech Dataset 2024 |
Bối cảnh: đánh giá của Washington dùng 16 người nói (bốn người mỗi nhóm) và phản ánh hiệu năng hệ thống năm 2022, dù bài báo xuất hiện trong kỷ yếu LREC 2026. Fair-Speech bao gồm 593 người nói ở Mỹ và khoảng 26,5 nghìn phát ngôn, và các tác giả nêu rằng với các mô hình Whisper, khoảng cách tương đối lớn hơn 40% trên mọi chiều mà họ đo.
2. WER Của Bộ Đánh Giá Chuẩn So Với Giọng Nói Ngoài Đời Thực
Bộ đánh giá chuẩn nổi bật là giọng đọc sạch, không phải hội thoại. Bài báo Whisper chứng minh điều này bằng chính bảng của mình: cùng một mô hình đạt 2,7 trên LibriSpeech Clean lại đạt 25,5 trên CHiME6 và 16,2 trên CORAAL, kho ngữ liệu các cuộc phỏng vấn bằng African American Language. Whisper large tăng từ WER 2,7% trên LibriSpeech test-clean lên 19,7% trên EdAcc, một tập các cuộc trò chuyện video giữa bạn bè với hơn 40 giọng tiếng Anh do chính người nói tự khai báo.
Đó vẫn là mô hình mạnh mẽ. Một hệ thống wav2vec 2.0 đạt 2,9% trên LibriSpeech lại lên tới 36,1% trên cùng các cuộc trò chuyện có giọng đó. Chỉ riêng phong cách nói cũng làm số liệu xê dịch: một hệ thống nhận dạng tiếng Hà Lan có WER trung bình 36,2% với giọng đọc và 47,5% với giọng nói trong tương tác người-máy từ cùng nhóm người nói (TU Delft, Feng và cs., Quantifying Bias in ASR 2021).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| WER Whisper Large V2, LibriSpeech Clean | 2,7 | OpenAI (Radford và cs.), bài báo Whisper 2022 |
| WER Whisper Large V2, CHiME6 và CORAAL | 25,5 và 16,2 | OpenAI (Radford và cs.), bài báo Whisper 2022 |
| WER trung bình trên các bộ dữ liệu ở Bảng 2 của bài báo, wav2vec 2.0 Large so với Whisper Large V2 | 29,3 so với 12,8 (giảm lỗi tương đối trung bình 55,2%) | OpenAI (Radford và cs.), bài báo Whisper 2022 |
| WER Whisper large, EdAcc test so với LibriSpeech test-clean | 19,7% so với 2,7% | University of Edinburgh (Sanabria và cs.), bài báo EdAcc 2023 |
| WER wav2vec 2.0 và hệ thống thương mại, EdAcc test so với LibriSpeech test-clean | 36,1 so với 2,9; 18,7 so với 3,8 | University of Edinburgh (Sanabria và cs.), bài báo EdAcc 2023 |
| WER trung bình tốt nhất, hạng mục tiếng Anh dạng ngắn; Whisper Large v3 trên cùng hạng mục | 5,42; 7,44 | Bài báo Open ASR Leaderboard (Srivastav và cs.), v4 tháng 3 năm 2026 |
| Các hệ thống được đánh giá | 86 hệ thống từ 26 tổ chức trên 12 bộ dữ liệu; 74 mã nguồn mở | Bài báo Open ASR Leaderboard (Srivastav và cs.), v4 tháng 3 năm 2026 |
Bối cảnh: Open ASR Leaderboard báo cáo giá trị trung bình trên các tập kiểm tra được tuyển chọn, và các bảng chúng tôi đọc không có phân tích nhân khẩu học của người nói, nên mức trung bình 5,42 không cho biết ai nằm ở phần đuôi của phân phối. Con số CORAAL là thứ gần nhất với một con số riêng cho phương ngữ trong bài báo Whisper: Whisper giảm lỗi của wav2vec 2.0 trên kho ngữ liệu đó từ 35,6 xuống 16,2, và con số này vẫn gấp sáu lần điểm LibriSpeech Clean (16,2 chia 2,7).
3. Giọng Không Phải Bản Ngữ và Giọng Vùng Miền
Khoảng cách giọng nói chủ yếu được đo trên tiếng Anh, và chủ yếu bằng các kho ngữ liệu nhỏ hoặc tự chọn. Cuộc kiểm toán rộng nhất chúng tôi tìm thấy, trên 2.713 người nói của Speech Accent Archive sinh ra tại 171 quốc gia, hoàn toàn không dùng WER: nó báo cáo thông tin từ bị mất (WIL) và thấy chỉ số này thấp hơn 0,14 với người nói có tiếng mẹ đẻ là tiếng Anh (P<0,001). Với tiếng Anh có giọng Liên Phi, Whisper-large ghi nhận WER 0,240 với giọng nói thông thường và 0,375 với giọng nói lâm sàng, và cả ba hệ thống đám mây thương mại được thử nghiệm đều kém hơn.
Các giọng vùng miền của tiếng mẹ đẻ cũng theo cùng một mô hình. Trong phụ đề tự động của YouTube, 80 người nói thuộc năm vùng phương ngữ (California, Georgia, New England, New Zealand và Scotland) cho thấy mức nhận dạng kém hơn rõ rệt với người nói Scotland (University of Washington, Tatman, ACL Ethics in NLP Workshop 2017). Với tiếng Hà Lan, các thiếu niên vùng Flanders đọc to được một mô hình huấn luyện trên tiếng Hà Lan của Hà Lan nhận dạng với WER 40,5%. Các lỗi này cộng dồn ở các bước sau, vì một câu nguồn bị nhận dạng sai là đầu vào của mọi chuỗi dịch giọng nói sang giọng nói.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Quy mô kho ngữ liệu EdAcc | Gần 40 giờ, hơn 40 giọng tự khai báo, 51 tiếng mẹ đẻ | University of Edinburgh (Sanabria và cs.), bài báo EdAcc 2023 |
| Khoảng cách WIL, người nói có tiếng mẹ đẻ là tiếng Anh so với không phải tiếng Anh, tất cả dịch vụ | Thấp hơn 0,14 với người nói có tiếng mẹ đẻ là tiếng Anh (P<0,001); 2.713 người nói, 212 tiếng mẹ đẻ | DiChristofano và cs., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| Khoảng cách WIL theo dịch vụ | Google 0,17; Amazon 0,14; Microsoft 0,11 | DiChristofano và cs., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| WER Whisper-large trên tiếng Anh Liên Phi, lĩnh vực thông thường so với lâm sàng | 0,240 so với 0,375 | Olatunji và cs., AfriSpeech-200, TACL 2023 |
| WER đám mây thương mại trên tiếng Anh Liên Phi, cả hai lĩnh vực | Azure 0,391; AWS 0,442; GCP 0,578 | Olatunji và cs., AfriSpeech-200, TACL 2023 |
| WER Whisper-medium trên tiếng Anh Liên Phi, huấn luyện sẵn so với tinh chỉnh trên AfriSpeech | 0,332 so với 0,216 | Olatunji và cs., AfriSpeech-200, TACL 2023 |
| WER ASR tiếng Hà Lan với giọng đọc, người nói không phải bản ngữ so với bản ngữ | 55,9% so với 26,1% | TU Delft (Feng và cs.), Quantifying Bias in ASR 2021 |
| WER ASR tiếng Hà Lan với giọng đọc, thiếu niên Flanders so với thiếu niên ở bốn vùng của Hà Lan | 40,5% so với 19,3%, 22,9%, 16,8% và 17,9% | TU Delft (Feng và cs.), Quantifying Bias in ASR 2021 |
Ngoại lệ: việc không phải bản ngữ không phải lúc nào cũng dự đoán kết quả tệ hơn. Trên các lệnh thoại của Fair-Speech, Whisper-large-v2 đạt 3,78 với người nói ngôn ngữ thứ hai và 6,11 với người nói ngôn ngữ thứ nhất (Meta, Fair-Speech Dataset 2024), một lời nhắc rằng khoảng cách giữa các nhóm là thuộc tính của một bộ dữ liệu và một tác vụ, không phải hằng số. Trong dữ liệu tiếng Hà Lan, lỗi không giảm khi trình độ của người học trưởng thành tăng lên: 57,2, 56,5 và 57,0 ở các cấp CEF A1, A2 và B1. Dữ liệu mới nhất hiện có: các bản chuyển ghi của kho lưu trữ giọng nói được chạy năm 2021, và AfriSpeech-200 (200,70 giờ, 2.463 người nói, 120 giọng, 13 quốc gia) được phát hành năm 2023.
4. Khoảng Cách Về Giới Tính, Độ Tuổi và Thu Nhập
Không có trục nhân khẩu học nào có hướng cố định, và đó chính là phát hiện. Phụ đề YouTube kém hơn với phụ nữ vào năm 2017. Các hệ thống thương mại kém hơn với nam giới vào năm 2020. Whisper-large-v2 đạt 7,91 với người nói nam so với 3,86 với người nói nữ trên Fair-Speech, gần gấp đôi (7,91 chia 3,86 là 2,05). Một hệ thống được kiểm toán trên một bộ dữ liệu có thể trông công bằng về giới tính và thất bại trên bộ dữ liệu khác.
Độ tuổi cũng hành xử tương tự. Nhóm có lỗi cao nhất trong Fair-Speech không phải nhóm lớn tuổi nhất mà là nhóm từ 31 đến 45 tuổi, trong khi ở tiếng Hà Lan, nhóm bản ngữ kém nhất là trẻ em. Giọng nói trẻ em là điểm yếu lặp lại: Whisper-Small bắt đầu với WER 13,93% trên tập kiểm tra MyST gồm giọng nói trẻ em trước khi có bất kỳ sự thích ứng nào (Kid-Whisper, 2024).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| WER trung bình trên năm hệ thống thương mại, nam da đen so với nữ da đen; nam da trắng so với nữ da trắng | 0,41 so với 0,30; 0,21 so với 0,17 | Stanford (Koenecke và cs.), PNAS 2020 |
| WER Whisper-large-v2, người nói nam so với nữ | 7,91 so với 3,86 | Meta (Veliche và cs.), Fair-Speech Dataset 2024 |
| WER Whisper-large-v2 theo nhóm tuổi, 18-22, 23-30, 31-45, 46-65 | 4,46, 4,62, 7,48, 3,65 | Meta (Veliche và cs.), Fair-Speech Dataset 2024 |
| WER Whisper-large-v2 theo thu nhập hộ gia đình, thấp, trung bình, khá giả | 5,4, 6,38, 3,62 | Meta (Veliche và cs.), Fair-Speech Dataset 2024 |
| WER phụ đề YouTube, nữ so với nam | Cao hơn với nữ (t(78) = -3,5, p < 0,01), 80 người nói | University of Washington (Tatman), ACL Ethics in NLP Workshop 2017 |
| WER ASR tiếng Hà Lan với giọng đọc, trẻ em bản ngữ, thiếu niên, người lớn tuổi | 35,3%, 18,4%, 24,2% | TU Delft (Feng và cs.), Quantifying Bias in ASR 2021 |
| WER Whisper trên giọng nói trẻ em MyST, trước so với sau khi tinh chỉnh | Small 13,93% xuống 9,11%; Medium 13,23% xuống 8,61% | Attia và cs., Kid-Whisper 2024 |
Bối cảnh: các nhóm thu nhập của Fair-Speech là thấp (50 nghìn USD của Mỹ trở xuống), trung bình (từ 50 nghìn đến 100 nghìn USD) và khá giả (từ 100 nghìn USD trở lên), và nhóm khá giả là nhóm nhỏ nhất trong bộ dữ liệu (41 người nói trong bảng của bài báo). Dữ liệu mới nhất hiện có về khoảng cách giới tính trong phụ đề: Tatman 2017, đo trên một tác vụ danh sách từ riêng lẻ mà tác giả mô tả là đặc biệt khó với ASR.
5. Giọng Nói Không Điển Hình, Loạn Vận Ngôn và Mất Trôi Chảy
Ở đây khoảng cách là cả một bậc độ lớn, không chỉ vài điểm. Trong gói dữ liệu đầu tiên của Speech Accessibility Project, một hệ thống nhận dạng cơ sở có WER 3,4% với người nói điển hình đã chuyển ghi người nói bị loạn vận ngôn do bệnh Parkinson ở mức 36,3%. Tinh chỉnh trên 190 người nói huấn luyện giảm con số này xuống 23,7%, và hai trong số 42 người nói kiểm tra vẫn ở mức 67,10% và 93,08%.
Dữ liệu, chứ không phải kiến trúc, mới là thứ làm các con số này dịch chuyển. Interspeech 2025 Speech Accessibility Project Challenge cung cấp cho các đội khoảng 415 giờ từ 524 người tham gia, và 12 trong 22 đội vượt qua hệ thống cơ sở whisper-large-v2; năm mô hình dẫn đầu có WER trung bình 10,06% với bệnh Parkinson và 7,36% với ALS, so với mức cơ sở 17,09% và 16,88%. Cá nhân hóa còn đi xa hơn: Project Euphonia của Google báo cáo WER 4,6% cho các mô hình được cá nhân hóa trên các cụm từ ngắn. Các quãng ngắt tạo ra một kiểu lỗi riêng, vì Whisper tạo ảo giác văn bản ở 1,7% đoạn từ người nói bị mất ngôn ngữ so với 1,2% ở nhóm đối chứng (Koenecke và cs., Careless Whisper, FAccT 2024).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| WER cơ sở, người nói điển hình so với loạn vận ngôn do bệnh Parkinson; sau khi tinh chỉnh | 3,4% so với 36,3%; 23,7% | Speech Accessibility Project (Hasegawa-Johnson và cs.), JSLHR 2024 |
| Hệ thống cơ sở Whisper-large-v2 so với đội dẫn đầu, tập Test2 của cuộc thi | WER 17,82% so với 8,11% (SemScore cao nhất 88,44%) | Zheng và cs., Interspeech 2025 Speech Accessibility Project Challenge |
| Dữ liệu và mức tham gia của cuộc thi | Khoảng 415 giờ, 524 người tham gia, năm nguyên nhân bệnh; 12 trong 22 đội vượt hệ thống cơ sở về WER | Zheng và cs., Interspeech 2025 Speech Accessibility Project Challenge |
| Mô hình cá nhân hóa so với độc lập người nói, 432 người nói có giọng nói rối loạn | WER 4,6% so với 31% | Google Research (Green và cs.), Interspeech 2021 |
| WER trung vị trên các cụm từ điều khiển nhà thông minh, giọng nói suy giảm nặng, trước so với sau cá nhân hóa | Khoảng 89% xuống 13% | Google Research, blog Project Euphonia 2021 |
| Kho ngữ liệu Project Euphonia (tính đến tháng 8 năm 2021) | Hơn 1 triệu phát ngôn, hơn 1.400 giờ, 1.330 người nói | Google Research, blog Project Euphonia 2021 |
| WER trung bình trên sáu hệ thống ASR, giọng nói lắp so với khi đã loại bỏ rối loạn trôi chảy | 0,281 so với 0,105 | Mujtaba và cs., Lost in Transcription, NAACL 2024 |
| WER nhận dạng giọng nói với người nói lắp, trước so với sau khi thay đổi hệ thống (91 người tham gia được ghi âm) | 25,4% xuống 9,9%; phát ngôn bị cắt ngang ít hơn 79,1% | Lea và cs., CHI 2023 |
Bối cảnh: bệnh Parkinson chiếm 73,4% kho huấn luyện của cuộc thi theo thời lượng, nên con số 8,11% nổi bật chủ yếu mô tả một nguyên nhân bệnh; hội chứng Down, bại não và đột quỵ không được báo cáo riêng do số lượng kiểm tra nhỏ. Trong nghiên cứu về nói lắp, Whisper là hệ thống chính xác nhất trong sáu hệ thống và vẫn tăng từ 0,063 lên 0,121. Dữ liệu mới nhất hiện có về độ chính xác của mô hình cá nhân hóa: Green và cs., Interspeech 2021.
6. Ngôn Ngữ Ít Tài Nguyên và Độ Bao Phủ Của Bộ Dữ Liệu
Lỗi gần như bám sát số giờ huấn luyện một cách cơ học. Các tác giả Whisper báo cáo tương quan bình phương 0,83 giữa logarit của WER và logarit số giờ huấn luyện theo từng ngôn ngữ, và ước tính rằng WER giảm một nửa cho mỗi lần dữ liệu huấn luyện tăng gấp 16 lần. Trong 680.000 giờ huấn luyện của Whisper, 117.000 giờ bao phủ 96 ngôn ngữ ngoài tiếng Anh, và bài báo lưu ý rằng phần lớn các ngôn ngữ có dưới 1.000 giờ.
Độ bao phủ mở rộng nhanh hơn bằng chứng về độ chính xác. Bài báo MMS cho rằng thế giới có hơn 7.000 ngôn ngữ và công nghệ giọng nói hỗ trợ khoảng 100, còn Omnilingual ASR hiện tuyên bố hơn 1.600. Bộ đánh giá chuẩn đa ngôn ngữ tiêu chuẩn, FLEURS, bao phủ 102 ngôn ngữ với khoảng 12 giờ giám sát cho mỗi ngôn ngữ (Conneau và cs., FLEURS 2022), nên phần lớn các ngôn ngữ mới được bổ sung không có thước đo công khai chung. Chúng tôi theo dõi độ bao phủ phía mô hình kỹ hơn trong thống kê mô hình nền tảng giọng nói đa ngôn ngữ của mình.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Dữ liệu huấn luyện Whisper | Tổng 680.000 giờ; 117.000 giờ bao phủ 96 ngôn ngữ ngoài tiếng Anh | OpenAI (Radford và cs.), bài báo Whisper 2022 |
| Mối quan hệ giữa số giờ huấn luyện theo ngôn ngữ và WER | Tương quan bình phương 0,83; WER giảm một nửa cho mỗi lần dữ liệu tăng gấp 16 lần | OpenAI (Radford và cs.), bài báo Whisper 2022 |
| Ngôn ngữ trên thế giới so với ngôn ngữ được công nghệ giọng nói hỗ trợ | Hơn 7.000 so với khoảng 100 | Pratap và cs., bài báo MMS (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Độ bao phủ và độ chính xác của MMS | ASR cho 1.107 ngôn ngữ; WER giảm hơn một nửa so với Whisper trên 54 ngôn ngữ FLEURS | Pratap và cs., bài báo MMS (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Độ bao phủ của Omnilingual ASR | Hơn 1.600 ngôn ngữ, hơn 500 ngôn ngữ chưa từng được ASR phục vụ trước đây | Nhóm Omnilingual ASR, arXiv 2511.09690, 2025 |
| Dữ liệu huấn luyện trước của Google USM | 12 triệu giờ âm thanh không gán nhãn bao phủ hơn 300 ngôn ngữ; tập có nhãn chỉ bằng 1/7 quy mô của Whisper | Bài báo Google USM (Zhang và cs.) 2023 |
| Common Voice Scripted Speech v27.0 | 295 ngôn ngữ; tổng 42.593 giờ; 29.295 giờ đã xác thực | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Phân bố giới tính Common Voice v27.0, tiếng Anh và tiếng Đức | Tiếng Anh 0,4318 nam, 0,1776 nữ, 0,3894 không khai báo; tiếng Đức 0,5786 nam, 0,0818 nữ | Mozilla Common Voice, cv-dataset v27.0 2026 |
Ngoại lệ: trong thống kê Common Voice v27.0, tiếng Catalan có nhiều âm thanh ghi âm hơn tiếng Anh (tổng 3.940,31 giờ so với 3.795,9), trong khi ngôn ngữ nhỏ nhất chúng tôi đọc chỉ có 25 đoạn ghi âm từ 2 người dùng. Nỗ lực của tình nguyện viên, chứ không phải dân số người nói, quyết định ngôn ngữ nào có dữ liệu. Bộ dữ liệu Spontaneous Speech, gần với cách dùng thực tế hơn, nhỏ hơn nhiều: tổng 541 giờ trên 80 ngôn ngữ ở v5.0.
7. Hệ Quả Tại Tòa Án, Phòng Khám, Tuyển Dụng và Trợ Lý Giọng Nói
Mức độ rủi ro tăng lên khi một bản chuyển ghi trở thành hồ sơ. Con người đặt ra mức chuẩn kém: các tốc ký viên tòa án đạt chứng nhận độ chính xác 95% chỉ đạt trung bình 82,9% độ chính xác ở mức từ và 59,5% ở mức câu với tiếng Anh của người Mỹ gốc Phi, và bản chuyển ghi của họ làm thay đổi ai, cái gì, khi nào hoặc ở đâu trong 31% trường hợp (Jones và cs., Language 2019). Thống kê độ chính xác nhận dạng giọng nói tại phòng xử án của chúng tôi đề cập các thử nghiệm tự động kế thừa vấn đề này.
Bằng chứng lâm sàng còn mới và có mẫu nhỏ. Trong các buổi thăm khám chăm sóc sức khỏe tại nhà được ghi âm, hai hệ thống của Amazon đều cho thấy chênh lệch WER trung vị 17 điểm giữa bệnh nhân da đen và da trắng (50 trừ 33, và 54 trừ 37), trong khi Whisper kém như nhau với cả hai nhóm. Tuyển dụng là bối cảnh duy nhất có kết quả đáng yên tâm: thiên lệch chuyển ghi xuất hiện ở gần như mọi so sánh, và các tác giả thấy nó không lan sang điểm phỏng vấn. Cái giá mà người dùng báo cáo mang tính hành vi, vì gần như mọi người tham gia trong một nghiên cứu nhật ký hai tuần đã thay đổi cách nói của mình.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ chính xác của tốc ký viên tòa án với tiếng Anh của người Mỹ gốc Phi, mức từ so với mức câu (tiêu chuẩn chứng nhận 95%) | 82,9% so với 59,5% | Jones và cs., Testifying While Black, Language 2019 |
| Bản chuyển ghi làm thay đổi ai, cái gì, khi nào hoặc ở đâu | 31%; 27 tốc ký viên tòa án, 9 người nói, 83 câu | Jones và cs., Testifying While Black, Language 2019 |
| WER trung vị, bệnh nhân da đen so với da trắng được chăm sóc tại nhà, AWS General và AWS Medical | 50% so với 33% (P = 0,016); 54% so với 37% (P = 0,0012) | Zolnoori và cs., JAMIA Open 2024 |
| WER trung vị, bệnh nhân da đen so với da trắng, Whisper large-v3 | 75% so với 72% (P = 0,66); 35 bệnh nhân | Zolnoori và cs., JAMIA Open 2024 |
| Tỷ lệ lỗi trong ghi chú lâm sàng đọc cho máy chép: bản nháp nhận dạng giọng nói, sau khi nhân viên chuyển ghi chỉnh sửa, ghi chú đã ký | 7,4%, 0,4%, 0,3%; 217 ghi chú | Zhou và cs., JAMA Network Open 2018 |
| Bản chuyển ghi Whisper có văn bản ảo giác; tỷ lệ ảo giác có nội dung gây hại rõ ràng | 1,4% trong 13.140 đoạn; 38% | Koenecke và cs., Careless Whisper, FAccT 2024 |
| Phỏng vấn video giả lập được chuyển ghi bởi bốn phương pháp ASR và một người thật | N = 1.014 và N = 414; thiên lệch ASR đáng kể ở gần như mọi so sánh, không có thiên lệch đo lường đáng kể trong điểm số | Hickman và cs., Journal of Applied Psychology 2025 |
| Người dùng công nghệ giọng nói gốc Phi đã thay đổi phương ngữ để được hiểu | 93% (n = 28 trên 30); 77% báo cáo thất vọng vì lỗi | Mengesha và cs., Frontiers in Artificial Intelligence 2021 |
Bối cảnh: nghiên cứu về tốc ký viên tòa án đo người chuyển ghi là con người, không phải phần mềm, và nghiên cứu về đọc chính tả lâm sàng là dữ liệu mới nhất hiện có về tỷ lệ lỗi của ghi chú đã ký (Zhou và cs., JAMA Network Open 2018). Các thí nghiệm ảo giác được chạy năm 2023; các tác giả thấy 19% trong 312 bản chuyển ghi ảo giác liên quan đến bạo lực, 13% là liên tưởng không chính xác và 8% là thẩm quyền giả, và không có ảo giác tương đương khi các đoạn bị ảnh hưởng được chạy lại qua hệ thống của các nhà cung cấp khác (Careless Whisper). Kết quả về tuyển dụng (Hickman và cs.) đến từ các buổi phỏng vấn giả lập, không phải các quyết định tuyển chọn thực tế.
Tổng kết: Thiên Lệch Giọng Nói và Tỷ Lệ Lỗi Từ Trong Nhận Dạng Giọng Nói Qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| WER trung bình, người nói da đen so với da trắng, năm hệ thống thương mại | 0,35 so với 0,19 | Stanford (Koenecke và cs.), PNAS 2020 |
| WER trung bình, người nói gốc Phi so với Mỹ da trắng, bốn hệ thống thương mại | 20% so với 15% | University of Washington (Scott và cs.), LREC 2026 |
| WER Whisper-large-v2, người nói da đen hoặc gốc Phi so với da trắng | 9,52 so với 3,96 | Meta (Veliche và cs.), Fair-Speech Dataset 2024 |
| WER Whisper-large-v2, người nói nam so với nữ | 7,91 so với 3,86 | Meta (Veliche và cs.), Fair-Speech Dataset 2024 |
| WER Whisper large, tiếng Anh có giọng EdAcc so với LibriSpeech test-clean | 19,7% so với 2,7% | University of Edinburgh (Sanabria và cs.), bài báo EdAcc 2023 |
| WER Whisper Large V2, CORAAL so với LibriSpeech Clean | 16,2 so với 2,7 | OpenAI (Radford và cs.), bài báo Whisper 2022 |
| WER trung bình tốt nhất, hạng mục tiếng Anh dạng ngắn của Open ASR Leaderboard | 5,42 trên 86 hệ thống được đánh giá | Bài báo Open ASR Leaderboard (Srivastav và cs.), v4 tháng 3 năm 2026 |
| WER Whisper-large trên tiếng Anh Liên Phi, thông thường so với lâm sàng | 0,240 so với 0,375 | Olatunji và cs., AfriSpeech-200, TACL 2023 |
| Khoảng cách WIL, người nói có tiếng mẹ đẻ là tiếng Anh so với không phải tiếng Anh | 0,14 (P<0,001) | DiChristofano và cs., arXiv 2023 |
| WER ASR tiếng Hà Lan với giọng đọc, người nói không phải bản ngữ so với bản ngữ | 55,9% so với 26,1% | TU Delft (Feng và cs.), Quantifying Bias in ASR 2021 |
| WER cơ sở, giọng nói điển hình so với giọng nói loạn vận ngôn do bệnh Parkinson | 3,4% so với 36,3% | Speech Accessibility Project (Hasegawa-Johnson và cs.), JSLHR 2024 |
| Hệ thống cơ sở Whisper-large-v2 so với hệ thống dẫn đầu cuộc thi trên giọng nói loạn vận ngôn | 17,82% so với 8,11% | Zheng và cs., Interspeech 2025 Speech Accessibility Project Challenge |
| WER cá nhân hóa so với độc lập người nói, giọng nói rối loạn | 4,6% so với 31% | Google Research (Green và cs.), Interspeech 2021 |
| WER trung bình trên sáu hệ thống, phiên bản nói lắp so với trôi chảy | 0,281 so với 0,105 | Mujtaba và cs., Lost in Transcription, NAACL 2024 |
| Số giờ huấn luyện Whisper, tổng so với ngoài tiếng Anh | 680.000 so với 117.000 (96 ngôn ngữ) | OpenAI (Radford và cs.), bài báo Whisper 2022 |
| Common Voice Scripted Speech v27.0 | 295 ngôn ngữ, 29.295 giờ đã xác thực | Mozilla Common Voice, cv-dataset v27.0 2026 |
| WER trung vị, bệnh nhân da đen so với da trắng được chăm sóc tại nhà, AWS General | 50% so với 33% (P = 0,016) | Zolnoori và cs., JAMIA Open 2024 |
| Độ chính xác mức từ của tốc ký viên tòa án với tiếng Anh của người Mỹ gốc Phi so với tiêu chuẩn chứng nhận | 82,9% so với 95% | Jones và cs., Testifying While Black, Language 2019 |
| Người dùng công nghệ giọng nói đã thay đổi phương ngữ của mình | 93% (n = 28 trên 30) | Mengesha và cs., Frontiers in Artificial Intelligence 2021 |
Phương Pháp Luận và Nguồn
Chúng tôi đã thực hiện 23 lượt tìm kiếm và đọc bài báo gốc, trang bộ dữ liệu hoặc hồ sơ tạp chí cho mọi con số ở trên. WER được báo cáo theo cách ghi riêng của từng nguồn: phân số với Koenecke và cs., AfriSpeech-200 và Mujtaba và cs., phần trăm ở các nơi khác. Các con số cũ hơn ba năm được đánh dấu trong các phần là dữ liệu mới nhất hiện có.
- Koenecke và cs., Racial disparities in automated speech recognition, PNAS 2020
- Scott, Liang, Wassink và Levow, A Sociophonetic Analysis of Racial Bias in Commercial ASR Systems Using the Pacific Northwest English Corpus, LREC 2026
- Veliche và cs. (Meta), Towards measuring fairness in speech recognition: Fair-Speech dataset, 2024
- Radford và cs. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022
- Sanabria và cs. (University of Edinburgh), The Edinburgh International Accents of English Corpus, ICASSP 2023
- Srivastav và cs., bài báo Open ASR Leaderboard, v4 tháng 3 năm 2026
- DiChristofano, Shuster, Chandra và Patwari, Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition, 2023
- Olatunji và cs., AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR, TACL 2023
- Feng, Kudina, Halpern và Scharenborg (TU Delft), Quantifying Bias in Automatic Speech Recognition, 2021
- Tatman (University of Washington), Gender and Dialect Bias in YouTube’s Automatic Captions, ACL Ethics in NLP Workshop 2017
- Attia và cs., Kid-Whisper, 2024
- Hasegawa-Johnson và cs., Community-Supported Shared Infrastructure in Support of Speech Accessibility, JSLHR 2024
- Zheng và cs., The Interspeech 2025 Speech Accessibility Project Challenge
- Green và cs. (Google Research), Automatic Speech Recognition of Disordered Speech, Interspeech 2021 và blog về bộ dữ liệu Project Euphonia, 2021
- Mujtaba và cs., Lost in Transcription, NAACL 2024
- Lea và cs., From User Perceptions to Technical Improvement: Enabling People Who Stutter to Better Use Speech Recognition, CHI 2023
- Koenecke và cs., Careless Whisper: Speech-to-Text Hallucination Harms, FAccT 2024
- Pratap và cs., Scaling Speech Technology to 1,000+ Languages (MMS), 2023; Omnilingual ASR, 2025; Google USM, 2023; FLEURS, 2022
- Mozilla Common Voice, kho lưu trữ cv-dataset và thống kê v27.0, 2026
- Jones, Kalbfeld, Hancock và Clark, Testifying While Black, Language 95(2), 2019
- Zolnoori và cs., Decoding disparities, JAMIA Open 2024
- Zhou và cs., Analysis of Errors in Dictated Clinical Documents Assisted by Speech Recognition Software and Professional Transcriptionists, JAMA Network Open 2018
- Hickman, Langer, Saef và Tay, Automated speech recognition bias in personnel selection, Journal of Applied Psychology 2025
- Mengesha và cs., Impact of Automated Speech Recognition Errors on African Americans, Frontiers in Artificial Intelligence 2021
- Lưu ý về dữ liệu: một số nguồn tự mâu thuẫn hoặc đo những thứ khác nhau. Phần văn bản của bài báo Whisper đưa ra WER LibriSpeech clean là 2,5 trong khi Bảng 2 của nó ghi 2,7 (chúng tôi dùng bảng). Phần tóm tắt của Careless Whisper nói khoảng 1% bản chuyển ghi bị ảo giác còn phần kết quả nói 1,4% (chúng tôi dùng 1,4%), và các tác giả lưu ý rằng các thí nghiệm có từ năm 2023. Các con số 36,3% và 23,7% ở phần tóm tắt của Speech Accessibility Project khớp với các hàng prompt không chia sẻ trong bài báo; trên toàn bộ prompt kiểm tra, con số sau tinh chỉnh là 18,72%. Văn bản của Fair-Speech nhắc đến 50 người nói ở nhóm thu nhập cao nhất trong khi bảng của nó liệt kê 41. DiChristofano và cs. báo cáo thông tin từ bị mất, không phải WER, nên khoảng cách của họ không thể so sánh với các hàng khác. Đánh giá của Scott và cs. được chạy năm 2022 trên 16 người nói và công bố năm 2026. Open ASR Leaderboard thay đổi liên tục: phiên bản tháng 10 năm 2025 của bài báo liệt kê 64 mô hình với WER trung bình tốt nhất là 5,63, phiên bản tháng 3 năm 2026 liệt kê 86 hệ thống và 5,42. Tổng số giờ của Common Voice lấy từ dữ liệu biểu đồ phát hành của kho lưu trữ, và tỷ lệ giới tính lấy từ tệp thống kê v27.0 của nó. Với Testifying While Black, trang tạp chí nằm sau bước kiểm tra quyền truy cập, nên các con số được đọc từ bản tóm tắt đã công bố của tác giả chính; bản tóm tắt đó đưa ra hai con số khác nhau về mức hiểu diễn giải lại, vì vậy chúng tôi đã bỏ qua. Chúng tôi không thể xác minh một tuyên bố được lặp lại rộng rãi về WER của một nhà cung cấp tuyển dụng với người nói không phải bản ngữ và đã loại bỏ nó.
Cập nhật lần cuối: ngày 11 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần cập nhật tiếp theo dự kiến sẽ diễn ra khi Mozilla công bố Common Voice Scripted Speech v28.0.