Mười phút giọng nói đã được phiên âm là đủ để wav2vec 2.0 đạt tỷ lệ lỗi từ 4,8% trên tập LibriSpeech test-clean (Meta AI, wav2vec 2.0, NeurIPS 2020), sau khi mô hình trước đó đã huấn luyện trên âm thanh thô không có bản phiên âm của con người, cách tiếp cận được gọi là học tự giám sát. Trên tập kiểm tra ẩn của cuộc thi SUPERB @ SLT 2022, WavLM-large đạt 1242 điểm trên thang mà mức tiên tiến nhất của tháng 10 năm 2021 nằm ở 1000 (Feng và cs., SUPERB @ SLT 2022), nhưng chỉ khoảng một nửa trong 33 mô hình được đánh giá vượt một đường cơ sở cổ điển trên mọi tác vụ (Yang và cs., IEEE/ACM TASLP 2024). Các checkpoint cũ vẫn được dùng hằng ngày: facebook/wav2vec2-base-960h hiển thị 1.737.874 lượt tải tháng trước (Hugging Face, 31 tháng 10 năm 2026). Chúng tôi tổng hợp dữ liệu từ các bài báo đánh giá chuẩn SUPERB, SUPERB-SG và ML-SUPERB, báo cáo cuộc thi SUPERB @ SLT 2022, các bài báo mô hình wav2vec 2.0, WavLM và XEUS, cùng các bộ đếm lượt tải trực tiếp của Hugging Face. Những gì các tỷ lệ lỗi thấp này bỏ sót được đề cập trong bài tổng hợp của chúng tôi về tỷ lệ ảo giác của nhận dạng giọng nói.
Một lưu ý khi đọc mọi con số dưới đây: điểm SUPERB phần lớn đến từ giai đoạn 2021 đến 2024 vì chính các bài báo đánh giá chuẩn là nơi ghi nhận kỷ lục, và bảng xếp hạng trực tiếp không truy cập được cho lần cập nhật này (xem Lưu ý về dữ liệu). Với tỷ lệ lỗi, thấp hơn là tốt hơn; với độ chính xác và điểm SUPERB, cao hơn là tốt hơn.
Tóm tắt nhanh
- wav2vec 2.0 Large đạt WER 4,8% / 8,2% với 10 phút nhãn, so với 16,3% / 25,2% của phương pháp tốt nhất trước đó (Meta AI, wav2vec 2.0, NeurIPS 2020).
- wav2vec-U đạt WER 5,9% trên test-other mà không cần giọng nói được phiên âm nào (Meta AI, wav2vec-U 2021).
- Bảng mức tiên tiến nhất trong bài tổng quan của IEEE ghi WER LibriSpeech 1,4% / 2,6% với tiền huấn luyện tự giám sát, so với 2,1% / 4,0% khi không có (Mohamed và cs., IEEE JSTSP 2022).
- HuBERT Large giảm tỷ lệ lỗi âm vị từ 82,01% của đường cơ sở FBANK xuống 3,53% (Yang và cs., SUPERB, Interspeech 2021).
- Nhận dạng cảm xúc vẫn là mức trần thấp, với XEUS dẫn đầu ở độ chính xác 71,08% (Chen và cs., XEUS, EMNLP 2024).
- BLEU của dịch giọng nói tăng từ 2,32 với FBANK lên 20,01 với HuBERT Large (Tsai và cs., SUPERB-SG, ACL 2022).
- Khoảng một nửa trong 33 mô hình vượt FBANK trên cả 15 tác vụ (Yang và cs., IEEE/ACM TASLP 2024).
- WavLM Base+ đạt điểm tổng thể 73,4 với 94,70M tham số, cao hơn HuBERT Large ở mức 72,2 với 316,61M (Microsoft, WavLM, IEEE JSTSP 2022).
- Mô hình lớn nhất của cuộc thi, với 619,82M tham số, đạt 848 so với 1242 của WavLM-large với 315,45M (Feng và cs., SUPERB @ SLT 2022).
- Trên tập ML-SUPERB 10 phút, wav2vec2-large đạt 598,3 còn wav2vec2-base nhỏ hơn đạt 755,2 (Shi và cs., ML-SUPERB, Interspeech 2023).
- DistilHuBERT làm HuBERT nhỏ hơn 75% và nhanh hơn 73% (Chang và cs., ICASSP 2022).
- microsoft/wavlm-large hiển thị 1.068.711 lượt tải tháng trước (Hugging Face, 31 tháng 10 năm 2026).
1. Dữ liệu Có Nhãn: Từ 960 Giờ Xuống 10 Phút
Tỷ lệ lỗi từ (WER) là phần trăm số từ mà một hệ thống nhận sai, và “nhãn” ở đây nghĩa là bản phiên âm của con người. LibriSpeech có hai tập kiểm tra chuẩn: test-clean và test-other khó hơn. Giảm từ 960 giờ nhãn xuống 10 phút đã làm WER test-other của wav2vec 2.0 tăng từ 3,3% lên 8,2%. Vì 960 giờ là 57.600 phút, đó là lượng âm thanh được phiên âm ít hơn 5.760 lần (57.600 / 10) đổi lấy tỷ lệ lỗi cao hơn khoảng 2,5 lần (8,2 / 3,3).
Nút thắt đã chuyển chỗ. Trước đây phiên âm quyết định mức sàn của chất lượng; sau wav2vec 2.0, đầu vào khan hiếm trở thành âm thanh không nhãn và thời gian GPU. Mức 8,2% trên test-other cũng thấp hơn khoảng 67% so với 25,2% của phương pháp tốt nhất trước đó ((25,2 - 8,2) / 25,2), và bài tổng quan của IEEE ghi nhận đây là mô hình đầu tiên đạt WER một chữ số trên LibriSpeech chỉ với các tập con ít tài nguyên của Libri-light.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| WER với 10 phút nhãn, wav2vec 2.0 Large so với Discrete BERT tốt nhất trước đó (test-clean / test-other) | 4,8% / 8,2% so với 16,3% / 25,2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER với 10 phút nhãn, HuBERT X-Large (test-clean / test-other) | 4,6% / 6,8% | Meta AI, HuBERT, IEEE/ACM TASLP 2021 |
| WER trên test-other với 1 giờ nhãn, wav2vec 2.0 Large so với WavLM Large | 5,8% so với 5,1% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER với 10 giờ nhãn, HuBERT Large và WavLM Large (cả hai trên test-clean / test-other) | 2,4% / 4,6% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER với đủ 960 giờ nhãn LibriSpeech, wav2vec 2.0 Large (test-clean / test-other) | 1,8% / 3,3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER trên test-other không dùng giọng nói được phiên âm nào, wav2vec-U | 5,9% | Meta AI, wav2vec-U 2021 |
| WER LibriSpeech trong bảng mức tiên tiến nhất của bài tổng quan, không có so với có tiền huấn luyện tự giám sát (test-clean / test-other) | 2,1% / 4,0% so với 1,4% / 2,6% | Mohamed và cs., IEEE JSTSP 2022 |
Phép so sánh không hoàn toàn tương đương. Discrete BERT dùng mô hình ngôn ngữ 4-gram, trong khi các hàng wav2vec 2.0, HuBERT và WavLM ở trên dùng mô hình ngôn ngữ Transformer khi giải mã. Mục tự giám sát ở hàng cuối kết hợp mô hình conformer XXL với tự huấn luyện kiểu noisy student. Dữ liệu mới nhất hiện có: các bài báo của Meta AI và Microsoft, 2020 đến 2022.
2. Các Tác Vụ Nội Dung của SUPERB: Nhận Ra Điều Được Nói
SUPERB bắt đầu với 10 tác vụ và một quy tắc nghiêm ngặt: mô hình đã tiền huấn luyện được giữ đóng băng và chỉ một đầu tác vụ nhỏ được huấn luyện. Đường cơ sở là FBANK, các đặc trưng âm thanh dạng filter-bank cổ điển, hoàn toàn không có tiền huấn luyện. HuBERT Large đưa tỷ lệ lỗi âm vị từ 82,01% xuống 3,53%. Tỷ lệ lỗi âm vị cùng ý tưởng với WER, nhưng đếm trên âm thanh lời nói thay vì từ.
Những khoảng cách nổi bật làm phóng đại một điều. Bài báo lưu ý FBANK không thể hoạt động trên các tác vụ bị giới hạn ở đầu tuyến tính, điều này giải thích điểm thấp tới 8,63% cho phát hiện từ khóa. Với đầu phi tuyến trên ASR, FBANK đủ cạnh tranh để mức 23,18% của nó là mức sàn công bằng hơn. Truy vấn theo ví dụ, tác vụ tìm một thuật ngữ nói từ một mẫu âm thanh và được chấm bằng giá trị trọng số thuật ngữ tối đa (MTWV), cho ra các con số tuyệt đối thấp nhất trong nhóm: điểm cao nhất trong bài báo gốc là 0,0736.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tỷ lệ lỗi âm vị trên LibriSpeech, đường cơ sở FBANK so với HuBERT Large | 82,01% so với 3,53% | Yang và cs., SUPERB, Interspeech 2021 |
| Độ chính xác phát hiện từ khóa trên Speech Commands, FBANK so với wav2vec 2.0 Large | 8,63% so với 96,66% | Yang và cs., SUPERB, Interspeech 2021 |
| WER nhận dạng giọng nói tự động không dùng mô hình ngôn ngữ, FBANK so với HuBERT Large | 23,18% so với 3,62% | Yang và cs., SUPERB, Interspeech 2021 |
| Điểm MTWV truy vấn theo ví dụ, FBANK so với HuBERT Base | 0,0058 so với 0,0736 | Yang và cs., SUPERB, Interspeech 2021 |
| WER nhận dạng giọng nói tự động trên SUPERB, WavLM Large so với XEUS | 3,44% so với 3,34% | Chen và cs., XEUS, EMNLP 2024 |
| Độ chính xác phát hiện từ khóa trên SUPERB, WavLM Large so với XEUS | 97,86% so với 98,32% | Chen và cs., XEUS, EMNLP 2024 |
Các con số SUPERB tiếng Anh mới nhất ở đây đến từ XEUS, và các biên độ đã trở nên mỏng: 0,10 điểm phần trăm trên ASR. Nhóm tác vụ này trông gần như đã bão hòa.
3. Các Tác Vụ Người Nói, Ý Định và Cảm Xúc
Các tác vụ người nói hỏi ai đang nói thay vì điều gì được nói, nên chúng kiểm tra liệu một biểu diễn có giữ lại nhiều hơn các từ hay không. Nhận dạng người nói tăng từ gần như bằng không với FBANK lên 90,33% với HuBERT Large. WavLM Large đã tinh chỉnh đạt tỷ lệ lỗi cân bằng 0,383% trên VoxCeleb1-O, so với 1,010% của hệ thống tham chiếu ECAPA-TDNN. Tỷ lệ lỗi cân bằng (EER) là điểm vận hành mà tại đó chấp nhận sai bằng từ chối sai, nên thấp hơn là tốt hơn.
Cảm xúc là ngoại lệ. Độ chính xác nhận dạng cảm xúc bốn lớp trên IEMOCAP gần như không đổi giữa WavLM Large và XEUS, và ngay cả điểm tốt nhất vẫn để sai gần 3 trên 10 đoạn. Các giới hạn thực tế được đề cập trong thống kê độ chính xác nhận dạng cảm xúc giọng nói của chúng tôi. Các hàng phân đoạn người nói dùng những bộ dữ liệu khác nhau, vì vậy hãy xem bài tổng hợp về tỷ lệ lỗi phân đoạn người nói của chúng tôi trước khi so sánh. Tỷ lệ lỗi phân đoạn người nói (DER) đo lượng thời gian âm thanh bị sai ở câu hỏi “ai nói khi nào”.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ chính xác nhận dạng người nói trên VoxCeleb1, FBANK so với HuBERT Large | 8,5E-4 so với 90,33 (phần trăm) | Yang và cs., SUPERB, Interspeech 2021 |
| Độ chính xác phân loại ý định trên Fluent Speech Commands, FBANK so với HuBERT Large | 9,10% so với 98,76% | Yang và cs., SUPERB, Interspeech 2021 |
| Độ chính xác phân loại ý định trong bảng mức tiên tiến nhất của bài tổng quan, không có so với có tiền huấn luyện tự giám sát | 98,8% so với 99,3% | Mohamed và cs., IEEE JSTSP 2022 |
| DER phân đoạn người nói trên LibriMix hai người nói, WavLM Large so với XEUS | 3,24% so với 3,11% | Chen và cs., XEUS, EMNLP 2024 |
| Độ chính xác nhận dạng cảm xúc trên IEMOCAP (bốn lớp), WavLM Large so với XEUS | 70,62% so với 71,08% | Chen và cs., XEUS, EMNLP 2024 |
| EER xác minh người nói trên VoxCeleb1-O, tham chiếu ECAPA-TDNN so với WavLM Large với tinh chỉnh biên lớn và hiệu chuẩn điểm | 1,010% so với 0,383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| DER phân đoạn trên các cuộc gọi điện thoại CALLHOME, phân cụm EEND-EDA so với WavLM Large | 11,84% so với 10,35% | Microsoft, WavLM, IEEE JSTSP 2022 |
Hãy lưu ý sự thay đổi phương pháp ở hàng xác minh người nói: kết quả đó đến từ tinh chỉnh chứ không phải từ thiết lập đóng băng của SUPERB, nên đó không phải điểm bảng xếp hạng. Bài tổng quan của IEEE cũng cho thấy lợi thế có thể nhỏ đến mức nào ở đỉnh: 0,5 điểm phần trăm trên phân loại ý định.
4. SUPERB-SG và Bộ Đánh Giá Chuẩn 15 Tác Vụ: Nơi Tự Giám Sát Ngừng Giúp Ích
SUPERB-SG bổ sung năm tác vụ khó hơn về ngữ nghĩa và sinh. Dịch thuật cho thấy bước nhảy lớn nhất: BLEU, một điểm chất lượng dịch, tăng từ 2,32 lên 20,01. Chuyển đổi giọng nói cũng cải thiện mạnh, ở đây được đo bằng số từ mà một bộ nhận dạng nhận sai trên âm thanh đã chuyển đổi.
Sau đó mức tăng dừng lại. Tăng cường và tách giọng phụ thuộc vào chi tiết tín hiệu mức thấp, và các tác giả thấy hai tác vụ đó không tương quan mạnh với phần còn lại. wav2vec 2.0 Large thực tế nằm dưới FBANK về điểm chất lượng giọng nói PESQ. Phiên bản đăng tạp chí xác nhận điều này ở quy mô lớn: một mô hình được xây dựng để tóm lược lời nói không tự động giỏi tái tạo nó. Về phía tách giọng của bức tranh này, hãy xem thống kê tách giọng nói của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| BLEU dịch giọng nói trên CoVoST2 (tiếng Anh sang tiếng Đức), FBANK so với HuBERT Large | 2,32 so với 20,01 | Tsai và cs., SUPERB-SG, ACL 2022 |
| WER nhận dạng giọng nói ngoài miền (tiếng Tây Ban Nha, tiếng Quan Thoại, tiếng Ả Rập và tiếng Anh tự nhiên), FBANK so với HuBERT Large | 63,58% so với 44,08% | Tsai và cs., SUPERB-SG, ACL 2022 |
| WER của giọng nói đã chuyển đổi trên VCC2020, FBANK so với HuBERT Large | 38,3% so với 9,0% | Tsai và cs., SUPERB-SG, ACL 2022 |
| Điểm SI-SDRi tách giọng nói (cải thiện chất lượng tín hiệu, cao hơn là tốt hơn), FBANK so với HuBERT Large | 9,23 so với 10,45 | Tsai và cs., SUPERB-SG, ACL 2022 |
| Điểm PESQ tăng cường giọng nói trên Voicebank-DEMAND, FBANK so với wav2vec 2.0 Large so với HuBERT Large | 2,55 so với 2,52 so với 2,64 | Tsai và cs., SUPERB-SG, ACL 2022 |
| Tương quan của kết quả tác vụ với ASR, đối với dịch giọng nói và đối với ASR ngoài miền | mỗi tác vụ 0,92 | Tsai và cs., SUPERB-SG, ACL 2022 |
| Tỷ lệ trong 33 mô hình được đánh giá vượt FBANK trên cả 15 tác vụ | Khoảng một nửa | Yang và cs., IEEE/ACM TASLP 2024 |
| Các tác vụ mà những mô hình còn lại thua FBANK | Khoảng 1 đến 3 trên 15, thường gặp nhất là tăng cường và tách giọng | Yang và cs., IEEE/ACM TASLP 2024 |
Hàng ngoài miền đáng được chú ý: HuBERT Large vẫn có tỷ lệ lỗi trung bình 44,08% trên bốn tác vụ con đó (tiếng Quan Thoại được chấm theo tỷ lệ lỗi ký tự), cao hơn nhiều so với 3,62% trên LibriSpeech tiếng Anh.
5. Mở Rộng Quy Mô: Tham Số, Giờ Tiền Huấn Luyện và Bảng Xếp Hạng
Mô hình lớn nhất trong cuộc thi SUPERB @ SLT 2022 có số tham số gấp khoảng hai lần WavLM-large và đạt điểm thấp hơn 394 điểm (1242 - 848). Kích thước mua được ít hơn so với công thức huấn luyện. Bằng chứng rõ nhất là WavLM Base+, vẫn giữ cỡ Base với 94,70M tham số, bổ sung âm thanh huấn luyện đa dạng hơn, và đánh bại một mô hình lớn hơn hơn 3 lần (316,61 / 94,70 = 3,34).
Điểm cuộc thi cố định đường cơ sở FBANK ở 0 và mức tiên tiến nhất ngày 15 tháng 10 năm 2021 ở 1000, nên bất cứ điểm nào trên 1000 đều vượt ảnh chụp đó. Điểm tổng thể trong bài báo WavLM là một thang riêng, với FBANK ở 43,2, và không được so sánh hai thang này. Trong khi đó dữ liệu tiền huấn luyện đã tăng từ 94.000 giờ của WavLM lên hàng triệu giờ, và chi phí giờ đây thể hiện ở thời gian GPU.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Điểm tổng thể SUPERB, HuBERT Large so với WavLM Large (cả hai khoảng 316,6M tham số) | 72,2 so với 74,6 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Điểm tổng thể SUPERB, WavLM Base+ (94,70M tham số) so với HuBERT Large (316,61M tham số) | 73,4 so với 72,2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Âm thanh tiền huấn luyện của WavLM | 94.000 giờ (60.000 Libri-Light, 10.000 GigaSpeech, 24.000 VoxPopuli) | Microsoft, WavLM, IEEE JSTSP 2022 |
| Điểm cuộc thi trên tập ẩn của WavLM-large, kèm kích thước và tính toán | 1242 (315,45M tham số, 4.326G MAC) | Feng và cs., SUPERB @ SLT 2022 |
| Điểm cuộc thi trên tập ẩn của bài nộp lớn nhất, Unsupervised ASR + T5 (619,82M tham số) | 848 | Feng và cs., SUPERB @ SLT 2022 |
| Âm thanh tiền huấn luyện của XLS-R trên năm bộ dữ liệu | 436.000 giờ | Mohamed và cs., IEEE JSTSP 2022 |
| Kích thước mô hình XEUS và tính toán tiền huấn luyện | 577M tham số; hơn 1 triệu giờ âm thanh; 63.000 giờ GPU trên 64 GPU A100 trong khoảng 40 ngày | Chen và cs., XEUS, EMNLP 2024 |
| Âm thanh tiền huấn luyện của Google Universal Speech Model | 12 triệu giờ trên hơn 300 ngôn ngữ | Google, bài báo USM 2023 |
MAC (phép nhân-tích lũy) ước tính lượng tính toán một mô hình cần để chạy. Hàng của Google chỉ là tham chiếu quy mô: chúng tôi không tìm thấy điểm SUPERB nào cho mô hình đó.
6. Bảng Xếp Hạng Đa Ngôn Ngữ: Thứ Hạng Tiếng Anh Có Áp Dụng Được Không?
Chỉ một phần. WavLM, mô hình dẫn đầu trên SUPERB tiếng Anh, là đường cơ sở yếu nhất trong cuộc thi đa ngôn ngữ năm 2025, với tỷ lệ lỗi ký tự 72,0% so với 40,2% của XEUS. Bài báo của cuộc thi mô tả mô hình đó chỉ dành cho tiếng Anh, điều này gợi ý rằng thứ hạng trên bảng xếp hạng nói lên về âm thanh tiền huấn luyện nhiều như về kiến trúc. Về cách các bộ mã hóa giọng nói hoạt động giữa các ngôn ngữ ở cấp độ embedding, hãy xem thống kê embedding giọng nói đa ngôn ngữ của chúng tôi.
ML-SUPERB cũng chuẩn hóa lại điểm theo cách tương tự, với FBANK ở 0. Việc mở rộng quy mô ở đây cũng phản tác dụng: các mô hình lớn thường thắng trên ASR đơn ngôn ngữ, nhưng các tác giả thấy các mô hình cơ sở có xu hướng khái quát hóa tốt hơn cho các trường hợp đa ngôn ngữ so với phiên bản lớn của chúng. Cuộc thi ML-SUPERB 2.0 sau đó cho thấy phương ngữ là phần chưa được giải quyết, khi tỷ lệ lỗi ký tự của XEUS tăng từ 40,2% lên 68,7%.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Âm thanh huấn luyện ML-SUPERB trên 143 ngôn ngữ, tập 10 phút so với tập 1 giờ | 37,43 giờ so với 222,46 giờ | Shi và cs., ML-SUPERB, Interspeech 2023 |
| Điểm ML-SUPERB của XLSR-128, mô hình đứng đầu, trên tập huấn luyện 10 phút so với tập huấn luyện 1 giờ | 947,5 so với 996,0 | Shi và cs., ML-SUPERB, Interspeech 2023 |
| Điểm ML-SUPERB ở mức 10 phút, wav2vec2-base so với wav2vec2-large | 755,2 so với 598,3 | Shi và cs., ML-SUPERB, Interspeech 2023 |
| Điểm ML-SUPERB ở mức 10 phút / 1 giờ: XEUS (577M tham số, 1M giờ) so với MMS 1B (1B, 491K giờ) so với w2v-BERT 2.0 v2 (580M, 4,5M giờ) | 956 / 956 so với 953 / 948 so với 826 / 916 | Chen và cs., XEUS, EMNLP 2024 |
| Tỷ lệ lỗi ký tự trên giọng nói chuẩn, XEUS so với WavLM chỉ dành cho tiếng Anh | 40,2% so với 72,0% | Chen và cs., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| Tỷ lệ lỗi ký tự của XEUS, giọng nói chuẩn so với giọng nói phương ngữ | 40,2% so với 68,7% | Chen và cs., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
w2v-BERT 2.0 v2 có nhiều âm thanh tiền huấn luyện nhất trong phép so sánh đó và điểm thấp nhất, nên chỉ riêng nhiều giờ hơn cũng không quyết định được kết quả. Điểm từ ML-SUPERB gốc và từ phép so sánh XEUS nên được đọc trong phạm vi từng bài báo, không đọc chéo giữa các bài.
7. Hiệu Quả và Mức Độ Sử Dụng Thực Tế
Các mô hình dẫn đầu rất tốn kém, và một hướng nghiên cứu hiện đang cố thu nhỏ chúng. DistilHuBERT là ví dụ rõ nhất, nhưng dữ liệu cuộc thi cho thấy cái giá: với 27,03M tham số nó đạt 617, so với 784 của HuBERT-base ở 94,70M. Mô hình nhỏ nhất của cuộc thi chỉ đạt 104, nên việc nén vẫn mất nhiều hơn những gì các phần trăm tiêu đề ngụ ý.
Bản thân việc đánh giá chuẩn cũng là một chi phí, và đó là mục tiêu của MiniSUPERB. Số lượt tải bổ sung một tín hiệu mới hơn: wav2vec2-base-960h được tải nhiều hơn WavLM Large và HuBERT Large dù bảng xếp hạng đặt nó thấp hơn. Dễ áp dụng, và ra mắt đầu tiên, có sức nặng rất lớn.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| DistilHuBERT so với HuBERT | nhỏ hơn 75%, nhanh hơn 73% | Chang và cs., DistilHuBERT, ICASSP 2022 |
| Điểm cuộc thi trên tập ẩn, DistilHuBERT (27,03M tham số) so với HuBERT-base (94,70M tham số) | 617 so với 784 | Feng và cs., SUPERB @ SLT 2022 |
| Mô hình nhỏ nhất của cuộc thi, Chimera MelHuBERT v1 | 22,50M tham số, 271G MAC, điểm 104 | Feng và cs., SUPERB @ SLT 2022 |
| Mức giảm tính toán của MiniSUPERB, và tương quan thứ hạng của nó với cuộc thi SUPERB | ít hơn 97% MAC; Spearman 0,982 | Wang và cs., MiniSUPERB, IEEE ASRU 2023 |
| GPU cần dùng: công thức SUPERB so với công thức tinh chỉnh chính thức của wav2vec 2.0 Large | 1 GPU so với khoảng 4 đến 8 GPU | Yang và cs., IEEE/ACM TASLP 2024 |
| Lượt tải tháng trước, facebook/wav2vec2-base-960h | 1.737.874 | Trang mô hình Hugging Face, 31 tháng 10 năm 2026 |
| Lượt tải tháng trước, microsoft/wavlm-large | 1.068.711 | Trang mô hình Hugging Face, 31 tháng 10 năm 2026 |
| Lượt tải tháng trước, facebook/hubert-large-ls960-ft | 616.230 | Trang mô hình Hugging Face, 31 tháng 10 năm 2026 |
Bộ đếm lượt tải ghi nhận số lần tải, không phải số người, vì vậy hãy đọc các hàng này như dấu hiệu của hoạt động chứ không phải số lượng người dùng.
Tổng kết: Bảng Xếp Hạng SUPERB của Mô Hình Giọng Nói Tự Giám Sát qua các Con số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| WER với 10 phút nhãn, wav2vec 2.0 Large (test-clean / test-other) | 4,8% / 8,2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER với đủ 960 giờ nhãn, wav2vec 2.0 Large (test-clean / test-other) | 1,8% / 3,3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| Tỷ lệ lỗi âm vị, FBANK so với HuBERT Large | 82,01% so với 3,53% | Yang và cs., SUPERB, Interspeech 2021 |
| WER nhận dạng giọng nói trên SUPERB, WavLM Large so với XEUS | 3,44% so với 3,34% | Chen và cs., XEUS, EMNLP 2024 |
| Độ chính xác nhận dạng cảm xúc trên IEMOCAP, XEUS | 71,08% | Chen và cs., XEUS, EMNLP 2024 |
| EER xác minh người nói trên VoxCeleb1-O, tham chiếu ECAPA-TDNN so với WavLM Large đã tinh chỉnh | 1,010% so với 0,383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| BLEU dịch giọng nói, FBANK so với HuBERT Large | 2,32 so với 20,01 | Tsai và cs., SUPERB-SG, ACL 2022 |
| Các mô hình vượt FBANK trên cả 15 tác vụ | Khoảng một nửa trong 33 | Yang và cs., IEEE/ACM TASLP 2024 |
| Điểm cuộc thi trên tập ẩn của WavLM-large | 1242 | Feng và cs., SUPERB @ SLT 2022 |
| Điểm tổng thể SUPERB, WavLM Base+ so với HuBERT Large | 73,4 so với 72,2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Tính toán tiền huấn luyện của XEUS | 63.000 giờ GPU | Chen và cs., XEUS, EMNLP 2024 |
| Âm thanh tiền huấn luyện của Google Universal Speech Model | 12 triệu giờ | Google, bài báo USM 2023 |
| Điểm ML-SUPERB của XLSR-128 trên tập huấn luyện 1 giờ | 996,0 | Shi và cs., ML-SUPERB, Interspeech 2023 |
| Tỷ lệ lỗi ký tự trên giọng nói chuẩn, XEUS so với WavLM chỉ dành cho tiếng Anh | 40,2% so với 72,0% | Chen và cs., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| DistilHuBERT so với HuBERT | nhỏ hơn 75%, nhanh hơn 73% | Chang và cs., DistilHuBERT, ICASSP 2022 |
| Mức giảm tính toán của MiniSUPERB | ít hơn 97% MAC | Wang và cs., MiniSUPERB, IEEE ASRU 2023 |
| Lượt tải tháng trước, facebook/wav2vec2-base-960h | 1.737.874 | Trang mô hình Hugging Face, 31 tháng 10 năm 2026 |
Phương pháp luận và Nguồn
- SUPERB: Speech processing Universal PERformance Benchmark (Yang và cs., Interspeech 2021)
- SUPERB-SG (Tsai và cs., ACL 2022)
- A Large-Scale Evaluation of Speech Foundation Models (Yang và cs., IEEE/ACM TASLP 2024)
- Báo cáo cuộc thi SUPERB @ SLT 2022 (Feng và cs., 2022)
- ML-SUPERB (Shi và cs., Interspeech 2023)
- The ML-SUPERB 2.0 Challenge (Chen và cs., Interspeech 2025)
- MiniSUPERB (Wang và cs., IEEE ASRU 2023)
- wav2vec 2.0 (Meta AI, NeurIPS 2020)
- HuBERT (Meta AI, IEEE/ACM TASLP 2021)
- wav2vec-U (Meta AI, 2021)
- WavLM (Microsoft, IEEE JSTSP 2022)
- XEUS: Towards Robust Speech Representation Learning for Thousands of Languages (Chen và cs., EMNLP 2024)
- Universal Speech Model (Google, 2023)
- DistilHuBERT (Chang và cs., ICASSP 2022)
- Self-Supervised Speech Representation Learning: A Review (Mohamed và cs., IEEE JSTSP 2022)
- Các trang mô hình Hugging Face: facebook/wav2vec2-base-960h, microsoft/wavlm-large, facebook/hubert-large-ls960-ft (31 tháng 10 năm 2026)
- Lưu ý về dữ liệu: bảng xếp hạng SUPERB trực tiếp không đọc được vào ngày 31 tháng 10 năm 2026 (máy chủ từ chối kết nối và trang GitHub của bộ đánh giá chuẩn không hiển thị điểm nào), nên mọi con số SUPERB ở đây đều lấy từ các bài báo đã công bố và có thể đã có bài nộp mới hơn. Có ba thang điểm xuất hiện và chúng không thể thay thế cho nhau: điểm tổng thể trong bài báo WavLM, điểm cuộc thi (đường cơ sở 0, mức tiên tiến nhất ngày 15 tháng 10 năm 2021 là 1000) và điểm ML-SUPERB. Điểm 586,9 của wav2vec2-large trên tập 1 giờ của ML-SUPERB đi kèm một giá trị nhận dạng ngôn ngữ được in là 8,0 trong bảng của bài báo đó, thấp hơn nhiều so với các giá trị lân cận, nên khoảng cách đơn lẻ đó cần được đọc thận trọng. Số tham số thay đổi đôi chút giữa các bài báo: 316,62M so với 315,45M cho WavLM Large và 94,70M so với 94,38M cho WavLM Base+. Các mâu thuẫn nhỏ trong chính các nguồn: văn bản SUPERB nêu 5,10 cho xác minh người nói của HuBERT trong khi bảng của nó nêu 5,11 (chúng tôi dùng bảng); văn bản XEUS nêu 33,3 cho tỷ lệ lỗi ký tự 10 phút tốt nhất của nó trong khi bảng nêu 30,3 cho XEUS và 33,3 cho MMS 1B; bài báo ML-SUPERB 2.0 nêu cả 149 và 154 ngôn ngữ, và các mức tăng trong phần tóm tắt không khớp với mục 4.1, nên chúng tôi chỉ báo cáo bảng đường cơ sở của nó. Lượt tải Hugging Face là số đếm cuốn chiếu của tháng qua và thay đổi hằng ngày. Phần lớn kết quả SUPERB có từ 2021 đến 2024, vì vậy hãy xem chúng là dữ liệu mới nhất hiện có chứ không phải số đo của năm 2026.
Cập nhật lần cuối: ngày 31 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hằng quý, và lần làm mới tiếp theo dự kiến sẽ diễn ra khi kết quả cuộc thi ML-SUPERB tiếp theo được công bố.