Sepuluh menit ucapan yang ditranskripsi sudah cukup bagi wav2vec 2.0 untuk mencapai tingkat kesalahan kata 4,8% pada set LibriSpeech test-clean (Meta AI, wav2vec 2.0, NeurIPS 2020), setelah model lebih dulu dilatih pada audio mentah tanpa transkrip manusia, pendekatan yang dikenal sebagai pembelajaran swa-supervisi. Pada set uji tersembunyi tantangan SUPERB @ SLT 2022, WavLM-large mendapat skor 1242 pada skala di mana kondisi terbaik Oktober 2021 berada di angka 1000 (Feng dkk., SUPERB @ SLT 2022), namun hanya sekitar setengah dari 33 model yang diuji mengalahkan acuan klasik pada setiap tugas (Yang dkk., IEEE/ACM TASLP 2024). Checkpoint lama tetap dipakai setiap hari: facebook/wav2vec2-base-960h menampilkan 1.737.874 unduhan bulan lalu (Hugging Face, 31 Oktober 2026). Kami mengagregasi data dari makalah tolok ukur SUPERB, SUPERB-SG, dan ML-SUPERB, laporan tantangan SUPERB @ SLT 2022, makalah model wav2vec 2.0, WavLM, dan XEUS, serta penghitung unduhan Hugging Face yang aktif. Hal-hal yang tidak tercakup oleh angka kesalahan rendah ini dibahas dalam rangkuman kami tentang tingkat halusinasi pengenalan ucapan.
Catatan untuk membaca setiap angka di bawah: skor SUPERB sebagian besar berasal dari 2021 sampai 2024 karena makalah tolok ukurlah yang mencatat rekor, dan papan peringkat langsungnya tidak dapat dijangkau untuk pembaruan ini (lihat Catatan data). Lebih rendah lebih baik untuk tingkat kesalahan; lebih tinggi lebih baik untuk akurasi dan skor SUPERB.
TL;DR
- wav2vec 2.0 Large mencapai WER 4,8% / 8,2% dengan label 10 menit, dibandingkan 16,3% / 25,2% untuk metode terbaik sebelumnya (Meta AI, wav2vec 2.0, NeurIPS 2020).
- wav2vec-U mencapai WER 5,9% pada test-other tanpa ucapan yang ditranskripsi sama sekali (Meta AI, wav2vec-U 2021).
- Tabel kondisi terbaik dalam tinjauan IEEE mencantumkan WER LibriSpeech 1,4% / 2,6% dengan pelatihan awal swa-supervisi, dibandingkan 2,1% / 4,0% tanpanya (Mohamed dkk., IEEE JSTSP 2022).
- HuBERT Large memangkas tingkat kesalahan fonem dari 82,01% pada acuan FBANK menjadi 3,53% (Yang dkk., SUPERB, Interspeech 2021).
- Pengenalan emosi tetap menjadi batas atas yang rendah, dengan XEUS di puncak pada akurasi 71,08% (Chen dkk., XEUS, EMNLP 2024).
- BLEU terjemahan ucapan naik dari 2,32 dengan FBANK menjadi 20,01 dengan HuBERT Large (Tsai dkk., SUPERB-SG, ACL 2022).
- Sekitar setengah dari 33 model mengalahkan FBANK pada seluruh 15 tugas (Yang dkk., IEEE/ACM TASLP 2024).
- WavLM Base+ mendapat skor keseluruhan 73,4 dengan 94,70M parameter, di atas HuBERT Large di 72,2 dengan 316,61M (Microsoft, WavLM, IEEE JSTSP 2022).
- Model tantangan terbesar, dengan 619,82M parameter, mendapat skor 848 dibandingkan 1242 untuk WavLM-large dengan 315,45M (Feng dkk., SUPERB @ SLT 2022).
- Pada set ML-SUPERB 10 menit, wav2vec2-large mendapat skor 598,3 dan wav2vec2-base yang lebih kecil 755,2 (Shi dkk., ML-SUPERB, Interspeech 2023).
- DistilHuBERT membuat HuBERT 75% lebih kecil dan 73% lebih cepat (Chang dkk., ICASSP 2022).
- microsoft/wavlm-large menampilkan 1.068.711 unduhan bulan lalu (Hugging Face, 31 Oktober 2026).
1. Data Berlabel: Dari 960 Jam ke 10 Menit
Tingkat kesalahan kata (WER) adalah persentase kata yang salah dikenali sebuah sistem, dan “label” di sini berarti transkrip manusia. LibriSpeech memiliki dua set uji standar: test-clean dan test-other yang lebih sulit. Turun dari 960 jam label ke 10 menit menaikkan WER wav2vec 2.0 pada test-other dari 3,3% menjadi 8,2%. Karena 960 jam sama dengan 57.600 menit, itu berarti audio yang ditranskripsi 5.760 kali lebih sedikit (57.600 / 10) dengan tingkat kesalahan sekitar 2,5 kali lebih tinggi (8,2 / 3,3).
Hambatannya berpindah. Transkripsi dulu menentukan batas bawah kualitas; setelah wav2vec 2.0, masukan yang langka menjadi audio tanpa label dan waktu GPU. Angka 8,2% pada test-other juga berada sekitar 67% di bawah 25,2% milik metode terbaik sebelumnya ((25,2 - 8,2) / 25,2), dan tinjauan IEEE menyebutnya sebagai model pertama yang mencapai WER satu digit pada LibriSpeech hanya dengan subset Libri-light berdaya rendah.
| Metrik | Nilai | Sumber |
|---|---|---|
| WER dengan label 10 menit, wav2vec 2.0 Large dibandingkan Discrete BERT terbaik sebelumnya (test-clean / test-other) | 4,8% / 8,2% berbanding 16,3% / 25,2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER dengan label 10 menit, HuBERT X-Large (test-clean / test-other) | 4,6% / 6,8% | Meta AI, HuBERT, IEEE/ACM TASLP 2021 |
| WER pada test-other dengan label 1 jam, wav2vec 2.0 Large dibandingkan WavLM Large | 5,8% berbanding 5,1% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER dengan label 10 jam, HuBERT Large dan WavLM Large (keduanya test-clean / test-other) | 2,4% / 4,6% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER dengan seluruh 960 jam label LibriSpeech, wav2vec 2.0 Large (test-clean / test-other) | 1,8% / 3,3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER pada test-other tanpa ucapan yang ditranskripsi sama sekali, wav2vec-U | 5,9% | Meta AI, wav2vec-U 2021 |
| WER LibriSpeech dalam tabel kondisi terbaik tinjauan ini, tanpa pelatihan awal swa-supervisi dibandingkan dengan pelatihan awal swa-supervisi (test-clean / test-other) | 2,1% / 4,0% berbanding 1,4% / 2,6% | Mohamed dkk., IEEE JSTSP 2022 |
Perbandingannya tidak sepenuhnya setara. Discrete BERT memakai model bahasa 4-gram, sedangkan baris wav2vec 2.0, HuBERT, dan WavLM di atas memakai model bahasa Transformer saat dekode. Entri swa-supervisi pada baris terakhir menggabungkan model conformer XXL dengan pelatihan mandiri noisy student. Data terbaru yang tersedia: makalah Meta AI dan Microsoft, 2020 sampai 2022.
2. Tugas Konten SUPERB: Mengenali Apa yang Diucapkan
SUPERB dimulai dengan 10 tugas dan satu aturan ketat: model yang sudah dilatih awal tetap dibekukan dan hanya kepala tugas kecil yang dilatih. Acuannya adalah FBANK, fitur audio filter-bank klasik tanpa pelatihan awal sama sekali. HuBERT Large menurunkan tingkat kesalahan fonem dari 82,01% menjadi 3,53%. Tingkat kesalahan fonem punya gagasan yang sama dengan WER, dihitung pada bunyi ucapan, bukan pada kata.
Selisih yang mencolok melebih-lebihkan satu hal. Makalah mencatat FBANK tidak bisa bekerja pada tugas yang dibatasi kepala linear, yang menjelaskan skor serendah 8,63% untuk deteksi kata kunci. Dengan kepala non-linear pada ASR, FBANK cukup kompetitif sehingga 23,18% miliknya adalah batas bawah yang lebih adil. Pencarian dengan contoh (query by example), yang menemukan istilah lisan dari sampel audio dan dinilai dengan maximum term weighted value (MTWV), menghasilkan angka mutlak terendah di kelompok ini: skor tertinggi dalam makalah aslinya adalah 0,0736.
| Metrik | Nilai | Sumber |
|---|---|---|
| Tingkat kesalahan fonem pada LibriSpeech, acuan FBANK dibandingkan HuBERT Large | 82,01% berbanding 3,53% | Yang dkk., SUPERB, Interspeech 2021 |
| Akurasi deteksi kata kunci pada Speech Commands, FBANK dibandingkan wav2vec 2.0 Large | 8,63% berbanding 96,66% | Yang dkk., SUPERB, Interspeech 2021 |
| WER pengenalan ucapan otomatis tanpa model bahasa, FBANK dibandingkan HuBERT Large | 23,18% berbanding 3,62% | Yang dkk., SUPERB, Interspeech 2021 |
| Skor MTWV pencarian dengan contoh, FBANK dibandingkan HuBERT Base | 0,0058 berbanding 0,0736 | Yang dkk., SUPERB, Interspeech 2021 |
| WER pengenalan ucapan otomatis pada SUPERB, WavLM Large dibandingkan XEUS | 3,44% berbanding 3,34% | Chen dkk., XEUS, EMNLP 2024 |
| Akurasi deteksi kata kunci pada SUPERB, WavLM Large dibandingkan XEUS | 97,86% berbanding 98,32% | Chen dkk., XEUS, EMNLP 2024 |
Angka SUPERB berbahasa Inggris terbaru di sini berasal dari XEUS, dan selisihnya kini tipis: 0,10 poin persentase pada ASR. Keluarga tugas ini tampak mendekati jenuh.
3. Tugas Pembicara, Maksud, dan Emosi
Tugas pembicara menanyakan siapa yang berbicara, bukan apa yang diucapkan, sehingga menguji apakah sebuah representasi menyimpan lebih dari sekadar kata-kata. Identifikasi pembicara naik dari praktis nol dengan FBANK menjadi 90,33% dengan HuBERT Large. WavLM Large yang disetel halus mencapai tingkat kesalahan setara 0,383% pada VoxCeleb1-O, dibandingkan 1,010% untuk sistem acuan ECAPA-TDNN. Tingkat kesalahan setara (EER) adalah titik operasi di mana penerimaan palsu sama dengan penolakan palsu, sehingga lebih rendah lebih baik.
Emosi adalah pengecualian. Akurasi emosi empat kelas pada IEMOCAP nyaris tidak bergerak antara WavLM Large dan XEUS, dan skor terbaik pun masih menyisakan hampir 3 dari 10 klip yang salah. Batas praktisnya dibahas dalam statistik akurasi pengenalan emosi ucapan kami. Baris diarisasi memakai dataset yang berbeda, jadi lihat rangkuman tingkat kesalahan diarisasi pembicara kami sebelum membandingkannya. Tingkat kesalahan diarisasi (DER) mengukur seberapa banyak waktu audio yang salah dalam menjawab “siapa berbicara kapan”.
| Metrik | Nilai | Sumber |
|---|---|---|
| Akurasi identifikasi pembicara pada VoxCeleb1, FBANK dibandingkan HuBERT Large | 8,5E-4 berbanding 90,33 (persen) | Yang dkk., SUPERB, Interspeech 2021 |
| Akurasi klasifikasi maksud pada Fluent Speech Commands, FBANK dibandingkan HuBERT Large | 9,10% berbanding 98,76% | Yang dkk., SUPERB, Interspeech 2021 |
| Akurasi klasifikasi maksud dalam tabel kondisi terbaik tinjauan ini, tanpa pelatihan awal swa-supervisi dibandingkan dengan pelatihan awal swa-supervisi | 98,8% berbanding 99,3% | Mohamed dkk., IEEE JSTSP 2022 |
| DER diarisasi pembicara pada LibriMix dua pembicara, WavLM Large dibandingkan XEUS | 3,24% berbanding 3,11% | Chen dkk., XEUS, EMNLP 2024 |
| Akurasi pengenalan emosi pada IEMOCAP (empat kelas), WavLM Large dibandingkan XEUS | 70,62% berbanding 71,08% | Chen dkk., XEUS, EMNLP 2024 |
| EER verifikasi pembicara pada VoxCeleb1-O, acuan ECAPA-TDNN dibandingkan WavLM Large dengan penyetelan halus margin besar dan kalibrasi skor | 1,010% berbanding 0,383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| DER diarisasi pada panggilan telepon CALLHOME, pengelompokan EEND-EDA dibandingkan WavLM Large | 11,84% berbanding 10,35% | Microsoft, WavLM, IEEE JSTSP 2022 |
Perhatikan perubahan metode pada baris verifikasi pembicara: hasil itu berasal dari penyetelan halus, bukan dari pengaturan beku SUPERB, sehingga bukan skor papan peringkat. Tinjauan IEEE juga menunjukkan betapa kecilnya keunggulan di puncak: 0,5 poin persentase pada klasifikasi maksud.
4. SUPERB-SG dan Tolok Ukur 15 Tugas: Di Mana Swa-Supervisi Berhenti Membantu
SUPERB-SG menambahkan lima tugas yang lebih sulit di bidang semantik dan generasi. Terjemahan menunjukkan lompatan terbesar: BLEU, skor kualitas terjemahan, naik dari 2,32 menjadi 20,01. Konversi suara juga membaik tajam, diukur di sini dari berapa banyak kata yang salah dikenali oleh pengenal pada audio hasil konversi.
Setelah itu peningkatannya berhenti. Peningkatan kualitas dan pemisahan bergantung pada detail sinyal tingkat rendah, dan para penulis menemukan kedua tugas itu tidak berkorelasi kuat dengan yang lainnya. wav2vec 2.0 Large sebenarnya berada di bawah FBANK pada skor kualitas ucapan PESQ. Versi jurnalnya mengonfirmasi hal itu pada skala besar: model yang dibangun untuk meringkas ucapan tidak otomatis bagus dalam merekonstruksinya. Untuk sisi pemisahan dari gambaran ini, lihat statistik pemisahan ucapan kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| BLEU terjemahan ucapan pada CoVoST2 (Inggris ke Jerman), FBANK dibandingkan HuBERT Large | 2,32 berbanding 20,01 | Tsai dkk., SUPERB-SG, ACL 2022 |
| WER pengenalan ucapan di luar domain (Spanyol, Mandarin, Arab, dan Inggris spontan), FBANK dibandingkan HuBERT Large | 63,58% berbanding 44,08% | Tsai dkk., SUPERB-SG, ACL 2022 |
| WER ucapan hasil konversi suara pada VCC2020, FBANK dibandingkan HuBERT Large | 38,3% berbanding 9,0% | Tsai dkk., SUPERB-SG, ACL 2022 |
| Skor SI-SDRi pemisahan ucapan (peningkatan kualitas sinyal, lebih tinggi lebih baik), FBANK dibandingkan HuBERT Large | 9,23 berbanding 10,45 | Tsai dkk., SUPERB-SG, ACL 2022 |
| Skor PESQ peningkatan kualitas ucapan pada Voicebank-DEMAND, FBANK dibandingkan wav2vec 2.0 Large dibandingkan HuBERT Large | 2,55 berbanding 2,52 berbanding 2,64 | Tsai dkk., SUPERB-SG, ACL 2022 |
| Korelasi hasil tugas dengan ASR, untuk terjemahan ucapan dan untuk ASR di luar domain | masing-masing 0,92 | Tsai dkk., SUPERB-SG, ACL 2022 |
| Porsi dari 33 model yang diuji yang mengalahkan FBANK pada seluruh 15 tugas | Sekitar setengah | Yang dkk., IEEE/ACM TASLP 2024 |
| Tugas di mana model lainnya tertinggal dari FBANK | Sekitar 1 sampai 3 dari 15, paling sering peningkatan kualitas dan pemisahan | Yang dkk., IEEE/ACM TASLP 2024 |
Baris di luar domain layak diperhatikan: HuBERT Large masih rata-rata memiliki tingkat kesalahan 44,08% di keempat subtugas itu (Mandarin dinilai dengan tingkat kesalahan karakter), jauh di atas 3,62% miliknya pada LibriSpeech berbahasa Inggris.
5. Penskalaan: Parameter, Jam Pelatihan Awal, dan Papan Peringkat
Model terbesar dalam tantangan SUPERB @ SLT 2022 memiliki parameter sekitar dua kali lipat WavLM-large dan mendapat skor 394 poin lebih rendah (1242 - 848). Ukuran membeli lebih sedikit daripada resep pelatihan. Bukti paling jelas adalah WavLM Base+, yang mempertahankan ukuran Base-nya pada 94,70M parameter, menambah audio pelatihan yang lebih beragam, dan mengalahkan model yang lebih dari 3 kali lebih besar (316,61 / 94,70 = 3,34).
Skor tantangan mematok acuan FBANK pada 0 dan kondisi terbaik per 15 Oktober 2021 pada 1000, sehingga apa pun di atas 1000 mengalahkan potret tersebut. Skor keseluruhan dalam makalah WavLM adalah skala terpisah, dengan FBANK di 43,2, dan keduanya tidak boleh dibandingkan. Sementara itu, data pelatihan awal telah tumbuh dari 94.000 jam milik WavLM menjadi jutaan jam, dan biayanya kini terlihat pada waktu GPU.
| Metrik | Nilai | Sumber |
|---|---|---|
| Skor keseluruhan SUPERB, HuBERT Large dibandingkan WavLM Large (keduanya sekitar 316,6M parameter) | 72,2 berbanding 74,6 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Skor keseluruhan SUPERB, WavLM Base+ (94,70M parameter) dibandingkan HuBERT Large (316,61M parameter) | 73,4 berbanding 72,2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Audio pelatihan awal WavLM | 94.000 jam (60.000 Libri-Light, 10.000 GigaSpeech, 24.000 VoxPopuli) | Microsoft, WavLM, IEEE JSTSP 2022 |
| Skor tantangan set tersembunyi WavLM-large, beserta ukuran dan komputasi | 1242 (315,45M parameter, 4.326G MAC) | Feng dkk., SUPERB @ SLT 2022 |
| Skor tantangan set tersembunyi dari pengiriman terbesar, Unsupervised ASR + T5 (619,82M parameter) | 848 | Feng dkk., SUPERB @ SLT 2022 |
| Audio pelatihan awal XLS-R dari lima dataset | 436.000 jam | Mohamed dkk., IEEE JSTSP 2022 |
| Ukuran model XEUS dan komputasi pelatihan awal | 577M parameter; lebih dari 1 juta jam audio; 63.000 jam GPU pada 64 GPU A100 selama sekitar 40 hari | Chen dkk., XEUS, EMNLP 2024 |
| Audio pelatihan awal Google Universal Speech Model | 12 juta jam dalam lebih dari 300 bahasa | Google, makalah USM 2023 |
MAC (operasi kali-akumulasi) memperkirakan seberapa besar komputasi yang dibutuhkan model untuk berjalan. Baris Google hanya rujukan skala: kami tidak menemukan skor SUPERB untuk model tersebut.
6. Papan Peringkat Multibahasa: Apakah Peringkat Bahasa Inggris Berlaku di Bahasa Lain?
Hanya sebagian. WavLM, yang memimpin SUPERB berbahasa Inggris, menjadi acuan terlemah dalam tantangan multibahasa 2025, dengan tingkat kesalahan karakter 72,0% dibandingkan 40,2% untuk XEUS. Makalah tantangan menggambarkan model itu hanya berbahasa Inggris, yang menunjukkan bahwa peringkat papan peringkat berbicara sama banyaknya tentang audio pelatihan awal dan tentang arsitekturnya. Untuk perilaku encoder ucapan lintas bahasa pada tingkat embedding, lihat statistik embedding ucapan multibahasa kami.
ML-SUPERB menskalakan ulang skornya dengan cara yang sama, dengan FBANK di 0. Penskalaan juga berbalik merugikan di sini: model besar biasanya menang pada ASR satu bahasa, tetapi para penulis menemukan model dasar cenderung lebih baik menggeneralisasi ke kasus multibahasa daripada versi besarnya. Tantangan ML-SUPERB 2.0 kemudian menunjukkan dialek sebagai bagian yang belum terpecahkan, dengan tingkat kesalahan karakter XEUS naik dari 40,2% menjadi 68,7%.
| Metrik | Nilai | Sumber |
|---|---|---|
| Audio pelatihan ML-SUPERB di 143 bahasa, set 10 menit dibandingkan set 1 jam | 37,43 jam berbanding 222,46 jam | Shi dkk., ML-SUPERB, Interspeech 2023 |
| Skor ML-SUPERB XLSR-128, model teratas, pada set pelatihan 10 menit dibandingkan set pelatihan 1 jam | 947,5 berbanding 996,0 | Shi dkk., ML-SUPERB, Interspeech 2023 |
| Skor ML-SUPERB pada 10 menit, wav2vec2-base dibandingkan wav2vec2-large | 755,2 berbanding 598,3 | Shi dkk., ML-SUPERB, Interspeech 2023 |
| Skor ML-SUPERB pada 10 menit / 1 jam: XEUS (577M parameter, 1M jam) dibandingkan MMS 1B (1B, 491K jam) dibandingkan w2v-BERT 2.0 v2 (580M, 4,5M jam) | 956 / 956 berbanding 953 / 948 berbanding 826 / 916 | Chen dkk., XEUS, EMNLP 2024 |
| Tingkat kesalahan karakter pada ucapan standar, XEUS dibandingkan WavLM yang hanya berbahasa Inggris | 40,2% berbanding 72,0% | Chen dkk., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| Tingkat kesalahan karakter XEUS, ucapan standar dibandingkan ucapan dialek | 40,2% berbanding 68,7% | Chen dkk., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
w2v-BERT 2.0 v2 memiliki audio pelatihan awal terbanyak dalam perbandingan itu dan skor terendah, jadi jumlah jam yang lebih banyak saja tidak menentukan hasilnya. Skor dari ML-SUPERB asli dan perbandingan XEUS harus dibaca di dalam masing-masing makalah, bukan lintas makalah.
7. Efisiensi dan Adopsi di Dunia Nyata
Model-model terdepan itu mahal, dan satu lini riset kini mencoba memperkecilnya. DistilHuBERT adalah contoh paling jelas, tetapi data tantangan menunjukkan harganya: dengan 27,03M parameter ia mendapat skor 617, dibandingkan 784 untuk HuBERT-base pada 94,70M. Model tantangan terkecil hanya mendapat skor 104, jadi kompresi masih kehilangan lebih banyak daripada yang tersirat dari persentase utamanya.
Tolok ukur itu sendiri juga menjadi biaya, yang menjadi sasaran MiniSUPERB. Jumlah unduhan menambah sinyal yang lebih baru: wav2vec2-base-960h lebih banyak diunduh daripada WavLM Large dan HuBERT Large meskipun papan peringkat menempatkannya lebih rendah. Mudah diadopsi, dan menjadi yang pertama, sangat berpengaruh.
| Metrik | Nilai | Sumber |
|---|---|---|
| DistilHuBERT dibandingkan dengan HuBERT | 75% lebih kecil, 73% lebih cepat | Chang dkk., DistilHuBERT, ICASSP 2022 |
| Skor tantangan set tersembunyi, DistilHuBERT (27,03M parameter) dibandingkan HuBERT-base (94,70M parameter) | 617 berbanding 784 | Feng dkk., SUPERB @ SLT 2022 |
| Model tantangan terkecil, Chimera MelHuBERT v1 | 22,50M parameter, 271G MAC, skor 104 | Feng dkk., SUPERB @ SLT 2022 |
| Pengurangan komputasi MiniSUPERB, dan korelasi peringkatnya dengan tantangan SUPERB | 97% lebih sedikit MAC; Spearman 0,982 | Wang dkk., MiniSUPERB, IEEE ASRU 2023 |
| GPU yang dibutuhkan: resep SUPERB dibandingkan resep resmi penyetelan halus wav2vec 2.0 Large | 1 GPU berbanding sekitar 4 sampai 8 GPU | Yang dkk., IEEE/ACM TASLP 2024 |
| Unduhan bulan lalu, facebook/wav2vec2-base-960h | 1.737.874 | Halaman model Hugging Face, 31 Oktober 2026 |
| Unduhan bulan lalu, microsoft/wavlm-large | 1.068.711 | Halaman model Hugging Face, 31 Oktober 2026 |
| Unduhan bulan lalu, facebook/hubert-large-ls960-ft | 616.230 | Halaman model Hugging Face, 31 Oktober 2026 |
Penghitung unduhan mencatat penarikan, bukan orang, jadi baca baris-baris ini sebagai tanda aktivitas, bukan jumlah pengguna.
Ringkasan: Papan Peringkat SUPERB Model Ucapan Swa-Supervisi dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| WER dengan label 10 menit, wav2vec 2.0 Large (test-clean / test-other) | 4,8% / 8,2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER dengan seluruh 960 jam label, wav2vec 2.0 Large (test-clean / test-other) | 1,8% / 3,3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| Tingkat kesalahan fonem, FBANK dibandingkan HuBERT Large | 82,01% berbanding 3,53% | Yang dkk., SUPERB, Interspeech 2021 |
| WER pengenalan ucapan pada SUPERB, WavLM Large dibandingkan XEUS | 3,44% berbanding 3,34% | Chen dkk., XEUS, EMNLP 2024 |
| Akurasi pengenalan emosi pada IEMOCAP, XEUS | 71,08% | Chen dkk., XEUS, EMNLP 2024 |
| EER verifikasi pembicara pada VoxCeleb1-O, acuan ECAPA-TDNN dibandingkan WavLM Large yang disetel halus | 1,010% berbanding 0,383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| BLEU terjemahan ucapan, FBANK dibandingkan HuBERT Large | 2,32 berbanding 20,01 | Tsai dkk., SUPERB-SG, ACL 2022 |
| Model yang mengalahkan FBANK pada seluruh 15 tugas | Sekitar setengah dari 33 | Yang dkk., IEEE/ACM TASLP 2024 |
| Skor tantangan set tersembunyi WavLM-large | 1242 | Feng dkk., SUPERB @ SLT 2022 |
| Skor keseluruhan SUPERB, WavLM Base+ dibandingkan HuBERT Large | 73,4 berbanding 72,2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Komputasi pelatihan awal XEUS | 63.000 jam GPU | Chen dkk., XEUS, EMNLP 2024 |
| Audio pelatihan awal Google Universal Speech Model | 12 juta jam | Google, makalah USM 2023 |
| Skor ML-SUPERB XLSR-128 pada set pelatihan 1 jam | 996,0 | Shi dkk., ML-SUPERB, Interspeech 2023 |
| Tingkat kesalahan karakter pada ucapan standar, XEUS dibandingkan WavLM yang hanya berbahasa Inggris | 40,2% berbanding 72,0% | Chen dkk., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| DistilHuBERT dibandingkan dengan HuBERT | 75% lebih kecil, 73% lebih cepat | Chang dkk., DistilHuBERT, ICASSP 2022 |
| Pengurangan komputasi MiniSUPERB | 97% lebih sedikit MAC | Wang dkk., MiniSUPERB, IEEE ASRU 2023 |
| Unduhan bulan lalu, facebook/wav2vec2-base-960h | 1.737.874 | Halaman model Hugging Face, 31 Oktober 2026 |
Metodologi dan Sumber
- SUPERB: Speech processing Universal PERformance Benchmark (Yang dkk., Interspeech 2021)
- SUPERB-SG (Tsai dkk., ACL 2022)
- A Large-Scale Evaluation of Speech Foundation Models (Yang dkk., IEEE/ACM TASLP 2024)
- Laporan tantangan SUPERB @ SLT 2022 (Feng dkk., 2022)
- ML-SUPERB (Shi dkk., Interspeech 2023)
- The ML-SUPERB 2.0 Challenge (Chen dkk., Interspeech 2025)
- MiniSUPERB (Wang dkk., IEEE ASRU 2023)
- wav2vec 2.0 (Meta AI, NeurIPS 2020)
- HuBERT (Meta AI, IEEE/ACM TASLP 2021)
- wav2vec-U (Meta AI, 2021)
- WavLM (Microsoft, IEEE JSTSP 2022)
- XEUS: Towards Robust Speech Representation Learning for Thousands of Languages (Chen dkk., EMNLP 2024)
- Universal Speech Model (Google, 2023)
- DistilHuBERT (Chang dkk., ICASSP 2022)
- Self-Supervised Speech Representation Learning: A Review (Mohamed dkk., IEEE JSTSP 2022)
- Halaman model Hugging Face: facebook/wav2vec2-base-960h, microsoft/wavlm-large, facebook/hubert-large-ls960-ft (31 Oktober 2026)
- Catatan data: papan peringkat SUPERB langsung tidak dapat dibaca pada 31 Oktober 2026 (host menolak koneksi dan halaman GitHub tolok ukur ini tidak menampilkan skor), sehingga setiap angka SUPERB di sini berasal dari makalah terbitan dan pengiriman yang lebih baru mungkin ada. Tiga skala skor muncul dan tidak dapat dipertukarkan: skor keseluruhan dalam makalah WavLM, skor tantangan (acuan 0, kondisi terbaik 15 Oktober 2021 sebesar 1000), dan skor ML-SUPERB. Skor 586,9 untuk wav2vec2-large pada set 1 jam ML-SUPERB mengikuti nilai identifikasi bahasa tercetak 8,0 pada tabel makalah itu, jauh di bawah nilai-nilai tetangganya, sehingga selisih tunggal itu harus dibaca dengan hati-hati. Jumlah parameter sedikit berbeda antarmakalah: 316,62M dibandingkan 315,45M untuk WavLM Large dan 94,70M dibandingkan 94,38M untuk WavLM Base+. Konflik kecil di dalam sumber: teks SUPERB menyebut 5,10 untuk verifikasi pembicara HuBERT sementara tabelnya menyebut 5,11 (kami memakai tabel); teks XEUS memberi 33,3 untuk tingkat kesalahan karakter 10 menit terbaiknya sementara tabelnya memberi 30,3 untuk XEUS dan 33,3 untuk MMS 1B; makalah ML-SUPERB 2.0 menyebut 149 sekaligus 154 bahasa, dan peningkatan di abstraknya tidak cocok dengan bagian 4.1, sehingga kami hanya melaporkan tabel acuannya. Unduhan Hugging Face adalah hitungan bergulir satu bulan terakhir dan berubah setiap hari. Sebagian besar hasil SUPERB berasal dari 2021 sampai 2024, jadi perlakukan sebagai data terbaru yang tersedia, bukan pengukuran 2026.
Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika hasil tantangan ML-SUPERB berikutnya dipublikasikan.