Dziesięć minut transkrybowanej mowy wystarczyło, by wav2vec 2.0 osiągnął współczynnik błędów słów równy 4,8% na zbiorze LibriSpeech test-clean (Meta AI, wav2vec 2.0, NeurIPS 2020), po tym jak model najpierw trenował na surowym dźwięku bez żadnych ludzkich transkrypcji, czyli metodą znaną jako uczenie samonadzorowane. Na ukrytym zbiorze testowym wyzwania SUPERB @ SLT 2022 WavLM-large uzyskał 1242 w skali, w której stan wiedzy z października 2021 roku wynosi 1000 (Feng i in., SUPERB @ SLT 2022), a mimo to tylko około połowa z 33 przetestowanych modeli pokonuje klasyczną bazę w każdym zadaniu (Yang i in., IEEE/ACM TASLP 2024). Starsze punkty kontrolne pozostają w codziennym użyciu: facebook/wav2vec2-base-960h miał 1.737.874 pobrań w ostatnim miesiącu (Hugging Face, 31 października 2026 roku). Zebraliśmy dane z prac o benchmarkach SUPERB, SUPERB-SG i ML-SUPERB, raportu z wyzwania SUPERB @ SLT 2022, prac o modelach wav2vec 2.0, WavLM i XEUS oraz z aktywnych liczników pobrań Hugging Face. To, czego te niskie wskaźniki błędów nie pokazują, omawiamy w zestawieniu o częstości halucynacji w rozpoznawaniu mowy.
Uwaga o czytaniu każdej liczby poniżej: wyniki SUPERB pochodzą głównie z lat 2021 do 2024, ponieważ to prace o benchmarku wyznaczyły rekordy, a do aktywnego rankingu nie udało się dotrzeć w tej aktualizacji (zob. Uwaga o danych). Dla współczynników błędów lepsza jest wartość niższa; dla dokładności i dla wyników SUPERB lepsza jest wartość wyższa.
TL;DR
- wav2vec 2.0 Large osiągnął 4,8% / 8,2% WER przy 10 minutach etykiet, wobec 16,3% / 25,2% dla poprzedniej najlepszej metody (Meta AI, wav2vec 2.0, NeurIPS 2020).
- wav2vec-U osiągnął 5,9% WER na test-other przy zerowej ilości transkrybowanej mowy (Meta AI, wav2vec-U 2021).
- Tabela stanu wiedzy z przeglądu IEEE podaje 1,4% / 2,6% WER na LibriSpeech przy wstępnym trenowaniu samonadzorowanym, wobec 2,1% / 4,0% bez niego (Mohamed i in., IEEE JSTSP 2022).
- HuBERT Large obniżył współczynnik błędów fonemów do 3,53%, z 82,01% dla bazy FBANK (Yang i in., SUPERB, Interspeech 2021).
- Rozpoznawanie emocji pozostaje niskim pułapem, z XEUS na czele z dokładnością 71,08% (Chen i in., XEUS, EMNLP 2024).
- BLEU w tłumaczeniu mowy wzrósł z 2,32 dla FBANK do 20,01 dla HuBERT Large (Tsai i in., SUPERB-SG, ACL 2022).
- Około połowa z 33 modeli pokonuje FBANK we wszystkich 15 zadaniach (Yang i in., IEEE/ACM TASLP 2024).
- WavLM Base+ uzyskał łącznie 73,4 przy 94,70M parametrów, powyżej HuBERT Large z wynikiem 72,2 przy 316,61M (Microsoft, WavLM, IEEE JSTSP 2022).
- Największy model wyzwania, o 619,82M parametrów, uzyskał 848, wobec 1242 dla WavLM-large o 315,45M (Feng i in., SUPERB @ SLT 2022).
- Na 10-minutowym zbiorze ML-SUPERB wav2vec2-large uzyskał 598,3, a mniejszy wav2vec2-base 755,2 (Shi i in., ML-SUPERB, Interspeech 2023).
- DistilHuBERT czyni HuBERT mniejszym o 75% i szybszym o 73% (Chang i in., ICASSP 2022).
- microsoft/wavlm-large miał 1.068.711 pobrań w ostatnim miesiącu (Hugging Face, 31 października 2026 roku).
1. Dane z etykietami: od 960 godzin do 10 minut
Współczynnik błędów słów (WER) to odsetek słów, w których system się myli, a ‘etykiety’ oznaczają tu ludzkie transkrypcje. LibriSpeech ma dwa standardowe zbiory testowe: test-clean oraz trudniejszy test-other. Przejście z 960 godzin etykiet na 10 minut podniosło WER wav2vec 2.0 na test-other z 3,3% do 8,2%. Ponieważ 960 godzin to 57.600 minut, oznacza to 5.760 razy mniej transkrybowanego dźwięku (57.600 / 10) przy współczynniku błędów wyższym około 2,5 raza (8,2 / 3,3).
Wąskie gardło się przesunęło. Transkrypcja wyznaczała kiedyś dolną granicę jakości; po wav2vec 2.0 deficytowym zasobem stał się nieoznaczony dźwięk i czas GPU. Jego 8,2% na test-other leży też około 67% poniżej 25,2% poprzedniej najlepszej metody ((25,2 - 8,2) / 25,2), a przegląd IEEE uznaje go za pierwszy model, który osiągnął jednocyfrowy WER na LibriSpeech, korzystając wyłącznie z niskozasobowych podzbiorów Libri-light.
| Metryka | Wartość | Źródło |
|---|---|---|
| WER przy 10 minutach etykiet, wav2vec 2.0 Large wobec poprzedniego najlepszego Discrete BERT (test-clean / test-other) | 4,8% / 8,2% wobec 16,3% / 25,2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER przy 10 minutach etykiet, HuBERT X-Large (test-clean / test-other) | 4,6% / 6,8% | Meta AI, HuBERT, IEEE/ACM TASLP 2021 |
| WER na test-other przy 1 godzinie etykiet, wav2vec 2.0 Large wobec WavLM Large | 5,8% wobec 5,1% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER przy 10 godzinach etykiet, HuBERT Large i WavLM Large (oba test-clean / test-other) | 2,4% / 4,6% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER przy wszystkich 960 godzinach etykiet LibriSpeech, wav2vec 2.0 Large (test-clean / test-other) | 1,8% / 3,3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER na test-other przy zerowej ilości transkrybowanej mowy, wav2vec-U | 5,9% | Meta AI, wav2vec-U 2021 |
| WER na LibriSpeech w tabeli stanu wiedzy z przeglądu, bez wstępnego trenowania samonadzorowanego wobec z nim (test-clean / test-other) | 2,1% / 4,0% wobec 1,4% / 2,6% | Mohamed i in., IEEE JSTSP 2022 |
Porównanie nie jest idealnie równe. Discrete BERT używał modelu języka 4-gram, podczas gdy wiersze wav2vec 2.0, HuBERT i WavLM powyżej używają przy dekodowaniu modelu języka typu Transformer. Wynik samonadzorowany w ostatnim wierszu łączy model conformer XXL z samouczeniem typu noisy student. Najnowsze dostępne dane: prace Meta AI i Microsoft, lata 2020 do 2022.
2. Zadania treściowe SUPERB: rozpoznawanie tego, co powiedziano
SUPERB wystartował z 10 zadaniami i jedną ścisłą regułą: wstępnie wytrenowany model pozostaje zamrożony, a trenuje się tylko niewielką głowicę zadaniową. Bazą jest FBANK, czyli klasyczne cechy dźwięku z banku filtrów, bez żadnego wstępnego trenowania. HuBERT Large obniżył współczynnik błędów fonemów z 82,01% do 3,53%. Współczynnik błędów fonemów to ta sama idea co WER, liczona na dźwiękach mowy zamiast na słowach.
Nagłówkowe różnice coś przeszacowują. Praca zauważa, że FBANK nie może działać w zadaniach ograniczonych do głowicy liniowej, co tłumaczy wyniki tak niskie jak 8,63% dla wykrywania słów kluczowych. Przy głowicy nieliniowej w rozpoznawaniu mowy (ASR) FBANK jest na tyle konkurencyjny, że jego 23,18% jest uczciwszą dolną granicą. Wyszukiwanie przez przykład (query by example), które odnajduje wypowiedziany termin na podstawie próbki dźwięku i jest oceniane maksymalną ważoną wartością terminu (MTWV), daje najniższe wartości bezwzględne w tej grupie: najwyższy wynik w oryginalnej pracy wyniósł 0,0736.
| Metryka | Wartość | Źródło |
|---|---|---|
| Współczynnik błędów fonemów na LibriSpeech, baza FBANK wobec HuBERT Large | 82,01% wobec 3,53% | Yang i in., SUPERB, Interspeech 2021 |
| Dokładność wykrywania słów kluczowych na Speech Commands, FBANK wobec wav2vec 2.0 Large | 8,63% wobec 96,66% | Yang i in., SUPERB, Interspeech 2021 |
| WER automatycznego rozpoznawania mowy bez modelu języka, FBANK wobec HuBERT Large | 23,18% wobec 3,62% | Yang i in., SUPERB, Interspeech 2021 |
| Wynik MTWV wyszukiwania przez przykład, FBANK wobec HuBERT Base | 0,0058 wobec 0,0736 | Yang i in., SUPERB, Interspeech 2021 |
| WER automatycznego rozpoznawania mowy w SUPERB, WavLM Large wobec XEUS | 3,44% wobec 3,34% | Chen i in., XEUS, EMNLP 2024 |
| Dokładność wykrywania słów kluczowych w SUPERB, WavLM Large wobec XEUS | 97,86% wobec 98,32% | Chen i in., XEUS, EMNLP 2024 |
Najnowsze angielskie wyniki SUPERB pochodzą tu z XEUS, a marginesy stały się cienkie: 0,10 punktu procentowego w ASR. Ta rodzina zadań wygląda na bliską nasycenia.
3. Zadania dotyczące mówcy, intencji i emocji
Zadania dotyczące mówcy pytają, kto mówi, a nie co zostało powiedziane, więc sprawdzają, czy reprezentacja zachowała coś więcej niż słowa. Dokładność identyfikacji mówcy wzrosła z praktycznie zera przy FBANK do 90,33% przy HuBERT Large. Dostrojony WavLM Large osiągnął współczynnik równych błędów 0,383% na VoxCeleb1-O, wobec 1,010% dla referencyjnego systemu ECAPA-TDNN. Współczynnik równych błędów (EER) to punkt pracy, w którym fałszywe akceptacje równają się fałszywym odrzuceniom, więc niższy jest lepszy.
Emocje to przypadek odstający. Dokładność rozpoznawania emocji w czterech klasach na IEMOCAP ledwo się zmieniła między WavLM Large a XEUS, a nawet najlepszy wynik pozostawia prawie 3 z 10 nagrań błędnie sklasyfikowane. Praktyczne ograniczenia omawiamy w naszych statystykach dokładności rozpoznawania emocji w mowie. Wiersze dotyczące diaryzacji używają różnych zbiorów danych, więc przed ich porównaniem zobacz nasze zestawienie współczynnika błędów diaryzacji mówców. Współczynnik błędów diaryzacji (DER) mierzy, jaka część czasu nagrania ma błędnie określone, ‘kto mówił kiedy’.
| Metryka | Wartość | Źródło |
|---|---|---|
| Dokładność identyfikacji mówcy na VoxCeleb1, FBANK wobec HuBERT Large | 8,5E-4 wobec 90,33 (procent) | Yang i in., SUPERB, Interspeech 2021 |
| Dokładność klasyfikacji intencji na Fluent Speech Commands, FBANK wobec HuBERT Large | 9,10% wobec 98,76% | Yang i in., SUPERB, Interspeech 2021 |
| Dokładność klasyfikacji intencji w tabeli stanu wiedzy z przeglądu, bez wstępnego trenowania samonadzorowanego wobec z nim | 98,8% wobec 99,3% | Mohamed i in., IEEE JSTSP 2022 |
| DER diaryzacji mówców na LibriMix z dwoma mówcami, WavLM Large wobec XEUS | 3,24% wobec 3,11% | Chen i in., XEUS, EMNLP 2024 |
| Dokładność rozpoznawania emocji na IEMOCAP (cztery klasy), WavLM Large wobec XEUS | 70,62% wobec 71,08% | Chen i in., XEUS, EMNLP 2024 |
| EER weryfikacji mówcy na VoxCeleb1-O, system referencyjny ECAPA-TDNN wobec WavLM Large z dostrajaniem z dużym marginesem i kalibracją wyników | 1,010% wobec 0,383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| DER diaryzacji na rozmowach telefonicznych CALLHOME, klasteryzacja EEND-EDA wobec WavLM Large | 11,84% wobec 10,35% | Microsoft, WavLM, IEEE JSTSP 2022 |
Zwróć uwagę na zmianę metody w wierszu weryfikacji mówcy: ten wynik pochodzi z dostrajania, a nie z zamrożonej konfiguracji SUPERB, więc nie jest wynikiem rankingowym. Przegląd IEEE pokazuje też, jak mała bywa przewaga na szczycie: 0,5 punktu procentowego w klasyfikacji intencji.
4. SUPERB-SG i benchmark 15 zadań: gdzie samonadzorowanie przestaje pomagać
SUPERB-SG dodał pięć trudniejszych zadań z zakresu semantyki i generowania. Tłumaczenie pokazuje największy skok: BLEU, miara jakości tłumaczenia, wzrósł z 2,32 do 20,01. Konwersja głosu również poprawia się gwałtownie, mierzona tu liczbą słów, w których rozpoznawacz myli się na przekonwertowanym dźwięku.
Potem zyski się kończą. Poprawa jakości i separacja zależą od niskopoziomowych szczegółów sygnału, a autorzy stwierdzili, że te dwa zadania nie są silnie skorelowane z resztą. wav2vec 2.0 Large faktycznie plasuje się poniżej FBANK w ocenie jakości mowy PESQ. Wersja czasopismowa potwierdza to na dużą skalę: model zbudowany do streszczania mowy nie jest automatycznie dobry w jej odtwarzaniu. Aby poznać stronę separacji tego obrazu, zobacz nasze statystyki separacji mowy.
| Metryka | Wartość | Źródło |
|---|---|---|
| BLEU tłumaczenia mowy na CoVoST2 (angielski na niemiecki), FBANK wobec HuBERT Large | 2,32 wobec 20,01 | Tsai i in., SUPERB-SG, ACL 2022 |
| WER rozpoznawania mowy spoza dziedziny (hiszpański, mandaryński, arabski i spontaniczny angielski), FBANK wobec HuBERT Large | 63,58% wobec 44,08% | Tsai i in., SUPERB-SG, ACL 2022 |
| WER mowy po konwersji głosu na VCC2020, FBANK wobec HuBERT Large | 38,3% wobec 9,0% | Tsai i in., SUPERB-SG, ACL 2022 |
| Wynik SI-SDRi separacji mowy (poprawa jakości sygnału, wyższy jest lepszy), FBANK wobec HuBERT Large | 9,23 wobec 10,45 | Tsai i in., SUPERB-SG, ACL 2022 |
| Wynik PESQ poprawy jakości mowy na Voicebank-DEMAND, FBANK wobec wav2vec 2.0 Large wobec HuBERT Large | 2,55 wobec 2,52 wobec 2,64 | Tsai i in., SUPERB-SG, ACL 2022 |
| Korelacja wyników zadań z ASR, dla tłumaczenia mowy i dla ASR spoza dziedziny | po 0,92 | Tsai i in., SUPERB-SG, ACL 2022 |
| Odsetek 33 przetestowanych modeli, które pokonują FBANK we wszystkich 15 zadaniach | Około połowa | Yang i in., IEEE/ACM TASLP 2024 |
| Zadania, w których pozostałe modele ustępują FBANK | Około 1 do 3 z 15, najczęściej poprawa jakości i separacja | Yang i in., IEEE/ACM TASLP 2024 |
Wiersz spoza dziedziny zasługuje na uwagę: HuBERT Large wciąż ma średni współczynnik błędów 44,08% w tych czterech podzadaniach (mandaryński oceniany jest współczynnikiem błędów znaków), znacznie powyżej swoich 3,62% na angielskim LibriSpeech.
5. Skalowanie: parametry, godziny wstępnego trenowania i ranking
Największy model w wyzwaniu SUPERB @ SLT 2022 miał około dwa razy więcej parametrów niż WavLM-large i uzyskał o 394 punkty mniej (1242 - 848). Rozmiar daje mniej niż receptura trenowania. Najczystszym dowodem jest WavLM Base+, który zachował rozmiar Base przy 94,70M parametrów, dodał bardziej zróżnicowany dźwięk treningowy i pokonał model ponad 3 razy większy (316,61 / 94,70 = 3,34).
Wynik wyzwania ustala bazę FBANK na 0, a stan wiedzy z 15 października 2021 roku na 1000, więc wszystko powyżej 1000 pokonuje ten stan. Łączny wynik w pracy o WavLM to osobna skala, z FBANK na poziomie 43,2, i obu nie wolno porównywać. Tymczasem dane do wstępnego trenowania urosły z 94.000 godzin WavLM do milionów godzin, a rachunek widać teraz w czasie GPU.
| Metryka | Wartość | Źródło |
|---|---|---|
| Łączny wynik SUPERB, HuBERT Large wobec WavLM Large (oba około 316,6M parametrów) | 72,2 wobec 74,6 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Łączny wynik SUPERB, WavLM Base+ (94,70M parametrów) wobec HuBERT Large (316,61M parametrów) | 73,4 wobec 72,2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Dźwięk do wstępnego trenowania WavLM | 94.000 godzin (60.000 Libri-Light, 10.000 GigaSpeech, 24.000 VoxPopuli) | Microsoft, WavLM, IEEE JSTSP 2022 |
| Wynik wyzwania na ukrytym zbiorze dla WavLM-large, z rozmiarem i mocą obliczeniową | 1242 (315,45M parametrów, 4.326G MAC) | Feng i in., SUPERB @ SLT 2022 |
| Wynik wyzwania na ukrytym zbiorze dla największego zgłoszenia, Unsupervised ASR + T5 (619,82M parametrów) | 848 | Feng i in., SUPERB @ SLT 2022 |
| Dźwięk do wstępnego trenowania XLS-R z pięciu zbiorów danych | 436.000 godzin | Mohamed i in., IEEE JSTSP 2022 |
| Rozmiar modelu XEUS i moc obliczeniowa wstępnego trenowania | 577M parametrów; ponad 1 milion godzin dźwięku; 63.000 godzin GPU na 64 GPU A100 w ciągu około 40 dni | Chen i in., XEUS, EMNLP 2024 |
| Dźwięk do wstępnego trenowania Google Universal Speech Model | 12 milionów godzin w ponad 300 językach | Google, praca o USM 2023 |
MAC (operacje mnożenia z akumulacją) szacują, ile mocy obliczeniowej potrzebuje model do działania. Wiersz Google służy wyłącznie jako odniesienie skali: nie znaleźliśmy wyniku SUPERB dla tego modelu.
6. Wielojęzyczne rankingi: czy angielska kolejność się sprawdza?
Tylko częściowo. WavLM, lider w angielskim SUPERB, był najsłabszą bazą w wielojęzycznym wyzwaniu z 2025 roku, ze współczynnikiem błędów znaków 72,0% wobec 40,2% dla XEUS. Praca o wyzwaniu opisuje ten model jako wyłącznie angielski, co sugeruje, że miejsce w rankingu mówi tyle samo o dźwięku użytym do wstępnego trenowania, co o architekturze. O tym, jak enkodery mowy zachowują się w różnych językach na poziomie osadzeń, przeczytasz w naszych statystykach wielojęzycznych osadzeń mowy.
ML-SUPERB przeskalowuje swój wynik w ten sam sposób, z FBANK na poziomie 0. Skalowanie także tu działa na niekorzyść: duże modele zwykle wygrywały w ASR dla pojedynczego języka, ale autorzy stwierdzili, że modele bazowe lepiej uogólniają się na przypadki wielojęzyczne niż ich duże wersje. Wyzwanie ML-SUPERB 2.0 pokazuje następnie dialekty jako nierozwiązaną część, ze współczynnikiem błędów znaków XEUS rosnącym z 40,2% do 68,7%.
| Metryka | Wartość | Źródło |
|---|---|---|
| Dźwięk treningowy ML-SUPERB w 143 językach, zbiór 10-minutowy wobec zbioru 1-godzinnego | 37,43 godziny wobec 222,46 godziny | Shi i in., ML-SUPERB, Interspeech 2023 |
| Wynik ML-SUPERB dla XLSR-128, najlepszego modelu, na 10-minutowym zbiorze treningowym wobec 1-godzinnego zbioru treningowego | 947,5 wobec 996,0 | Shi i in., ML-SUPERB, Interspeech 2023 |
| Wynik ML-SUPERB przy 10 minutach, wav2vec2-base wobec wav2vec2-large | 755,2 wobec 598,3 | Shi i in., ML-SUPERB, Interspeech 2023 |
| Wynik ML-SUPERB przy 10 minutach / 1 godzinie: XEUS (577M parametrów, 1M godzin) wobec MMS 1B (1B, 491K godzin) wobec w2v-BERT 2.0 v2 (580M, 4,5M godzin) | 956 / 956 wobec 953 / 948 wobec 826 / 916 | Chen i in., XEUS, EMNLP 2024 |
| Współczynnik błędów znaków na mowie standardowej, XEUS wobec wyłącznie angielskiego WavLM | 40,2% wobec 72,0% | Chen i in., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| Współczynnik błędów znaków XEUS, mowa standardowa wobec mowy dialektalnej | 40,2% wobec 68,7% | Chen i in., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
w2v-BERT 2.0 v2 miał w tym porównaniu najwięcej dźwięku do wstępnego trenowania i najniższy wynik, więc same godziny też nie przesądziły sprawy. Wyniki z oryginalnego ML-SUPERB i z porównania XEUS należy czytać w obrębie każdej pracy, a nie między nimi.
7. Efektywność i rzeczywiste zastosowanie
Czołowe modele są drogie, a nurt badań próbuje je teraz zmniejszać. DistilHuBERT to najjaśniejszy przykład, ale dane z wyzwania pokazują cenę: przy 27,03M parametrów uzyskał 617, wobec 784 dla HuBERT-base o 94,70M. Najmniejszy model wyzwania uzyskał zaledwie 104, więc kompresja wciąż traci więcej, niż sugerują nagłówkowe wartości procentowe.
Samo benchmarkowanie też bywało kosztowne, na co celuje MiniSUPERB. Liczby pobrań dodają nowszy sygnał: wav2vec2-base-960h wyprzedza w pobraniach WavLM Large i HuBERT Large, choć ranking umieścił go niżej. Łatwość wdrożenia i bycie pierwszym mają duże znaczenie.
| Metryka | Wartość | Źródło |
|---|---|---|
| DistilHuBERT w porównaniu z HuBERT | mniejszy o 75%, szybszy o 73% | Chang i in., DistilHuBERT, ICASSP 2022 |
| Wynik wyzwania na ukrytym zbiorze, DistilHuBERT (27,03M parametrów) wobec HuBERT-base (94,70M parametrów) | 617 wobec 784 | Feng i in., SUPERB @ SLT 2022 |
| Najmniejszy model wyzwania, Chimera MelHuBERT v1 | 22,50M parametrów, 271G MAC, wynik 104 | Feng i in., SUPERB @ SLT 2022 |
| Redukcja mocy obliczeniowej MiniSUPERB i jego korelacja rangowa z wyzwaniem SUPERB | o 97% mniej MAC; Spearman 0,982 | Wang i in., MiniSUPERB, IEEE ASRU 2023 |
| Potrzebne GPU: receptury SUPERB wobec oficjalnej receptury dostrajania wav2vec 2.0 Large | 1 GPU wobec około 4 do 8 GPU | Yang i in., IEEE/ACM TASLP 2024 |
| Pobrania w ostatnim miesiącu, facebook/wav2vec2-base-960h | 1.737.874 | Strona modelu Hugging Face, 31 października 2026 roku |
| Pobrania w ostatnim miesiącu, microsoft/wavlm-large | 1.068.711 | Strona modelu Hugging Face, 31 października 2026 roku |
| Pobrania w ostatnim miesiącu, facebook/hubert-large-ls960-ft | 616.230 | Strona modelu Hugging Face, 31 października 2026 roku |
Licznik pobrań rejestruje pobrania, a nie ludzi, więc traktuj te wiersze jako oznakę aktywności, a nie liczbę użytkowników.
Podsumowanie: ranking SUPERB samonadzorowanych modeli mowy w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| WER przy 10 minutach etykiet, wav2vec 2.0 Large (test-clean / test-other) | 4,8% / 8,2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER przy wszystkich 960 godzinach etykiet, wav2vec 2.0 Large (test-clean / test-other) | 1,8% / 3,3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| Współczynnik błędów fonemów, FBANK wobec HuBERT Large | 82,01% wobec 3,53% | Yang i in., SUPERB, Interspeech 2021 |
| WER rozpoznawania mowy w SUPERB, WavLM Large wobec XEUS | 3,44% wobec 3,34% | Chen i in., XEUS, EMNLP 2024 |
| Dokładność rozpoznawania emocji na IEMOCAP, XEUS | 71,08% | Chen i in., XEUS, EMNLP 2024 |
| EER weryfikacji mówcy na VoxCeleb1-O, system referencyjny ECAPA-TDNN wobec dostrojonego WavLM Large | 1,010% wobec 0,383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| BLEU tłumaczenia mowy, FBANK wobec HuBERT Large | 2,32 wobec 20,01 | Tsai i in., SUPERB-SG, ACL 2022 |
| Modele pokonujące FBANK we wszystkich 15 zadaniach | Około połowa z 33 | Yang i in., IEEE/ACM TASLP 2024 |
| Wynik wyzwania na ukrytym zbiorze dla WavLM-large | 1242 | Feng i in., SUPERB @ SLT 2022 |
| Łączny wynik SUPERB, WavLM Base+ wobec HuBERT Large | 73,4 wobec 72,2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Moc obliczeniowa wstępnego trenowania XEUS | 63.000 godzin GPU | Chen i in., XEUS, EMNLP 2024 |
| Dźwięk do wstępnego trenowania Google Universal Speech Model | 12 milionów godzin | Google, praca o USM 2023 |
| Wynik ML-SUPERB dla XLSR-128 na 1-godzinnym zbiorze treningowym | 996,0 | Shi i in., ML-SUPERB, Interspeech 2023 |
| Współczynnik błędów znaków na mowie standardowej, XEUS wobec wyłącznie angielskiego WavLM | 40,2% wobec 72,0% | Chen i in., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| DistilHuBERT w porównaniu z HuBERT | mniejszy o 75%, szybszy o 73% | Chang i in., DistilHuBERT, ICASSP 2022 |
| Redukcja mocy obliczeniowej MiniSUPERB | o 97% mniej MAC | Wang i in., MiniSUPERB, IEEE ASRU 2023 |
| Pobrania w ostatnim miesiącu, facebook/wav2vec2-base-960h | 1.737.874 | Strona modelu Hugging Face, 31 października 2026 roku |
Metodologia i źródła
- SUPERB: Speech processing Universal PERformance Benchmark (Yang i in., Interspeech 2021)
- SUPERB-SG (Tsai i in., ACL 2022)
- A Large-Scale Evaluation of Speech Foundation Models (Yang i in., IEEE/ACM TASLP 2024)
- Raport z wyzwania SUPERB @ SLT 2022 (Feng i in., 2022)
- ML-SUPERB (Shi i in., Interspeech 2023)
- The ML-SUPERB 2.0 Challenge (Chen i in., Interspeech 2025)
- MiniSUPERB (Wang i in., IEEE ASRU 2023)
- wav2vec 2.0 (Meta AI, NeurIPS 2020)
- HuBERT (Meta AI, IEEE/ACM TASLP 2021)
- wav2vec-U (Meta AI, 2021)
- WavLM (Microsoft, IEEE JSTSP 2022)
- XEUS: Towards Robust Speech Representation Learning for Thousands of Languages (Chen i in., EMNLP 2024)
- Universal Speech Model (Google, 2023)
- DistilHuBERT (Chang i in., ICASSP 2022)
- Self-Supervised Speech Representation Learning: A Review (Mohamed i in., IEEE JSTSP 2022)
- Strony modeli Hugging Face: facebook/wav2vec2-base-960h, microsoft/wavlm-large, facebook/hubert-large-ls960-ft (31 października 2026 roku)
- Uwaga o danych: aktywnego rankingu SUPERB nie dało się odczytać 31 października 2026 roku (host odrzucił połączenie, a strona benchmarku na GitHubie nie pokazuje wyników), więc każda liczba SUPERB tutaj pochodzi z opublikowanych prac i może istnieć nowsze zgłoszenie. Pojawiają się trzy skale wyników, które nie są zamienne: łączny wynik z pracy o WavLM, wynik wyzwania (baza 0, stan wiedzy z 15 października 2021 roku równy 1000) oraz wynik ML-SUPERB. Wynik 586,9 dla wav2vec2-large na 1-godzinnym zbiorze ML-SUPERB następuje po wydrukowanej w tabeli tej pracy wartości identyfikacji języka równej 8,0, znacznie niższej od sąsiednich, więc tę pojedynczą różnicę należy czytać ostrożnie. Liczby parametrów różnią się nieznacznie między pracami: 316,62M wobec 315,45M dla WavLM Large oraz 94,70M wobec 94,38M dla WavLM Base+. Drobne rozbieżności wewnątrz źródeł: tekst SUPERB podaje 5,10 dla weryfikacji mówcy HuBERT, a jego tabela 5,11 (używamy tabeli); tekst XEUS podaje 33,3 dla jego najlepszego współczynnika błędów znaków przy 10 minutach, a jego tabela 30,3 dla XEUS i 33,3 dla MMS 1B; praca ML-SUPERB 2.0 podaje zarówno 149, jak i 154 języki, a zyski z jej streszczenia nie zgadzają się z jej sekcją 4.1, więc przytaczamy tylko jej tabelę bazową. Pobrania z Hugging Face to bieżący licznik z ostatniego miesiąca i zmienia się codziennie. Większość wyników SUPERB pochodzi z lat 2021 do 2024, więc traktuj je jako najnowsze dostępne dane, a nie pomiary z 2026 roku.
Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnego odświeżenia można się spodziewać, gdy ukażą się wyniki następnego wyzwania ML-SUPERB.