Zehn Minuten transkribierter Sprache genügten wav2vec 2.0, um auf dem LibriSpeech-Satz test-clean eine Wortfehlerrate von 4,8% zu erreichen (Meta AI, wav2vec 2.0, NeurIPS 2020), nachdem das Modell zuvor auf Rohaudio ohne menschliche Transkripte trainiert wurde, ein Ansatz, der als selbstüberwachtes Lernen bekannt ist. Auf dem verdeckten Testsatz der Challenge SUPERB @ SLT 2022 erzielte WavLM-large 1242 auf einer Skala, auf der der Stand der Technik vom Oktober 2021 bei 1000 liegt (Feng et al., SUPERB @ SLT 2022), doch nur etwa die Hälfte von 33 getesteten Modellen schlägt eine klassische Baseline bei jeder Aufgabe (Yang et al., IEEE/ACM TASLP 2024). Die älteren Checkpoints bleiben täglich im Einsatz: facebook/wav2vec2-base-960h zeigte 1.737.874 Downloads im letzten Monat (Hugging Face, 31. Oktober 2026). Wir haben Daten aus den Benchmark-Veröffentlichungen zu SUPERB, SUPERB-SG und ML-SUPERB, dem Bericht zur Challenge SUPERB @ SLT 2022, den Modellveröffentlichungen zu wav2vec 2.0, WavLM und XEUS sowie den Live-Download-Zählern von Hugging Face zusammengeführt. Was diese niedrigen Fehlerraten ausblenden, behandelt unsere Zusammenstellung zu Halluzinationsraten in der Spracherkennung.
Ein Hinweis zum Lesen jeder Zahl unten: Die SUPERB-Werte stammen überwiegend aus den Jahren 2021 bis 2024, weil die Benchmark-Veröffentlichungen den Rekord festhalten, und das Live-Leaderboard war für diese Aktualisierung nicht erreichbar (siehe Daten-Hinweis). Bei Fehlerraten ist weniger besser; bei Genauigkeit und bei SUPERB-Werten ist mehr besser.
TL;DR
- wav2vec 2.0 Large erreichte mit 10 Minuten Labels 4,8% / 8,2% WER, gegenüber 16,3% / 25,2% beim bisher besten Verfahren (Meta AI, wav2vec 2.0, NeurIPS 2020).
- wav2vec-U erreichte auf test-other 5,9% WER ganz ohne transkribierte Sprache (Meta AI, wav2vec-U 2021).
- Die Tabelle zum Stand der Technik im IEEE-Überblick nennt 1,4% / 2,6% WER auf LibriSpeech mit selbstüberwachtem Vortraining, gegenüber 2,1% / 4,0% ohne (Mohamed et al., IEEE JSTSP 2022).
- HuBERT Large senkte die Phonemfehlerrate auf 3,53%, von 82,01% bei der FBANK-Baseline (Yang et al., SUPERB, Interspeech 2021).
- Emotionserkennung bleibt die niedrige Obergrenze, mit XEUS an der Spitze bei 71,08% Genauigkeit (Chen et al., XEUS, EMNLP 2024).
- Der BLEU-Wert der Sprachübersetzung stieg von 2,32 mit FBANK auf 20,01 mit HuBERT Large (Tsai et al., SUPERB-SG, ACL 2022).
- Etwa die Hälfte von 33 Modellen schlägt FBANK bei allen 15 Aufgaben (Yang et al., IEEE/ACM TASLP 2024).
- WavLM Base+ erzielte insgesamt 73,4 bei 94,70M Parametern, über HuBERT Large mit 72,2 bei 316,61M (Microsoft, WavLM, IEEE JSTSP 2022).
- Das größte Challenge-Modell mit 619,82M Parametern erzielte 848, gegenüber 1242 für WavLM-large mit 315,45M (Feng et al., SUPERB @ SLT 2022).
- Auf dem 10-Minuten-Satz von ML-SUPERB erzielte wav2vec2-large 598,3 und das kleinere wav2vec2-base 755,2 (Shi et al., ML-SUPERB, Interspeech 2023).
- DistilHuBERT macht HuBERT 75% kleiner und 73% schneller (Chang et al., ICASSP 2022).
- microsoft/wavlm-large zeigte 1.068.711 Downloads im letzten Monat (Hugging Face, 31. Oktober 2026).
1. Annotierte Daten: von 960 Stunden auf 10 Minuten
Die Wortfehlerrate (WER) ist der Anteil der Wörter, die ein System falsch erkennt, und “Labels” bedeutet hier menschliche Transkripte. LibriSpeech hat zwei Standard-Testsätze: test-clean und den schwierigeren test-other. Der Wechsel von 960 Stunden Labels auf 10 Minuten ließ die WER von wav2vec 2.0 auf test-other von 3,3% auf 8,2% steigen. Da 960 Stunden 57.600 Minuten sind, ist das 5.760-mal weniger transkribiertes Audio (57.600 / 10) bei einer etwa 2,5-mal höheren Fehlerrate (8,2 / 3,3).
Der Engpass hat sich verschoben. Die Transkription setzte früher die Untergrenze der Qualität; nach wav2vec 2.0 wurden unannotiertes Audio und GPU-Zeit zum knappen Input. Die 8,2% auf test-other liegen zudem rund 67% unter den 25,2% des bisher besten Verfahrens ((25,2 - 8,2) / 25,2), und der IEEE-Überblick führt es als erstes Modell auf, das auf LibriSpeech eine einstellige WER erreichte, und zwar nur mit den ressourcenarmen Libri-light-Teilmengen.
| Metrik | Wert | Quelle |
|---|---|---|
| WER mit 10 Minuten Labels, wav2vec 2.0 Large vs bisher bestes Discrete BERT (test-clean / test-other) | 4,8% / 8,2% vs 16,3% / 25,2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER mit 10 Minuten Labels, HuBERT X-Large (test-clean / test-other) | 4,6% / 6,8% | Meta AI, HuBERT, IEEE/ACM TASLP 2021 |
| WER auf test-other mit 1 Stunde Labels, wav2vec 2.0 Large vs WavLM Large | 5,8% vs 5,1% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER mit 10 Stunden Labels, HuBERT Large und WavLM Large (beide test-clean / test-other) | 2,4% / 4,6% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER mit allen 960 Stunden LibriSpeech-Labels, wav2vec 2.0 Large (test-clean / test-other) | 1,8% / 3,3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER auf test-other ganz ohne transkribierte Sprache, wav2vec-U | 5,9% | Meta AI, wav2vec-U 2021 |
| LibriSpeech-WER in der Tabelle zum Stand der Technik im Überblick, ohne vs mit selbstüberwachtem Vortraining (test-clean / test-other) | 2,1% / 4,0% vs 1,4% / 2,6% | Mohamed et al., IEEE JSTSP 2022 |
Der Vergleich ist nicht ganz gleichartig. Discrete BERT nutzte ein 4-Gramm-Textsprachmodell, während die Zeilen zu wav2vec 2.0, HuBERT und WavLM oben bei der Dekodierung ein Transformer-Textsprachmodell verwenden. Der selbstüberwachte Eintrag in der letzten Zeile kombiniert ein Conformer-XXL-Modell mit Noisy-Student-Selbsttraining. Aktuellste verfügbare Daten: Veröffentlichungen von Meta AI und Microsoft, 2020 bis 2022.
2. SUPERB-Inhaltsaufgaben: Erkennen, was gesagt wurde
SUPERB startete mit 10 Aufgaben und einer strikten Regel: Das vortrainierte Modell bleibt eingefroren, und nur ein kleiner Aufgabenkopf wird trainiert. Die Baseline ist FBANK, klassische Filterbank-Audiomerkmale ganz ohne Vortraining. HuBERT Large senkte die Phonemfehlerrate von 82,01% auf 3,53%. Eine Phonemfehlerrate folgt derselben Idee wie die WER, gezählt auf Sprachlauten statt auf Wörtern.
Die auffälligen Abstände übertreiben eine Sache. Das Paper merkt an, dass FBANK bei den auf einen linearen Kopf beschränkten Aufgaben nicht funktionieren kann, was Werte von nur 8,63% bei der Schlüsselworterkennung erklärt. Mit einem nichtlinearen Kopf bei ASR ist FBANK konkurrenzfähig genug, dass seine 23,18% eine fairere Untergrenze darstellen. Query by Example, das einen gesprochenen Begriff anhand einer Audioprobe findet und mit dem Maximum Term Weighted Value (MTWV) bewertet wird, liefert die niedrigsten absoluten Zahlen der Gruppe: Der Bestwert im ursprünglichen Paper lag bei 0,0736.
| Metrik | Wert | Quelle |
|---|---|---|
| Phonemfehlerrate auf LibriSpeech, FBANK-Baseline vs HuBERT Large | 82,01% vs 3,53% | Yang et al., SUPERB, Interspeech 2021 |
| Genauigkeit der Schlüsselworterkennung auf Speech Commands, FBANK vs wav2vec 2.0 Large | 8,63% vs 96,66% | Yang et al., SUPERB, Interspeech 2021 |
| WER der automatischen Spracherkennung ohne Textsprachmodell, FBANK vs HuBERT Large | 23,18% vs 3,62% | Yang et al., SUPERB, Interspeech 2021 |
| MTWV-Wert bei Query by Example, FBANK vs HuBERT Base | 0,0058 vs 0,0736 | Yang et al., SUPERB, Interspeech 2021 |
| WER der automatischen Spracherkennung auf SUPERB, WavLM Large vs XEUS | 3,44% vs 3,34% | Chen et al., XEUS, EMNLP 2024 |
| Genauigkeit der Schlüsselworterkennung auf SUPERB, WavLM Large vs XEUS | 97,86% vs 98,32% | Chen et al., XEUS, EMNLP 2024 |
Die aktuellsten englischen SUPERB-Zahlen hier stammen von XEUS, und die Abstände sind schmal geworden: 0,10 Prozentpunkte bei ASR. Die Aufgabenfamilie wirkt nahezu gesättigt.
3. Sprecher-, Intent- und Emotionsaufgaben
Sprecheraufgaben fragen, wer spricht, nicht was gesagt wurde, und prüfen daher, ob eine Repräsentation mehr als die Wörter bewahrt hat. Die Sprecheridentifikation stieg von praktisch null mit FBANK auf 90,33% mit HuBERT Large. Das feinabgestimmte WavLM Large erreichte auf VoxCeleb1-O eine Equal Error Rate von 0,383%, gegenüber 1,010% beim Referenzsystem ECAPA-TDNN. Die Equal Error Rate (EER) ist der Arbeitspunkt, an dem falsche Akzeptanzen und falsche Rückweisungen gleich häufig sind, daher ist weniger besser.
Die Emotion ist der Ausreißer. Die Genauigkeit bei vier Emotionsklassen auf IEMOCAP hat sich zwischen WavLM Large und XEUS kaum bewegt, und selbst der Bestwert lässt fast 3 von 10 Clips falsch. Die praktischen Grenzen behandeln unsere Statistiken zur Genauigkeit der Emotionserkennung in Sprache. Die Diarisierungszeilen verwenden unterschiedliche Datensätze, siehe daher unsere Zusammenstellung zur Fehlerrate der Sprecherdiarisierung, bevor sie verglichen werden. Die Diarisierungsfehlerrate (DER) misst, wie viel Audiozeit bei “wer wann gesprochen hat” falsch zugeordnet wird.
| Metrik | Wert | Quelle |
|---|---|---|
| Genauigkeit der Sprecheridentifikation auf VoxCeleb1, FBANK vs HuBERT Large | 8,5E-4 vs 90,33 (Prozent) | Yang et al., SUPERB, Interspeech 2021 |
| Genauigkeit der Intentklassifikation auf Fluent Speech Commands, FBANK vs HuBERT Large | 9,10% vs 98,76% | Yang et al., SUPERB, Interspeech 2021 |
| Genauigkeit der Intentklassifikation in der Tabelle zum Stand der Technik im Überblick, ohne vs mit selbstüberwachtem Vortraining | 98,8% vs 99,3% | Mohamed et al., IEEE JSTSP 2022 |
| DER der Sprecherdiarisierung auf LibriMix mit zwei Sprechern, WavLM Large vs XEUS | 3,24% vs 3,11% | Chen et al., XEUS, EMNLP 2024 |
| Genauigkeit der Emotionserkennung auf IEMOCAP (vier Klassen), WavLM Large vs XEUS | 70,62% vs 71,08% | Chen et al., XEUS, EMNLP 2024 |
| EER der Sprecherverifikation auf VoxCeleb1-O, ECAPA-TDNN-Referenz vs WavLM Large mit Large-Margin-Feinabstimmung und Score-Kalibrierung | 1,010% vs 0,383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| Diarisierungs-DER bei CALLHOME-Telefongesprächen, EEND-EDA-Clustering vs WavLM Large | 11,84% vs 10,35% | Microsoft, WavLM, IEEE JSTSP 2022 |
Man beachte den Methodenwechsel in der Zeile zur Sprecherverifikation: Dieses Ergebnis stammt aus einer Feinabstimmung, nicht aus dem eingefrorenen Aufbau von SUPERB, es ist also kein Leaderboard-Wert. Der IEEE-Überblick zeigt auch, wie klein der Vorsprung an der Spitze werden kann: 0,5 Prozentpunkte bei der Intentklassifikation.
4. SUPERB-SG und der Benchmark mit 15 Aufgaben: Wo Selbstüberwachung nicht mehr hilft
SUPERB-SG fügte fünf schwierigere Aufgaben aus Semantik und Generierung hinzu. Die Übersetzung zeigt den größten Sprung: BLEU, ein Qualitätswert für Übersetzungen, stieg von 2,32 auf 20,01. Auch die Stimmkonvertierung verbessert sich deutlich, hier gemessen daran, wie viele Wörter ein Erkenner im konvertierten Audio falsch erkennt.
Dann enden die Gewinne. Sprachverbesserung und Sprachtrennung hängen von Signaldetails auf niedriger Ebene ab, und die Autoren stellten fest, dass diese beiden Aufgaben nicht stark mit den übrigen korrelieren. wav2vec 2.0 Large liegt beim Sprachqualitätswert PESQ tatsächlich unter FBANK. Die Journal-Version bestätigt es im großen Maßstab: Ein Modell, das Sprache zusammenfassen soll, ist nicht automatisch gut darin, sie zu rekonstruieren. Zur Trennungsseite dieses Bildes siehe unsere Statistiken zur Sprachtrennung.
| Metrik | Wert | Quelle |
|---|---|---|
| BLEU der Sprachübersetzung auf CoVoST2 (Englisch nach Deutsch), FBANK vs HuBERT Large | 2,32 vs 20,01 | Tsai et al., SUPERB-SG, ACL 2022 |
| WER der domänenfremden Spracherkennung (Spanisch, Mandarin, Arabisch und spontanes Englisch), FBANK vs HuBERT Large | 63,58% vs 44,08% | Tsai et al., SUPERB-SG, ACL 2022 |
| WER stimmkonvertierter Sprache auf VCC2020, FBANK vs HuBERT Large | 38,3% vs 9,0% | Tsai et al., SUPERB-SG, ACL 2022 |
| SI-SDRi-Wert der Sprachtrennung (Verbesserung der Signalqualität, höher ist besser), FBANK vs HuBERT Large | 9,23 vs 10,45 | Tsai et al., SUPERB-SG, ACL 2022 |
| PESQ-Wert der Sprachverbesserung auf Voicebank-DEMAND, FBANK vs wav2vec 2.0 Large vs HuBERT Large | 2,55 vs 2,52 vs 2,64 | Tsai et al., SUPERB-SG, ACL 2022 |
| Korrelation der Aufgabenergebnisse mit ASR, für Sprachübersetzung und für domänenfremde ASR | jeweils 0,92 | Tsai et al., SUPERB-SG, ACL 2022 |
| Anteil der 33 getesteten Modelle, die FBANK bei allen 15 Aufgaben schlagen | Etwa die Hälfte | Yang et al., IEEE/ACM TASLP 2024 |
| Aufgaben, bei denen die übrigen Modelle hinter FBANK liegen | Etwa 1 bis 3 von 15, meist Sprachverbesserung und Sprachtrennung | Yang et al., IEEE/ACM TASLP 2024 |
Die domänenfremde Zeile verdient Aufmerksamkeit: HuBERT Large kommt über diese vier Teilaufgaben im Durchschnitt noch auf eine Fehlerrate von 44,08% (Mandarin wird über die Zeichenfehlerrate bewertet), weit über seinen 3,62% auf englischem LibriSpeech.
5. Skalierung: Parameter, Vortrainingsstunden und das Leaderboard
Das größte Modell der Challenge SUPERB @ SLT 2022 hatte etwa doppelt so viele Parameter wie WavLM-large und erzielte 394 Punkte weniger (1242 - 848). Größe bringt weniger als das Trainingsrezept. Den klarsten Beleg liefert WavLM Base+, das bei der Größe von Base mit 94,70M Parametern blieb, vielfältigeres Trainingsaudio ergänzte und ein mehr als 3-mal so großes Modell schlug (316,61 / 94,70 = 3,34).
Der Challenge-Wert legt die FBANK-Baseline auf 0 und den Stand der Technik vom 15. Oktober 2021 auf 1000 fest, sodass alles über 1000 diese Momentaufnahme übertrifft. Der Gesamtwert im WavLM-Paper ist eine eigene Skala, mit FBANK bei 43,2, und beide dürfen nicht verglichen werden. Währenddessen sind die Vortrainingsdaten von den 94.000 Stunden bei WavLM auf Millionen Stunden gewachsen, und die Rechnung zeigt sich inzwischen in GPU-Zeit.
| Metrik | Wert | Quelle |
|---|---|---|
| SUPERB-Gesamtwert, HuBERT Large vs WavLM Large (beide etwa 316,6M Parameter) | 72,2 vs 74,6 | Microsoft, WavLM, IEEE JSTSP 2022 |
| SUPERB-Gesamtwert, WavLM Base+ (94,70M Parameter) vs HuBERT Large (316,61M Parameter) | 73,4 vs 72,2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Vortrainings-Audio von WavLM | 94.000 Stunden (60.000 Libri-Light, 10.000 GigaSpeech, 24.000 VoxPopuli) | Microsoft, WavLM, IEEE JSTSP 2022 |
| Challenge-Wert von WavLM-large auf dem verdeckten Satz, mit Größe und Rechenaufwand | 1242 (315,45M Parameter, 4.326G MACs) | Feng et al., SUPERB @ SLT 2022 |
| Challenge-Wert der größten Einreichung auf dem verdeckten Satz, Unsupervised ASR + T5 (619,82M Parameter) | 848 | Feng et al., SUPERB @ SLT 2022 |
| Vortrainings-Audio von XLS-R aus fünf Datensätzen | 436.000 Stunden | Mohamed et al., IEEE JSTSP 2022 |
| Modellgröße und Vortrainings-Rechenaufwand von XEUS | 577M Parameter; über 1 Million Stunden Audio; 63.000 GPU-Stunden auf 64 A100-GPUs über etwa 40 Tage | Chen et al., XEUS, EMNLP 2024 |
| Vortrainings-Audio des Google Universal Speech Model | 12 Millionen Stunden in über 300 Sprachen | Google, USM-Paper 2023 |
MACs (Multiply-Accumulate-Operationen) schätzen, wie viel Rechenaufwand ein Modell zum Betrieb braucht. Die Google-Zeile ist nur eine Größenreferenz: Für dieses Modell fanden wir keinen SUPERB-Wert.
6. Mehrsprachige Leaderboards: Gilt das englische Ranking auch anderswo?
Nur teilweise. WavLM, ein Spitzenreiter beim englischen SUPERB, war die schwächste Baseline in der mehrsprachigen Challenge 2025, mit 72,0% Zeichenfehlerrate gegenüber 40,2% bei XEUS. Das Challenge-Paper beschreibt dieses Modell als rein englisch, was nahelegt, dass ein Leaderboard-Rang ebenso viel über das Vortrainings-Audio aussagt wie über die Architektur. Wie sich Sprach-Encoder sprachübergreifend auf Embedding-Ebene verhalten, zeigen unsere Statistiken zu mehrsprachigen Sprach-Embeddings.
ML-SUPERB skaliert seinen Wert auf dieselbe Weise, mit FBANK bei 0. Auch die Skalierung geht hier nach hinten los: Große Modelle gewannen meist bei einsprachiger ASR, doch die Autoren stellten fest, dass Basismodelle tendenziell besser auf mehrsprachige Fälle generalisieren als ihre großen Versionen. Die ML-SUPERB-2.0-Challenge zeigt dann Dialekte als den ungelösten Teil, wobei die Zeichenfehlerrate von XEUS von 40,2% auf 68,7% steigt.
| Metrik | Wert | Quelle |
|---|---|---|
| ML-SUPERB-Trainingsaudio über 143 Sprachen, 10-Minuten-Satz vs 1-Stunden-Satz | 37,43 Stunden vs 222,46 Stunden | Shi et al., ML-SUPERB, Interspeech 2023 |
| ML-SUPERB-Wert von XLSR-128, dem Spitzenmodell, auf dem 10-Minuten-Trainingssatz vs dem 1-Stunden-Trainingssatz | 947,5 vs 996,0 | Shi et al., ML-SUPERB, Interspeech 2023 |
| ML-SUPERB-Wert bei 10 Minuten, wav2vec2-base vs wav2vec2-large | 755,2 vs 598,3 | Shi et al., ML-SUPERB, Interspeech 2023 |
| ML-SUPERB-Wert bei 10 Minuten / 1 Stunde: XEUS (577M Parameter, 1M Stunden) vs MMS 1B (1B, 491K Stunden) vs w2v-BERT 2.0 v2 (580M, 4,5M Stunden) | 956 / 956 vs 953 / 948 vs 826 / 916 | Chen et al., XEUS, EMNLP 2024 |
| Zeichenfehlerrate bei Standardsprache, XEUS vs rein englisches WavLM | 40,2% vs 72,0% | Chen et al., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| Zeichenfehlerrate von XEUS, Standardsprache vs Dialektsprache | 40,2% vs 68,7% | Chen et al., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
w2v-BERT 2.0 v2 hatte in diesem Vergleich das meiste Vortrainings-Audio und den niedrigsten Wert, sodass auch mehr Stunden allein die Sache nicht entschieden. Werte aus dem ursprünglichen ML-SUPERB und aus dem XEUS-Vergleich sollten innerhalb des jeweiligen Papers gelesen werden, nicht untereinander.
7. Effizienz und Verbreitung in der Praxis
Die führenden Modelle sind teuer, und ein Forschungszweig versucht inzwischen, sie zu verkleinern. DistilHuBERT ist das klarste Beispiel, doch die Challenge-Daten zeigen den Preis: Mit 27,03M Parametern erzielte es 617, gegenüber 784 für HuBERT-base mit 94,70M. Das kleinste Challenge-Modell erzielte nur 104, die Kompression verliert also noch mehr, als die Schlagzeilenprozente nahelegen.
Auch das Benchmarking selbst war ein Kostenfaktor, genau darauf zielt MiniSUPERB. Download-Zahlen liefern ein aktuelleres Signal: wav2vec2-base-960h wird häufiger geladen als WavLM Large und HuBERT Large, obwohl das Leaderboard es niedriger einordnete. Leichte Übernahme und der Vorsprung des Ersten zählen viel.
| Metrik | Wert | Quelle |
|---|---|---|
| DistilHuBERT im Vergleich zu HuBERT | 75% kleiner, 73% schneller | Chang et al., DistilHuBERT, ICASSP 2022 |
| Challenge-Wert auf dem verdeckten Satz, DistilHuBERT (27,03M Parameter) vs HuBERT-base (94,70M Parameter) | 617 vs 784 | Feng et al., SUPERB @ SLT 2022 |
| Kleinstes Challenge-Modell, Chimera MelHuBERT v1 | 22,50M Parameter, 271G MACs, Wert 104 | Feng et al., SUPERB @ SLT 2022 |
| Rechenreduktion von MiniSUPERB und ihre Rangkorrelation mit der SUPERB-Challenge | 97% weniger MACs; Spearman 0,982 | Wang et al., MiniSUPERB, IEEE ASRU 2023 |
| Benötigte GPUs: SUPERB-Rezepte vs offizielles Feinabstimmungsrezept für wav2vec 2.0 Large | 1 GPU vs etwa 4 bis 8 GPUs | Yang et al., IEEE/ACM TASLP 2024 |
| Downloads im letzten Monat, facebook/wav2vec2-base-960h | 1.737.874 | Hugging-Face-Modellseite, 31. Oktober 2026 |
| Downloads im letzten Monat, microsoft/wavlm-large | 1.068.711 | Hugging-Face-Modellseite, 31. Oktober 2026 |
| Downloads im letzten Monat, facebook/hubert-large-ls960-ft | 616.230 | Hugging-Face-Modellseite, 31. Oktober 2026 |
Ein Download-Zähler erfasst Abrufe, nicht Personen; die Zeilen sind daher als Aktivitätssignal zu lesen und nicht als Nutzerzahl.
Zusammenfassung: Das SUPERB-Leaderboard für selbstüberwachte Sprachmodelle in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| WER mit 10 Minuten Labels, wav2vec 2.0 Large (test-clean / test-other) | 4,8% / 8,2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER mit allen 960 Stunden Labels, wav2vec 2.0 Large (test-clean / test-other) | 1,8% / 3,3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| Phonemfehlerrate, FBANK vs HuBERT Large | 82,01% vs 3,53% | Yang et al., SUPERB, Interspeech 2021 |
| WER der Spracherkennung auf SUPERB, WavLM Large vs XEUS | 3,44% vs 3,34% | Chen et al., XEUS, EMNLP 2024 |
| Genauigkeit der Emotionserkennung auf IEMOCAP, XEUS | 71,08% | Chen et al., XEUS, EMNLP 2024 |
| EER der Sprecherverifikation auf VoxCeleb1-O, ECAPA-TDNN-Referenz vs feinabgestimmtes WavLM Large | 1,010% vs 0,383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| BLEU der Sprachübersetzung, FBANK vs HuBERT Large | 2,32 vs 20,01 | Tsai et al., SUPERB-SG, ACL 2022 |
| Modelle, die FBANK bei allen 15 Aufgaben schlagen | Etwa die Hälfte von 33 | Yang et al., IEEE/ACM TASLP 2024 |
| Challenge-Wert von WavLM-large auf dem verdeckten Satz | 1242 | Feng et al., SUPERB @ SLT 2022 |
| SUPERB-Gesamtwert, WavLM Base+ vs HuBERT Large | 73,4 vs 72,2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Vortrainings-Rechenaufwand von XEUS | 63.000 GPU-Stunden | Chen et al., XEUS, EMNLP 2024 |
| Vortrainings-Audio des Google Universal Speech Model | 12 Millionen Stunden | Google, USM-Paper 2023 |
| ML-SUPERB-Wert von XLSR-128 auf dem 1-Stunden-Trainingssatz | 996,0 | Shi et al., ML-SUPERB, Interspeech 2023 |
| Zeichenfehlerrate bei Standardsprache, XEUS vs rein englisches WavLM | 40,2% vs 72,0% | Chen et al., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| DistilHuBERT im Vergleich zu HuBERT | 75% kleiner, 73% schneller | Chang et al., DistilHuBERT, ICASSP 2022 |
| Rechenreduktion von MiniSUPERB | 97% weniger MACs | Wang et al., MiniSUPERB, IEEE ASRU 2023 |
| Downloads im letzten Monat, facebook/wav2vec2-base-960h | 1.737.874 | Hugging-Face-Modellseite, 31. Oktober 2026 |
Methodik und Quellen
- SUPERB: Speech processing Universal PERformance Benchmark (Yang et al., Interspeech 2021)
- SUPERB-SG (Tsai et al., ACL 2022)
- A Large-Scale Evaluation of Speech Foundation Models (Yang et al., IEEE/ACM TASLP 2024)
- Bericht zur Challenge SUPERB @ SLT 2022 (Feng et al., 2022)
- ML-SUPERB (Shi et al., Interspeech 2023)
- The ML-SUPERB 2.0 Challenge (Chen et al., Interspeech 2025)
- MiniSUPERB (Wang et al., IEEE ASRU 2023)
- wav2vec 2.0 (Meta AI, NeurIPS 2020)
- HuBERT (Meta AI, IEEE/ACM TASLP 2021)
- wav2vec-U (Meta AI, 2021)
- WavLM (Microsoft, IEEE JSTSP 2022)
- XEUS: Towards Robust Speech Representation Learning for Thousands of Languages (Chen et al., EMNLP 2024)
- Universal Speech Model (Google, 2023)
- DistilHuBERT (Chang et al., ICASSP 2022)
- Self-Supervised Speech Representation Learning: A Review (Mohamed et al., IEEE JSTSP 2022)
- Hugging-Face-Modellseiten: facebook/wav2vec2-base-960h, microsoft/wavlm-large, facebook/hubert-large-ls960-ft (31. Oktober 2026)
- Daten-Hinweis: Das Live-Leaderboard von SUPERB ließ sich am 31. Oktober 2026 nicht lesen (der Host verweigerte die Verbindung, und die GitHub-Seite des Benchmarks zeigt keine Werte), daher stammt jede SUPERB-Zahl hier aus den veröffentlichten Papers, und eine neuere Einreichung kann existieren. Es kommen drei Wertskalen vor, die nicht austauschbar sind: der Gesamtwert im WavLM-Paper, der Challenge-Wert (Baseline 0, Stand der Technik vom 15. Oktober 2021 bei 1000) und der ML-SUPERB-Wert. Der Wert 586,9 für wav2vec2-large auf dem 1-Stunden-Satz von ML-SUPERB steht neben einem gedruckten Wert der Sprachidentifikation von 8,0 in der Tabelle des Papers, weit unter den Nachbarwerten, daher ist diese einzelne Lücke mit Vorsicht zu lesen. Die Parameterzahlen weichen je nach Paper leicht ab: 316,62M vs 315,45M für WavLM Large und 94,70M vs 94,38M für WavLM Base+. Kleinere Widersprüche innerhalb der Quellen: Der SUPERB-Text nennt 5,10 für die HuBERT-Sprecherverifikation, während seine Tabelle 5,11 nennt (wir verwenden die Tabelle); der XEUS-Text nennt 33,3 für seine beste Zeichenfehlerrate bei 10 Minuten, während seine Tabelle 30,3 für XEUS und 33,3 für MMS 1B nennt; das Paper zu ML-SUPERB 2.0 nennt sowohl 149 als auch 154 Sprachen, und die Gewinne in seinem Abstract passen nicht zu seinem Abschnitt 4.1, daher geben wir nur seine Baseline-Tabelle wieder. Hugging-Face-Downloads sind ein gleitender Zähler des letzten Monats und ändern sich täglich. Die meisten SUPERB-Ergebnisse stammen aus den Jahren 2021 bis 2024, sie sind daher als aktuellste verfügbare Daten zu verstehen und nicht als Messungen von 2026.
Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn die Ergebnisse der nächsten ML-SUPERB-Challenge veröffentlicht werden.