Diez minutos de voz transcrita bastaron para que wav2vec 2.0 alcanzara una tasa de error de palabras del 4,8% en el conjunto test-clean de LibriSpeech (Meta AI, wav2vec 2.0, NeurIPS 2020), después de que el modelo se entrenara primero con audio en bruto, sin transcripciones humanas, el enfoque conocido como aprendizaje autosupervisado. En el conjunto de prueba oculto del desafío SUPERB @ SLT 2022, WavLM-large obtuvo 1242 en una escala donde el estado del arte de octubre de 2021 se sitúa en 1000 (Feng et al., SUPERB @ SLT 2022), pero solo cerca de la mitad de 33 modelos evaluados supera una línea base clásica en todas las tareas (Yang et al., IEEE/ACM TASLP 2024). Los puntos de control más antiguos siguen en uso diario: facebook/wav2vec2-base-960h mostró 1.737.874 descargas del último mes (Hugging Face, 31 de octubre de 2026). Agregamos datos de los artículos de benchmark de SUPERB, SUPERB-SG y ML-SUPERB, del informe del desafío SUPERB @ SLT 2022, de los artículos de los modelos wav2vec 2.0, WavLM y XEUS y de los contadores de descargas en vivo de Hugging Face. Lo que estas bajas tasas de error dejan fuera se trata en nuestro informe sobre tasas de alucinación en el reconocimiento de voz.
Una nota sobre cómo leer cada cifra siguiente: las puntuaciones de SUPERB son en su mayoría de 2021 a 2024 porque los artículos del benchmark son los que fijan el registro, y no se pudo acceder a la tabla de clasificación en vivo para esta actualización (véase la nota sobre los datos). Menos es mejor para las tasas de error; más es mejor para la precisión y para las puntuaciones de SUPERB.
TL;DR
- wav2vec 2.0 Large alcanzó un WER de 4,8% / 8,2% con 10 minutos de etiquetas, frente a 16,3% / 25,2% del mejor método anterior (Meta AI, wav2vec 2.0, NeurIPS 2020).
- wav2vec-U llegó a un WER de 5,9% en test-other con cero voz transcrita (Meta AI, wav2vec-U 2021).
- La tabla de estado del arte de la revisión del IEEE indica un WER en LibriSpeech de 1,4% / 2,6% con preentrenamiento autosupervisado, frente a 2,1% / 4,0% sin él (Mohamed et al., IEEE JSTSP 2022).
- HuBERT Large redujo la tasa de error de fonemas a 3,53%, desde el 82,01% de la línea base FBANK (Yang et al., SUPERB, Interspeech 2021).
- El reconocimiento de emociones sigue siendo el techo bajo, con XEUS a la cabeza con un 71,08% de precisión (Chen et al., XEUS, EMNLP 2024).
- El BLEU de traducción de voz subió de 2,32 con FBANK a 20,01 con HuBERT Large (Tsai et al., SUPERB-SG, ACL 2022).
- Cerca de la mitad de 33 modelos supera a FBANK en las 15 tareas (Yang et al., IEEE/ACM TASLP 2024).
- WavLM Base+ obtuvo 73,4 en la puntuación general con 94,70M de parámetros, por encima de HuBERT Large con 72,2 y 316,61M (Microsoft, WavLM, IEEE JSTSP 2022).
- El mayor modelo del desafío, con 619,82M de parámetros, obtuvo 848 frente a 1242 de WavLM-large con 315,45M (Feng et al., SUPERB @ SLT 2022).
- En el conjunto de 10 minutos de ML-SUPERB, wav2vec2-large obtuvo 598,3 y el más pequeño wav2vec2-base 755,2 (Shi et al., ML-SUPERB, Interspeech 2023).
- DistilHuBERT hace a HuBERT un 75% más pequeño y un 73% más rápido (Chang et al., ICASSP 2022).
- microsoft/wavlm-large mostró 1.068.711 descargas del último mes (Hugging Face, 31 de octubre de 2026).
1. Datos Etiquetados: de 960 Horas a 10 Minutos
La tasa de error de palabras (WER) es la proporción de palabras que un sistema se equivoca, y “etiquetas” aquí significa transcripciones humanas. LibriSpeech tiene dos conjuntos de prueba estándar: test-clean y el más difícil test-other. Pasar de 960 horas de etiquetas a 10 minutos elevó el WER de wav2vec 2.0 en test-other de 3,3% a 8,2%. Como 960 horas son 57.600 minutos, eso equivale a 5.760 veces menos audio transcrito (57.600 / 10) para una tasa de error unas 2,5 veces mayor (8,2 / 3,3).
El cuello de botella se movió. La transcripción solía fijar el piso de la calidad; después de wav2vec 2.0, el insumo escaso pasó a ser el audio sin etiquetar y el tiempo de GPU. Su 8,2% en test-other también queda cerca de un 67% por debajo del 25,2% del mejor método anterior ((25,2 - 8,2) / 25,2), y la revisión del IEEE lo reconoce como el primer modelo en alcanzar un WER de un solo dígito en LibriSpeech usando solo los subconjuntos de pocos recursos de Libri-light.
| Métrica | Valor | Fuente |
|---|---|---|
| WER con 10 minutos de etiquetas, wav2vec 2.0 Large frente al mejor anterior Discrete BERT (test-clean / test-other) | 4,8% / 8,2% frente a 16,3% / 25,2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER con 10 minutos de etiquetas, HuBERT X-Large (test-clean / test-other) | 4,6% / 6,8% | Meta AI, HuBERT, IEEE/ACM TASLP 2021 |
| WER en test-other con 1 hora de etiquetas, wav2vec 2.0 Large frente a WavLM Large | 5,8% frente a 5,1% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER con 10 horas de etiquetas, HuBERT Large y WavLM Large (ambos test-clean / test-other) | 2,4% / 4,6% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER con las 960 horas completas de etiquetas de LibriSpeech, wav2vec 2.0 Large (test-clean / test-other) | 1,8% / 3,3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER en test-other con cero voz transcrita, wav2vec-U | 5,9% | Meta AI, wav2vec-U 2021 |
| WER en LibriSpeech en la tabla de estado del arte de la revisión, sin frente a con preentrenamiento autosupervisado (test-clean / test-other) | 2,1% / 4,0% frente a 1,4% / 2,6% | Mohamed et al., IEEE JSTSP 2022 |
La comparación no es perfectamente equivalente. Discrete BERT usó un modelo de lenguaje 4-gram, mientras que las filas de wav2vec 2.0, HuBERT y WavLM anteriores usan un modelo de lenguaje Transformer en la decodificación. La entrada autosupervisada de la última fila combina un modelo conformer XXL con autoentrenamiento noisy student. Datos más recientes disponibles: artículos de Meta AI y Microsoft, de 2020 a 2022.
2. Tareas de Contenido de SUPERB: Reconocer lo Que se Dijo
SUPERB comenzó con 10 tareas y una regla estricta: el modelo preentrenado permanece congelado y solo se entrena un pequeño cabezal de tarea. La línea base es FBANK, características clásicas de banco de filtros de audio sin ningún preentrenamiento. HuBERT Large llevó la tasa de error de fonemas de 82,01% a 3,53%. Una tasa de error de fonemas es la misma idea que el WER, contada sobre sonidos del habla en lugar de palabras.
Las brechas destacadas exageran una cosa. El artículo señala que FBANK no puede funcionar en las tareas limitadas a un cabezal lineal, lo que explica puntuaciones tan bajas como 8,63% en detección de palabras clave. Con un cabezal no lineal en ASR, FBANK es lo bastante competitivo como para que su 23,18% sea un piso más justo. La búsqueda por ejemplo, que encuentra un término hablado a partir de una muestra de audio y se puntúa con el valor ponderado máximo del término (MTWV), registra las cifras absolutas más bajas del grupo: la mejor puntuación del artículo original fue 0,0736.
| Métrica | Valor | Fuente |
|---|---|---|
| Tasa de error de fonemas en LibriSpeech, línea base FBANK frente a HuBERT Large | 82,01% frente a 3,53% | Yang et al., SUPERB, Interspeech 2021 |
| Precisión de detección de palabras clave en Speech Commands, FBANK frente a wav2vec 2.0 Large | 8,63% frente a 96,66% | Yang et al., SUPERB, Interspeech 2021 |
| WER de reconocimiento automático del habla sin modelo de lenguaje, FBANK frente a HuBERT Large | 23,18% frente a 3,62% | Yang et al., SUPERB, Interspeech 2021 |
| Puntuación MTWV de búsqueda por ejemplo, FBANK frente a HuBERT Base | 0,0058 frente a 0,0736 | Yang et al., SUPERB, Interspeech 2021 |
| WER de reconocimiento automático del habla en SUPERB, WavLM Large frente a XEUS | 3,44% frente a 3,34% | Chen et al., XEUS, EMNLP 2024 |
| Precisión de detección de palabras clave en SUPERB, WavLM Large frente a XEUS | 97,86% frente a 98,32% | Chen et al., XEUS, EMNLP 2024 |
Las cifras más recientes de SUPERB en inglés provienen de XEUS, y los márgenes se han vuelto estrechos: 0,10 puntos porcentuales en ASR. La familia de tareas parece cercana a la saturación.
3. Tareas de Hablante, Intención y Emoción
Las tareas de hablante preguntan quién está hablando y no qué se dijo, así que comprueban si una representación conservó algo más que las palabras. La identificación de hablante pasó de prácticamente cero con FBANK a 90,33% con HuBERT Large. WavLM Large con ajuste fino alcanzó una tasa de error igual del 0,383% en VoxCeleb1-O, frente al 1,010% del sistema de referencia ECAPA-TDNN. La tasa de error igual (EER) es el punto de operación en el que las falsas aceptaciones igualan a los falsos rechazos, así que menos es mejor.
La emoción es la excepción. La precisión de emoción en cuatro clases en IEMOCAP apenas se ha movido entre WavLM Large y XEUS, e incluso la mejor puntuación deja casi 3 de cada 10 clips mal. Los límites prácticos se tratan en nuestras estadísticas de precisión del reconocimiento de emociones en la voz. Las filas de diarización usan conjuntos de datos distintos, así que consulte nuestro informe sobre la tasa de error de diarización de hablantes antes de compararlas. La tasa de error de diarización (DER) mide cuánto tiempo de audio se equivoca en el “quién habló cuándo”.
| Métrica | Valor | Fuente |
|---|---|---|
| Precisión de identificación de hablante en VoxCeleb1, FBANK frente a HuBERT Large | 8,5E-4 frente a 90,33 (por ciento) | Yang et al., SUPERB, Interspeech 2021 |
| Precisión de clasificación de intenciones en Fluent Speech Commands, FBANK frente a HuBERT Large | 9,10% frente a 98,76% | Yang et al., SUPERB, Interspeech 2021 |
| Precisión de clasificación de intenciones en la tabla de estado del arte de la revisión, sin frente a con preentrenamiento autosupervisado | 98,8% frente a 99,3% | Mohamed et al., IEEE JSTSP 2022 |
| DER de diarización de hablantes en LibriMix de dos hablantes, WavLM Large frente a XEUS | 3,24% frente a 3,11% | Chen et al., XEUS, EMNLP 2024 |
| Precisión de reconocimiento de emociones en IEMOCAP (cuatro clases), WavLM Large frente a XEUS | 70,62% frente a 71,08% | Chen et al., XEUS, EMNLP 2024 |
| EER de verificación de hablante en VoxCeleb1-O, referencia ECAPA-TDNN frente a WavLM Large con ajuste fino de margen amplio y calibración de puntuaciones | 1,010% frente a 0,383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| DER de diarización en llamadas telefónicas de CALLHOME, agrupamiento EEND-EDA frente a WavLM Large | 11,84% frente a 10,35% | Microsoft, WavLM, IEEE JSTSP 2022 |
Obsérvese el cambio de método en la fila de verificación de hablante: ese resultado proviene de un ajuste fino, no de la configuración congelada de SUPERB, así que no es una puntuación del ranking. La revisión del IEEE también muestra lo pequeña que puede llegar a ser la ventaja en la cima: 0,5 puntos porcentuales en clasificación de intenciones.
4. SUPERB-SG y el Benchmark de 15 Tareas: Dónde Deja de Ayudar la Autosupervisión
SUPERB-SG añadió cinco tareas más difíciles de semántica y generación. La traducción muestra el mayor salto: el BLEU, una puntuación de calidad de traducción, subió de 2,32 a 20,01. La conversión de voz también mejora de forma marcada, medida aquí por cuántas palabras se equivoca un reconocedor en el audio convertido.
Luego las mejoras se detienen. La mejora y la separación de la voz dependen del detalle de bajo nivel de la señal, y los autores encontraron que esas dos tareas no están fuertemente correlacionadas con el resto. wav2vec 2.0 Large de hecho queda por debajo de FBANK en la puntuación de calidad de voz PESQ. La versión en revista lo confirma a gran escala: un modelo creado para resumir la voz no es automáticamente bueno para reconstruirla. Para el lado de la separación de este panorama, consulte nuestras estadísticas de separación de voz.
| Métrica | Valor | Fuente |
|---|---|---|
| BLEU de traducción de voz en CoVoST2 (inglés a alemán), FBANK frente a HuBERT Large | 2,32 frente a 20,01 | Tsai et al., SUPERB-SG, ACL 2022 |
| WER de reconocimiento de voz fuera de dominio (español, mandarín, árabe e inglés espontáneo), FBANK frente a HuBERT Large | 63,58% frente a 44,08% | Tsai et al., SUPERB-SG, ACL 2022 |
| WER de la voz convertida con conversión de voz en VCC2020, FBANK frente a HuBERT Large | 38,3% frente a 9,0% | Tsai et al., SUPERB-SG, ACL 2022 |
| Puntuación SI-SDRi de separación de voz (mejora de la calidad de la señal, más es mejor), FBANK frente a HuBERT Large | 9,23 frente a 10,45 | Tsai et al., SUPERB-SG, ACL 2022 |
| Puntuación PESQ de mejora de la voz en Voicebank-DEMAND, FBANK frente a wav2vec 2.0 Large frente a HuBERT Large | 2,55 frente a 2,52 frente a 2,64 | Tsai et al., SUPERB-SG, ACL 2022 |
| Correlación de los resultados de las tareas con el ASR, para traducción de voz y para ASR fuera de dominio | 0,92 cada una | Tsai et al., SUPERB-SG, ACL 2022 |
| Proporción de los 33 modelos evaluados que superan a FBANK en las 15 tareas | Cerca de la mitad | Yang et al., IEEE/ACM TASLP 2024 |
| Tareas en las que los demás modelos quedan por detrás de FBANK | Alrededor de 1 a 3 de 15, casi siempre mejora y separación de la voz | Yang et al., IEEE/ACM TASLP 2024 |
La fila fuera de dominio merece atención: HuBERT Large sigue promediando una tasa de error del 44,08% en esas cuatro subtareas (el mandarín se puntúa por tasa de error de caracteres), muy por encima de su 3,62% en LibriSpeech en inglés.
5. Escalado: Parámetros, Horas de Preentrenamiento y el Ranking
El mayor modelo del desafío SUPERB @ SLT 2022 tenía cerca del doble de parámetros que WavLM-large y obtuvo 394 puntos menos (1242 - 848). El tamaño compra menos que la receta de entrenamiento. La evidencia más clara es WavLM Base+, que igualó el tamaño de Base con 94,70M de parámetros, añadió audio de entrenamiento más variado y superó a un modelo de más de 3 veces su tamaño (316,61 / 94,70 = 3,34).
La puntuación del desafío fija la línea base FBANK en 0 y el estado del arte del 15 de octubre de 2021 en 1000, así que cualquier valor por encima de 1000 supera esa instantánea. La puntuación general del artículo de WavLM es una escala aparte, con FBANK en 43,2, y ambas no deben compararse. Mientras tanto, los datos de preentrenamiento han crecido de las 94.000 horas de WavLM a millones de horas, y la factura ahora aparece en tiempo de GPU.
| Métrica | Valor | Fuente |
|---|---|---|
| Puntuación general de SUPERB, HuBERT Large frente a WavLM Large (ambos con unos 316,6M de parámetros) | 72,2 frente a 74,6 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Puntuación general de SUPERB, WavLM Base+ (94,70M de parámetros) frente a HuBERT Large (316,61M de parámetros) | 73,4 frente a 72,2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Audio de preentrenamiento de WavLM | 94.000 horas (60.000 de Libri-Light, 10.000 de GigaSpeech, 24.000 de VoxPopuli) | Microsoft, WavLM, IEEE JSTSP 2022 |
| Puntuación de WavLM-large en el conjunto oculto del desafío, con tamaño y cómputo | 1242 (315,45M de parámetros, 4.326G MACs) | Feng et al., SUPERB @ SLT 2022 |
| Puntuación en el conjunto oculto del desafío del mayor envío, Unsupervised ASR + T5 (619,82M de parámetros) | 848 | Feng et al., SUPERB @ SLT 2022 |
| Audio de preentrenamiento de XLS-R en cinco conjuntos de datos | 436.000 horas | Mohamed et al., IEEE JSTSP 2022 |
| Tamaño del modelo XEUS y cómputo de preentrenamiento | 577M de parámetros; más de 1 millón de horas de audio; 63.000 horas de GPU en 64 GPU A100 durante unos 40 días | Chen et al., XEUS, EMNLP 2024 |
| Audio de preentrenamiento de Google Universal Speech Model | 12 millones de horas en más de 300 idiomas | Google, artículo de USM 2023 |
Las MACs (operaciones de multiplicación y acumulación) estiman cuánto cómputo necesita un modelo para ejecutarse. La fila de Google es solo una referencia de escala: no encontramos una puntuación SUPERB para ese modelo.
6. Rankings Multilingües: ¿Se Mantiene el Ranking en Inglés?
Solo en parte. WavLM, líder en SUPERB en inglés, fue la línea base más débil del desafío multilingüe de 2025, con una tasa de error de caracteres del 72,0% frente al 40,2% de XEUS. El artículo del desafío describe ese modelo como solo para inglés, lo que sugiere que la posición en un ranking dice tanto sobre el audio de preentrenamiento como sobre la arquitectura. Para ver cómo se comportan los codificadores de voz entre idiomas a nivel de embeddings, consulte nuestras estadísticas de embeddings de voz multilingües.
ML-SUPERB reescala su puntuación del mismo modo, con FBANK en 0. El escalado también juega en contra aquí: los modelos grandes solían ganar en ASR de un solo idioma, pero los autores encontraron que los modelos base tienden a generalizar mejor a casos multilingües que sus versiones grandes. El desafío ML-SUPERB 2.0 muestra entonces los dialectos como la parte sin resolver, con la tasa de error de caracteres de XEUS subiendo de 40,2% a 68,7%.
| Métrica | Valor | Fuente |
|---|---|---|
| Audio de entrenamiento de ML-SUPERB en 143 idiomas, conjunto de 10 minutos frente a conjunto de 1 hora | 37,43 horas frente a 222,46 horas | Shi et al., ML-SUPERB, Interspeech 2023 |
| Puntuación ML-SUPERB de XLSR-128, el mejor modelo, con el conjunto de entrenamiento de 10 minutos frente al de 1 hora | 947,5 frente a 996,0 | Shi et al., ML-SUPERB, Interspeech 2023 |
| Puntuación ML-SUPERB a 10 minutos, wav2vec2-base frente a wav2vec2-large | 755,2 frente a 598,3 | Shi et al., ML-SUPERB, Interspeech 2023 |
| Puntuación ML-SUPERB a 10 minutos / 1 hora: XEUS (577M de parámetros, 1M de horas) frente a MMS 1B (1B, 491K horas) frente a w2v-BERT 2.0 v2 (580M, 4,5M de horas) | 956 / 956 frente a 953 / 948 frente a 826 / 916 | Chen et al., XEUS, EMNLP 2024 |
| Tasa de error de caracteres en habla estándar, XEUS frente a WavLM solo para inglés | 40,2% frente a 72,0% | Chen et al., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| Tasa de error de caracteres de XEUS, habla estándar frente a habla dialectal | 40,2% frente a 68,7% | Chen et al., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
w2v-BERT 2.0 v2 tuvo la mayor cantidad de audio de preentrenamiento en esa comparación y la puntuación más baja, así que tampoco las horas por sí solas resolvieron la cuestión. Las puntuaciones del ML-SUPERB original y de la comparación de XEUS deben leerse dentro de cada artículo, no entre ellos.
7. Eficiencia y Adopción en el Mundo Real
Los modelos líderes son caros, y una línea de investigación intenta ahora reducirlos. DistilHuBERT es el ejemplo más claro, pero los datos del desafío muestran el precio: con 27,03M de parámetros obtuvo 617, frente a 784 de HuBERT-base con 94,70M. El modelo más pequeño del desafío obtuvo solo 104, así que la compresión aún pierde más de lo que sugieren los porcentajes destacados.
Hacer el benchmarking también ha sido un coste, y a eso apunta MiniSUPERB. Los recuentos de descargas aportan una señal más reciente: wav2vec2-base-960h se descarga más que WavLM Large y HuBERT Large aunque el ranking lo colocó más abajo. Ser fácil de adoptar, y haber llegado primero, cuenta mucho.
| Métrica | Valor | Fuente |
|---|---|---|
| DistilHuBERT en comparación con HuBERT | 75% más pequeño, 73% más rápido | Chang et al., DistilHuBERT, ICASSP 2022 |
| Puntuación en el conjunto oculto del desafío, DistilHuBERT (27,03M de parámetros) frente a HuBERT-base (94,70M de parámetros) | 617 frente a 784 | Feng et al., SUPERB @ SLT 2022 |
| Modelo más pequeño del desafío, Chimera MelHuBERT v1 | 22,50M de parámetros, 271G MACs, puntuación 104 | Feng et al., SUPERB @ SLT 2022 |
| Reducción de cómputo de MiniSUPERB y su correlación de rangos con el desafío SUPERB | 97% menos MACs; Spearman 0,982 | Wang et al., MiniSUPERB, IEEE ASRU 2023 |
| GPU necesarias: recetas de SUPERB frente a la receta oficial de ajuste fino de wav2vec 2.0 Large | 1 GPU frente a unas 4 a 8 GPU | Yang et al., IEEE/ACM TASLP 2024 |
| Descargas del último mes, facebook/wav2vec2-base-960h | 1.737.874 | Página del modelo en Hugging Face, 31 de octubre de 2026 |
| Descargas del último mes, microsoft/wavlm-large | 1.068.711 | Página del modelo en Hugging Face, 31 de octubre de 2026 |
| Descargas del último mes, facebook/hubert-large-ls960-ft | 616.230 | Página del modelo en Hugging Face, 31 de octubre de 2026 |
Un contador de descargas registra descargas, no personas, así que lea estas filas como señal de actividad y no como un recuento de usuarios.
Resumen: el Ranking SUPERB de Modelos de Voz Autosupervisados en Cifras
| Métrica | Valor | Fuente |
|---|---|---|
| WER con 10 minutos de etiquetas, wav2vec 2.0 Large (test-clean / test-other) | 4,8% / 8,2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER con las 960 horas completas de etiquetas, wav2vec 2.0 Large (test-clean / test-other) | 1,8% / 3,3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| Tasa de error de fonemas, FBANK frente a HuBERT Large | 82,01% frente a 3,53% | Yang et al., SUPERB, Interspeech 2021 |
| WER de reconocimiento de voz en SUPERB, WavLM Large frente a XEUS | 3,44% frente a 3,34% | Chen et al., XEUS, EMNLP 2024 |
| Precisión de reconocimiento de emociones en IEMOCAP, XEUS | 71,08% | Chen et al., XEUS, EMNLP 2024 |
| EER de verificación de hablante en VoxCeleb1-O, referencia ECAPA-TDNN frente a WavLM Large con ajuste fino | 1,010% frente a 0,383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| BLEU de traducción de voz, FBANK frente a HuBERT Large | 2,32 frente a 20,01 | Tsai et al., SUPERB-SG, ACL 2022 |
| Modelos que superan a FBANK en las 15 tareas | Cerca de la mitad de 33 | Yang et al., IEEE/ACM TASLP 2024 |
| Puntuación de WavLM-large en el conjunto oculto del desafío | 1242 | Feng et al., SUPERB @ SLT 2022 |
| Puntuación general de SUPERB, WavLM Base+ frente a HuBERT Large | 73,4 frente a 72,2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Cómputo de preentrenamiento de XEUS | 63.000 horas de GPU | Chen et al., XEUS, EMNLP 2024 |
| Audio de preentrenamiento de Google Universal Speech Model | 12 millones de horas | Google, artículo de USM 2023 |
| Puntuación ML-SUPERB de XLSR-128 con el conjunto de entrenamiento de 1 hora | 996,0 | Shi et al., ML-SUPERB, Interspeech 2023 |
| Tasa de error de caracteres en habla estándar, XEUS frente a WavLM solo para inglés | 40,2% frente a 72,0% | Chen et al., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| DistilHuBERT en comparación con HuBERT | 75% más pequeño, 73% más rápido | Chang et al., DistilHuBERT, ICASSP 2022 |
| Reducción de cómputo de MiniSUPERB | 97% menos MACs | Wang et al., MiniSUPERB, IEEE ASRU 2023 |
| Descargas del último mes, facebook/wav2vec2-base-960h | 1.737.874 | Página del modelo en Hugging Face, 31 de octubre de 2026 |
Metodología y Fuentes
- SUPERB: Speech processing Universal PERformance Benchmark (Yang et al., Interspeech 2021)
- SUPERB-SG (Tsai et al., ACL 2022)
- A Large-Scale Evaluation of Speech Foundation Models (Yang et al., IEEE/ACM TASLP 2024)
- informe del desafío SUPERB @ SLT 2022 (Feng et al., 2022)
- ML-SUPERB (Shi et al., Interspeech 2023)
- The ML-SUPERB 2.0 Challenge (Chen et al., Interspeech 2025)
- MiniSUPERB (Wang et al., IEEE ASRU 2023)
- wav2vec 2.0 (Meta AI, NeurIPS 2020)
- HuBERT (Meta AI, IEEE/ACM TASLP 2021)
- wav2vec-U (Meta AI, 2021)
- WavLM (Microsoft, IEEE JSTSP 2022)
- XEUS: Towards Robust Speech Representation Learning for Thousands of Languages (Chen et al., EMNLP 2024)
- Universal Speech Model (Google, 2023)
- DistilHuBERT (Chang et al., ICASSP 2022)
- Self-Supervised Speech Representation Learning: A Review (Mohamed et al., IEEE JSTSP 2022)
- Páginas de modelos de Hugging Face: facebook/wav2vec2-base-960h, microsoft/wavlm-large, facebook/hubert-large-ls960-ft (31 de octubre de 2026)
- Nota sobre los datos: la tabla de clasificación en vivo de SUPERB no se pudo leer el 31 de octubre de 2026 (el host rechazó la conexión y la página de GitHub del benchmark no muestra puntuaciones), así que todas las cifras de SUPERB aquí provienen de los artículos publicados y puede existir un envío más reciente. Aparecen tres escalas de puntuación que no son intercambiables: la puntuación general del artículo de WavLM, la puntuación del desafío (línea base 0, estado del arte del 15 de octubre de 2021 en 1000) y la puntuación de ML-SUPERB. La puntuación de 586,9 de wav2vec2-large en el conjunto de 1 hora de ML-SUPERB viene acompañada de un valor impreso de identificación de idioma de 8,0 en la tabla de ese artículo, muy por debajo de sus vecinos, por lo que esa diferencia aislada debe leerse con cautela. Los recuentos de parámetros varían ligeramente según el artículo: 316,62M frente a 315,45M para WavLM Large y 94,70M frente a 94,38M para WavLM Base+. Conflictos menores dentro de las fuentes: el texto de SUPERB dice 5,10 para la verificación de hablante de HuBERT mientras que su tabla dice 5,11 (usamos la tabla); el texto de XEUS da 33,3 para su mejor tasa de error de caracteres a 10 minutos mientras que su tabla da 30,3 para XEUS y 33,3 para MMS 1B; el artículo de ML-SUPERB 2.0 menciona tanto 149 como 154 idiomas, y las mejoras de su resumen no coinciden con su sección 4.1, por lo que reportamos solo su tabla de línea base. Las descargas de Hugging Face son un recuento móvil del último mes y cambian a diario. La mayoría de los resultados de SUPERB datan de 2021 a 2024, así que conviene tratarlos como los datos más recientes disponibles y no como mediciones de 2026.
Última actualización: 31 de octubre de 2026. Actualizamos este informe trimestralmente, y la próxima revisión se espera cuando se publiquen los resultados del próximo desafío ML-SUPERB.