Dez minutos de fala transcrita bastaram para o wav2vec 2.0 chegar a 4,8% de taxa de erro de palavras no conjunto test-clean do LibriSpeech (Meta AI, wav2vec 2.0, NeurIPS 2020), depois de o modelo treinar primeiro com áudio bruto, sem transcrições humanas, a abordagem conhecida como aprendizado autossupervisionado. No conjunto de teste oculto do desafio SUPERB @ SLT 2022, o WavLM-large marcou 1242 em uma escala em que o estado da arte de outubro de 2021 fica em 1000 (Feng et al., SUPERB @ SLT 2022), mas apenas cerca de metade de 33 modelos avaliados supera uma baseline clássica em todas as tarefas (Yang et al., IEEE/ACM TASLP 2024). Os checkpoints mais antigos continuam em uso diário: o facebook/wav2vec2-base-960h teve 1.737.874 downloads no último mês (Hugging Face, 31 de outubro de 2026). Agregamos dados dos artigos de benchmark SUPERB, SUPERB-SG e ML-SUPERB, do relatório do desafio SUPERB @ SLT 2022, dos artigos dos modelos wav2vec 2.0, WavLM e XEUS e dos contadores de downloads ao vivo do Hugging Face. O que essas taxas de erro baixas deixam de fora está em nosso levantamento sobre taxas de alucinação em reconhecimento de fala.
Uma observação sobre como ler cada número abaixo: as pontuações do SUPERB são em sua maioria de 2021 a 2024, porque os artigos do benchmark é que registram o resultado, e o ranking ao vivo não pôde ser acessado nesta atualização (veja a nota sobre os dados). Menor é melhor para taxas de erro; maior é melhor para acurácia e para as pontuações do SUPERB.
TL;DR
- O wav2vec 2.0 Large atingiu 4,8% / 8,2% de WER com 10 minutos de rótulos, contra 16,3% / 25,2% do melhor método anterior (Meta AI, wav2vec 2.0, NeurIPS 2020).
- O wav2vec-U chegou a 5,9% de WER no test-other sem nenhuma fala transcrita (Meta AI, wav2vec-U 2021).
- A tabela de estado da arte da revisão do IEEE lista 1,4% / 2,6% de WER no LibriSpeech com pré-treinamento autossupervisionado, contra 2,1% / 4,0% sem ele (Mohamed et al., IEEE JSTSP 2022).
- O HuBERT Large reduziu a taxa de erro de fonemas para 3,53%, contra 82,01% da baseline FBANK (Yang et al., SUPERB, Interspeech 2021).
- O reconhecimento de emoções continua sendo o teto baixo, com o XEUS no topo com 71,08% de acurácia (Chen et al., XEUS, EMNLP 2024).
- O BLEU de tradução de fala subiu de 2,32 com o FBANK para 20,01 com o HuBERT Large (Tsai et al., SUPERB-SG, ACL 2022).
- Cerca de metade dos 33 modelos supera o FBANK nas 15 tarefas (Yang et al., IEEE/ACM TASLP 2024).
- O WavLM Base+ marcou 73,4 no geral com 94,70M de parâmetros, acima do HuBERT Large, com 72,2 e 316,61M (Microsoft, WavLM, IEEE JSTSP 2022).
- O maior modelo do desafio, com 619,82M de parâmetros, marcou 848, contra 1242 do WavLM-large com 315,45M (Feng et al., SUPERB @ SLT 2022).
- No conjunto de 10 minutos do ML-SUPERB, o wav2vec2-large marcou 598,3 e o wav2vec2-base, menor, 755,2 (Shi et al., ML-SUPERB, Interspeech 2023).
- O DistilHuBERT deixa o HuBERT 75% menor e 73% mais rápido (Chang et al., ICASSP 2022).
- O microsoft/wavlm-large teve 1.068.711 downloads no último mês (Hugging Face, 31 de outubro de 2026).
1. Dados Rotulados: de 960 Horas a 10 Minutos
A taxa de erro de palavras (WER) é a parcela de palavras que um sistema erra, e “rótulos” aqui significa transcrições humanas. O LibriSpeech tem dois conjuntos de teste padrão: test-clean e o mais difícil test-other. Passar de 960 horas de rótulos para 10 minutos elevou a WER do wav2vec 2.0 no test-other de 3,3% para 8,2%. Como 960 horas são 57.600 minutos, isso é 5.760 vezes menos áudio transcrito (57.600 / 10) para uma taxa de erro cerca de 2,5 vezes maior (8,2 / 3,3).
O gargalo mudou de lugar. A transcrição costumava definir o piso da qualidade; depois do wav2vec 2.0, o insumo escasso passou a ser áudio sem rótulos e tempo de GPU. Seus 8,2% no test-other também ficam cerca de 67% abaixo dos 25,2% do melhor método anterior ((25,2 - 8,2) / 25,2), e a revisão do IEEE o reconhece como o primeiro modelo a atingir WER de um dígito no LibriSpeech usando apenas os subconjuntos de poucos recursos do Libri-light.
| Métrica | Valor | Fonte |
|---|---|---|
| WER com 10 minutos de rótulos, wav2vec 2.0 Large vs o melhor anterior, Discrete BERT (test-clean / test-other) | 4,8% / 8,2% vs 16,3% / 25,2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER com 10 minutos de rótulos, HuBERT X-Large (test-clean / test-other) | 4,6% / 6,8% | Meta AI, HuBERT, IEEE/ACM TASLP 2021 |
| WER no test-other com 1 hora de rótulos, wav2vec 2.0 Large vs WavLM Large | 5,8% vs 5,1% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER com 10 horas de rótulos, HuBERT Large e WavLM Large (ambos test-clean / test-other) | 2,4% / 4,6% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER com todas as 960 horas de rótulos do LibriSpeech, wav2vec 2.0 Large (test-clean / test-other) | 1,8% / 3,3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER no test-other sem nenhuma fala transcrita, wav2vec-U | 5,9% | Meta AI, wav2vec-U 2021 |
| WER no LibriSpeech na tabela de estado da arte da revisão, sem vs com pré-treinamento autossupervisionado (test-clean / test-other) | 2,1% / 4,0% vs 1,4% / 2,6% | Mohamed et al., IEEE JSTSP 2022 |
A comparação não é perfeitamente equivalente. O Discrete BERT usou um modelo de linguagem 4-gram, enquanto as linhas de wav2vec 2.0, HuBERT e WavLM acima usam um modelo de linguagem Transformer na decodificação. A entrada autossupervisionada da última linha combina um modelo conformer XXL com autotreinamento noisy student. Dados mais recentes disponíveis: artigos da Meta AI e da Microsoft, de 2020 a 2022.
2. Tarefas de Conteúdo do SUPERB: Reconhecer o Que Foi Dito
O SUPERB começou com 10 tarefas e uma regra estrita: o modelo pré-treinado permanece congelado e só uma pequena cabeça de tarefa é treinada. A baseline é o FBANK, características clássicas de banco de filtros de áudio, sem nenhum pré-treinamento. O HuBERT Large reduziu a taxa de erro de fonemas de 82,01% para 3,53%. Uma taxa de erro de fonemas segue a mesma ideia da WER, contada em sons da fala em vez de palavras.
As diferenças de destaque exageram uma coisa. O artigo observa que o FBANK não consegue funcionar nas tarefas limitadas a uma cabeça linear, o que explica pontuações tão baixas quanto 8,63% em detecção de palavras-chave. Com uma cabeça não linear em ASR, o FBANK é competitivo o bastante para que seus 23,18% sejam um piso mais justo. A busca por exemplo, que encontra um termo falado a partir de uma amostra de áudio e é pontuada pelo valor ponderado máximo do termo (MTWV), registra os menores números absolutos do grupo: a melhor pontuação no artigo original foi 0,0736.
| Métrica | Valor | Fonte |
|---|---|---|
| Taxa de erro de fonemas no LibriSpeech, baseline FBANK vs HuBERT Large | 82,01% vs 3,53% | Yang et al., SUPERB, Interspeech 2021 |
| Acurácia de detecção de palavras-chave no Speech Commands, FBANK vs wav2vec 2.0 Large | 8,63% vs 96,66% | Yang et al., SUPERB, Interspeech 2021 |
| WER de reconhecimento automático de fala sem modelo de linguagem, FBANK vs HuBERT Large | 23,18% vs 3,62% | Yang et al., SUPERB, Interspeech 2021 |
| Pontuação MTWV de busca por exemplo, FBANK vs HuBERT Base | 0,0058 vs 0,0736 | Yang et al., SUPERB, Interspeech 2021 |
| WER de reconhecimento automático de fala no SUPERB, WavLM Large vs XEUS | 3,44% vs 3,34% | Chen et al., XEUS, EMNLP 2024 |
| Acurácia de detecção de palavras-chave no SUPERB, WavLM Large vs XEUS | 97,86% vs 98,32% | Chen et al., XEUS, EMNLP 2024 |
Os números mais recentes do SUPERB em inglês aqui vêm do XEUS, e as margens ficaram estreitas: 0,10 ponto percentual em ASR. A família de tarefas parece perto da saturação.
3. Tarefas de Locutor, Intenção e Emoção
As tarefas de locutor perguntam quem está falando, e não o que foi dito, então testam se uma representação guardou mais do que as palavras. A identificação de locutor saltou de praticamente zero com o FBANK para 90,33% com o HuBERT Large. O WavLM Large com ajuste fino atingiu 0,383% de taxa de erro igual no VoxCeleb1-O, contra 1,010% do sistema de referência ECAPA-TDNN. A taxa de erro igual (EER) é o ponto de operação em que as falsas aceitações igualam as falsas rejeições, então menor é melhor.
A emoção é o ponto fora da curva. A acurácia de emoção em quatro classes no IEMOCAP quase não se moveu entre o WavLM Large e o XEUS, e mesmo a melhor pontuação deixa quase 3 em cada 10 trechos errados. Os limites práticos estão em nossas estatísticas de acurácia do reconhecimento de emoções na fala. As linhas de diarização usam conjuntos de dados diferentes, então veja nosso levantamento sobre taxa de erro de diarização de locutores antes de compará-las. A taxa de erro de diarização (DER) mede quanto do tempo de áudio erra o “quem falou quando”.
| Métrica | Valor | Fonte |
|---|---|---|
| Acurácia de identificação de locutor no VoxCeleb1, FBANK vs HuBERT Large | 8,5E-4 vs 90,33 (por cento) | Yang et al., SUPERB, Interspeech 2021 |
| Acurácia de classificação de intenção no Fluent Speech Commands, FBANK vs HuBERT Large | 9,10% vs 98,76% | Yang et al., SUPERB, Interspeech 2021 |
| Acurácia de classificação de intenção na tabela de estado da arte da revisão, sem vs com pré-treinamento autossupervisionado | 98,8% vs 99,3% | Mohamed et al., IEEE JSTSP 2022 |
| DER de diarização de locutores no LibriMix com dois locutores, WavLM Large vs XEUS | 3,24% vs 3,11% | Chen et al., XEUS, EMNLP 2024 |
| Acurácia de reconhecimento de emoções no IEMOCAP (quatro classes), WavLM Large vs XEUS | 70,62% vs 71,08% | Chen et al., XEUS, EMNLP 2024 |
| EER de verificação de locutor no VoxCeleb1-O, referência ECAPA-TDNN vs WavLM Large com ajuste fino de grande margem e calibração de pontuação | 1,010% vs 0,383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| DER de diarização em chamadas telefônicas do CALLHOME, agrupamento EEND-EDA vs WavLM Large | 11,84% vs 10,35% | Microsoft, WavLM, IEEE JSTSP 2022 |
Note a mudança de método na linha de verificação de locutor: esse resultado vem de ajuste fino, não da configuração congelada do SUPERB, então não é uma pontuação do ranking. A revisão do IEEE também mostra como a vantagem pode ficar pequena no topo: 0,5 ponto percentual em classificação de intenção.
4. SUPERB-SG e o Benchmark de 15 Tarefas: Onde a Autossupervisão Deixa de Ajudar
O SUPERB-SG acrescentou cinco tarefas mais difíceis de semântica e geração. A tradução mostra o maior salto: o BLEU, uma pontuação de qualidade de tradução, subiu de 2,32 para 20,01. A conversão de voz também melhora bastante, medida aqui pelo número de palavras que um reconhecedor erra no áudio convertido.
Depois os ganhos param. A melhoria e a separação de fala dependem de detalhes de baixo nível do sinal, e os autores constataram que essas duas tarefas não têm forte correlação com as demais. O wav2vec 2.0 Large na verdade fica abaixo do FBANK na pontuação de qualidade de fala PESQ. A versão em periódico confirma isso em escala: um modelo feito para resumir a fala não é automaticamente bom em reconstruí-la. Para o lado da separação desse quadro, veja nossas estatísticas de separação de fala.
| Métrica | Valor | Fonte |
|---|---|---|
| BLEU de tradução de fala no CoVoST2 (inglês para alemão), FBANK vs HuBERT Large | 2,32 vs 20,01 | Tsai et al., SUPERB-SG, ACL 2022 |
| WER de reconhecimento de fala fora do domínio (espanhol, mandarim, árabe e inglês espontâneo), FBANK vs HuBERT Large | 63,58% vs 44,08% | Tsai et al., SUPERB-SG, ACL 2022 |
| WER da fala convertida por conversão de voz no VCC2020, FBANK vs HuBERT Large | 38,3% vs 9,0% | Tsai et al., SUPERB-SG, ACL 2022 |
| Pontuação SI-SDRi de separação de fala (melhoria da qualidade do sinal, maior é melhor), FBANK vs HuBERT Large | 9,23 vs 10,45 | Tsai et al., SUPERB-SG, ACL 2022 |
| Pontuação PESQ de melhoria de fala no Voicebank-DEMAND, FBANK vs wav2vec 2.0 Large vs HuBERT Large | 2,55 vs 2,52 vs 2,64 | Tsai et al., SUPERB-SG, ACL 2022 |
| Correlação dos resultados das tarefas com o ASR, para tradução de fala e para ASR fora do domínio | 0,92 cada | Tsai et al., SUPERB-SG, ACL 2022 |
| Parcela dos 33 modelos avaliados que superam o FBANK nas 15 tarefas | Cerca de metade | Yang et al., IEEE/ACM TASLP 2024 |
| Tarefas em que os demais modelos ficam atrás do FBANK | Cerca de 1 a 3 de 15, na maioria das vezes melhoria e separação de fala | Yang et al., IEEE/ACM TASLP 2024 |
A linha fora do domínio merece atenção: o HuBERT Large ainda tem em média 44,08% de taxa de erro nessas quatro subtarefas (o mandarim é pontuado por taxa de erro de caracteres), bem acima dos 3,62% no LibriSpeech em inglês.
5. Escala: Parâmetros, Horas de Pré-treinamento e o Ranking
O maior modelo do desafio SUPERB @ SLT 2022 tinha cerca do dobro dos parâmetros do WavLM-large e marcou 394 pontos a menos (1242 - 848). O tamanho rende menos do que a receita de treinamento. A evidência mais clara é o WavLM Base+, que manteve o tamanho do Base em 94,70M de parâmetros, acrescentou áudio de treinamento mais variado e superou um modelo com mais de 3 vezes o seu tamanho (316,61 / 94,70 = 3,34).
A pontuação do desafio fixa a baseline FBANK em 0 e o estado da arte de 15 de outubro de 2021 em 1000, então qualquer valor acima de 1000 supera aquele retrato. A pontuação geral do artigo do WavLM é outra escala, com o FBANK em 43,2, e as duas não devem ser comparadas. Enquanto isso, os dados de pré-treinamento cresceram das 94.000 horas do WavLM para milhões de horas, e a conta agora aparece em tempo de GPU.
| Métrica | Valor | Fonte |
|---|---|---|
| Pontuação geral do SUPERB, HuBERT Large vs WavLM Large (ambos com cerca de 316,6M de parâmetros) | 72,2 vs 74,6 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Pontuação geral do SUPERB, WavLM Base+ (94,70M de parâmetros) vs HuBERT Large (316,61M de parâmetros) | 73,4 vs 72,2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Áudio de pré-treinamento do WavLM | 94.000 horas (60.000 de Libri-Light, 10.000 de GigaSpeech, 24.000 de VoxPopuli) | Microsoft, WavLM, IEEE JSTSP 2022 |
| Pontuação do WavLM-large no conjunto oculto do desafio, com tamanho e computação | 1242 (315,45M de parâmetros, 4.326G MACs) | Feng et al., SUPERB @ SLT 2022 |
| Pontuação no conjunto oculto do desafio do maior envio, Unsupervised ASR + T5 (619,82M de parâmetros) | 848 | Feng et al., SUPERB @ SLT 2022 |
| Áudio de pré-treinamento do XLS-R em cinco conjuntos de dados | 436.000 horas | Mohamed et al., IEEE JSTSP 2022 |
| Tamanho do modelo XEUS e computação de pré-treinamento | 577M de parâmetros; mais de 1 milhão de horas de áudio; 63.000 horas de GPU em 64 GPUs A100 por cerca de 40 dias | Chen et al., XEUS, EMNLP 2024 |
| Áudio de pré-treinamento do Google Universal Speech Model | 12 milhões de horas em mais de 300 idiomas | Google, artigo do USM 2023 |
MACs (operações de multiplicação e acumulação) estimam quanta computação um modelo precisa para rodar. A linha do Google é apenas uma referência de escala: não encontramos pontuação SUPERB para esse modelo.
6. Rankings Multilíngues: O Ranking em Inglês Se Mantém?
Só em parte. O WavLM, líder no SUPERB em inglês, foi a baseline mais fraca no desafio multilíngue de 2025, com 72,0% de taxa de erro de caracteres contra 40,2% do XEUS. O artigo do desafio descreve esse modelo como exclusivo para inglês, o que sugere que a posição no ranking diz tanto sobre o áudio de pré-treinamento quanto sobre a arquitetura. Para ver como os codificadores de fala se comportam entre idiomas no nível de embeddings, veja nossas estatísticas de embeddings de fala multilíngues.
O ML-SUPERB reescala sua pontuação da mesma forma, com o FBANK em 0. A escala também sai pela culatra aqui: modelos grandes costumavam vencer em ASR de um único idioma, mas os autores constataram que modelos base tendem a generalizar melhor para casos multilíngues do que suas versões grandes. O desafio ML-SUPERB 2.0 mostra então os dialetos como a parte não resolvida, com a taxa de erro de caracteres do XEUS subindo de 40,2% para 68,7%.
| Métrica | Valor | Fonte |
|---|---|---|
| Áudio de treinamento do ML-SUPERB em 143 idiomas, conjunto de 10 minutos vs conjunto de 1 hora | 37,43 horas vs 222,46 horas | Shi et al., ML-SUPERB, Interspeech 2023 |
| Pontuação ML-SUPERB do XLSR-128, o melhor modelo, no conjunto de treinamento de 10 minutos vs no de 1 hora | 947,5 vs 996,0 | Shi et al., ML-SUPERB, Interspeech 2023 |
| Pontuação ML-SUPERB com 10 minutos, wav2vec2-base vs wav2vec2-large | 755,2 vs 598,3 | Shi et al., ML-SUPERB, Interspeech 2023 |
| Pontuação ML-SUPERB com 10 minutos / 1 hora: XEUS (577M de parâmetros, 1M de horas) vs MMS 1B (1B, 491K horas) vs w2v-BERT 2.0 v2 (580M, 4,5M de horas) | 956 / 956 vs 953 / 948 vs 826 / 916 | Chen et al., XEUS, EMNLP 2024 |
| Taxa de erro de caracteres em fala padrão, XEUS vs WavLM exclusivo para inglês | 40,2% vs 72,0% | Chen et al., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| Taxa de erro de caracteres do XEUS, fala padrão vs fala dialetal | 40,2% vs 68,7% | Chen et al., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
O w2v-BERT 2.0 v2 teve mais áudio de pré-treinamento nessa comparação e a menor pontuação, então mais horas, por si só, também não resolveram a questão. As pontuações do ML-SUPERB original e da comparação do XEUS devem ser lidas dentro de cada artigo, não entre eles.
7. Eficiência e Adoção no Mundo Real
Os modelos de ponta são caros, e uma linha de pesquisa agora tenta encolhê-los. O DistilHuBERT é o exemplo mais claro, mas os dados do desafio mostram o preço: com 27,03M de parâmetros ele marcou 617, contra 784 do HuBERT-base com 94,70M. O menor modelo do desafio marcou apenas 104, então a compressão ainda perde mais do que os percentuais de destaque sugerem.
O próprio benchmarking também tem sido um custo, e é isso que o MiniSUPERB ataca. As contagens de download trazem um sinal mais recente: o wav2vec2-base-960h é baixado mais do que o WavLM Large e o HuBERT Large, mesmo que o ranking o tenha colocado mais abaixo. Ser fácil de adotar, e ter chegado primeiro, pesa muito.
| Métrica | Valor | Fonte |
|---|---|---|
| DistilHuBERT em comparação com o HuBERT | 75% menor, 73% mais rápido | Chang et al., DistilHuBERT, ICASSP 2022 |
| Pontuação no conjunto oculto do desafio, DistilHuBERT (27,03M de parâmetros) vs HuBERT-base (94,70M de parâmetros) | 617 vs 784 | Feng et al., SUPERB @ SLT 2022 |
| Menor modelo do desafio, Chimera MelHuBERT v1 | 22,50M de parâmetros, 271G MACs, pontuação 104 | Feng et al., SUPERB @ SLT 2022 |
| Redução de computação do MiniSUPERB e sua correlação de postos com o desafio SUPERB | 97% menos MACs; Spearman 0,982 | Wang et al., MiniSUPERB, IEEE ASRU 2023 |
| GPUs necessárias: receitas do SUPERB vs receita oficial de ajuste fino do wav2vec 2.0 Large | 1 GPU vs cerca de 4 a 8 GPUs | Yang et al., IEEE/ACM TASLP 2024 |
| Downloads no último mês, facebook/wav2vec2-base-960h | 1.737.874 | Página do modelo no Hugging Face, 31 de outubro de 2026 |
| Downloads no último mês, microsoft/wavlm-large | 1.068.711 | Página do modelo no Hugging Face, 31 de outubro de 2026 |
| Downloads no último mês, facebook/hubert-large-ls960-ft | 616.230 | Página do modelo no Hugging Face, 31 de outubro de 2026 |
Um contador de downloads registra baixas, não pessoas, então leia essas linhas como sinal de atividade, não como contagem de usuários.
Resumo: o Ranking SUPERB de Modelos de Fala Autossupervisionados em Números
| Métrica | Valor | Fonte |
|---|---|---|
| WER com 10 minutos de rótulos, wav2vec 2.0 Large (test-clean / test-other) | 4,8% / 8,2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER com todas as 960 horas de rótulos, wav2vec 2.0 Large (test-clean / test-other) | 1,8% / 3,3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| Taxa de erro de fonemas, FBANK vs HuBERT Large | 82,01% vs 3,53% | Yang et al., SUPERB, Interspeech 2021 |
| WER de reconhecimento de fala no SUPERB, WavLM Large vs XEUS | 3,44% vs 3,34% | Chen et al., XEUS, EMNLP 2024 |
| Acurácia de reconhecimento de emoções no IEMOCAP, XEUS | 71,08% | Chen et al., XEUS, EMNLP 2024 |
| EER de verificação de locutor no VoxCeleb1-O, referência ECAPA-TDNN vs WavLM Large com ajuste fino | 1,010% vs 0,383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| BLEU de tradução de fala, FBANK vs HuBERT Large | 2,32 vs 20,01 | Tsai et al., SUPERB-SG, ACL 2022 |
| Modelos que superam o FBANK nas 15 tarefas | Cerca de metade de 33 | Yang et al., IEEE/ACM TASLP 2024 |
| Pontuação do WavLM-large no conjunto oculto do desafio | 1242 | Feng et al., SUPERB @ SLT 2022 |
| Pontuação geral do SUPERB, WavLM Base+ vs HuBERT Large | 73,4 vs 72,2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| Computação de pré-treinamento do XEUS | 63.000 horas de GPU | Chen et al., XEUS, EMNLP 2024 |
| Áudio de pré-treinamento do Google Universal Speech Model | 12 milhões de horas | Google, artigo do USM 2023 |
| Pontuação ML-SUPERB do XLSR-128 no conjunto de treinamento de 1 hora | 996,0 | Shi et al., ML-SUPERB, Interspeech 2023 |
| Taxa de erro de caracteres em fala padrão, XEUS vs WavLM exclusivo para inglês | 40,2% vs 72,0% | Chen et al., ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| DistilHuBERT em comparação com o HuBERT | 75% menor, 73% mais rápido | Chang et al., DistilHuBERT, ICASSP 2022 |
| Redução de computação do MiniSUPERB | 97% menos MACs | Wang et al., MiniSUPERB, IEEE ASRU 2023 |
| Downloads no último mês, facebook/wav2vec2-base-960h | 1.737.874 | Página do modelo no Hugging Face, 31 de outubro de 2026 |
Metodologia e Fontes
- SUPERB: Speech processing Universal PERformance Benchmark (Yang et al., Interspeech 2021)
- SUPERB-SG (Tsai et al., ACL 2022)
- A Large-Scale Evaluation of Speech Foundation Models (Yang et al., IEEE/ACM TASLP 2024)
- relatório do desafio SUPERB @ SLT 2022 (Feng et al., 2022)
- ML-SUPERB (Shi et al., Interspeech 2023)
- The ML-SUPERB 2.0 Challenge (Chen et al., Interspeech 2025)
- MiniSUPERB (Wang et al., IEEE ASRU 2023)
- wav2vec 2.0 (Meta AI, NeurIPS 2020)
- HuBERT (Meta AI, IEEE/ACM TASLP 2021)
- wav2vec-U (Meta AI, 2021)
- WavLM (Microsoft, IEEE JSTSP 2022)
- XEUS: Towards Robust Speech Representation Learning for Thousands of Languages (Chen et al., EMNLP 2024)
- Universal Speech Model (Google, 2023)
- DistilHuBERT (Chang et al., ICASSP 2022)
- Self-Supervised Speech Representation Learning: A Review (Mohamed et al., IEEE JSTSP 2022)
- Páginas de modelos do Hugging Face: facebook/wav2vec2-base-960h, microsoft/wavlm-large, facebook/hubert-large-ls960-ft (31 de outubro de 2026)
- Nota sobre os dados: o ranking SUPERB ao vivo não pôde ser lido em 31 de outubro de 2026 (o host recusou a conexão e a página do benchmark no GitHub não mostra pontuações), então todo número do SUPERB aqui vem dos artigos publicados e pode existir um envio mais novo. Aparecem três escalas de pontuação que não são intercambiáveis: a pontuação geral do artigo do WavLM, a pontuação do desafio (baseline 0, estado da arte de 15 de outubro de 2021 em 1000) e a pontuação do ML-SUPERB. A pontuação de 586,9 do wav2vec2-large no conjunto de 1 hora do ML-SUPERB vem acompanhada de um valor impresso de identificação de idioma de 8,0 na tabela daquele artigo, bem abaixo dos vizinhos, então essa diferença isolada deve ser lida com cuidado. As contagens de parâmetros variam um pouco entre artigos: 316,62M vs 315,45M para o WavLM Large e 94,70M vs 94,38M para o WavLM Base+. Pequenos conflitos dentro das fontes: o texto do SUPERB diz 5,10 para a verificação de locutor do HuBERT enquanto sua tabela diz 5,11 (usamos a tabela); o texto do XEUS dá 33,3 para sua melhor taxa de erro de caracteres em 10 minutos enquanto sua tabela dá 30,3 para o XEUS e 33,3 para o MMS 1B; o artigo do ML-SUPERB 2.0 afirma tanto 149 quanto 154 idiomas, e os ganhos de seu resumo não batem com sua seção 4.1, então reportamos apenas sua tabela de baseline. Os downloads do Hugging Face são uma contagem móvel do último mês e mudam diariamente. A maioria dos resultados do SUPERB data de 2021 a 2024, então trate-os como dados mais recentes disponíveis, não como medições de 2026.
Última atualização: 31 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão deve sair quando os resultados do próximo desafio ML-SUPERB forem publicados.