wav2vec 2.0은 전사된 음성 단 10분만으로 LibriSpeech test-clean에서 단어 오류율 4.8%에 도달했다 (Meta AI, wav2vec 2.0, NeurIPS 2020). 이는 사람이 전사한 텍스트 없이 먼저 원본 오디오로 학습한 뒤의 결과이며, 이러한 접근을 자기지도 학습이라고 한다. SUPERB @ SLT 2022 챌린지의 비공개 테스트 세트에서 WavLM-large는 2021년 10월 기준 최고 수준을 1000으로 두는 척도에서 1242점을 기록했다 (Feng 외, SUPERB @ SLT 2022). 그런데도 벤치마크된 33개 모델 중 모든 과제에서 고전적인 기준선을 앞선 것은 약 절반에 불과하다 (Yang 외, IEEE/ACM TASLP 2024). 오래된 체크포인트도 여전히 매일 쓰인다. facebook/wav2vec2-base-960h는 지난달 다운로드 수가 1,737,874였다 (Hugging Face, 2026년 10월 31일). 이 글은 SUPERB, SUPERB-SG, ML-SUPERB 벤치마크 논문, SUPERB @ SLT 2022 챌린지 보고서, wav2vec 2.0, WavLM, XEUS 모델 논문, 그리고 Hugging Face의 실시간 다운로드 카운터에서 데이터를 모았다. 이런 낮은 오류율이 보여주지 않는 부분은 음성 인식 환각률 정리에서 다룬다.
아래 모든 수치를 읽을 때의 참고 사항: SUPERB 점수는 대부분 2021년부터 2024년 사이의 것인데, 기록을 세운 것이 벤치마크 논문이기 때문이며 이번 업데이트에서는 실시간 리더보드에 접속할 수 없었다 (데이터 참고 사항 참조). 오류율은 낮을수록 좋고, 정확도와 SUPERB 점수는 높을수록 좋다.
요약
- wav2vec 2.0 Large는 레이블 10분으로 WER 4.8% / 8.2%를 기록해, 이전 최고 방법의 16.3% / 25.2%를 앞섰다 (Meta AI, wav2vec 2.0, NeurIPS 2020).
- wav2vec-U는 전사된 음성 없이도 test-other에서 WER 5.9%에 도달했다 (Meta AI, wav2vec-U 2021).
- IEEE 리뷰의 최고 수준 표에는 자기지도 사전 학습을 쓴 경우 LibriSpeech WER 1.4% / 2.6%, 쓰지 않은 경우 2.1% / 4.0%로 기재되어 있다 (Mohamed 외, IEEE JSTSP 2022).
- HuBERT Large는 음소 오류율을 FBANK 기준선의 82.01%에서 3.53%로 낮췄다 (Yang 외, SUPERB, Interspeech 2021).
- 감정 인식은 여전히 낮은 상한에 머물러 있으며, XEUS가 정확도 71.08%로 선두다 (Chen 외, XEUS, EMNLP 2024).
- 음성 번역 BLEU는 FBANK의 2.32에서 HuBERT Large의 20.01로 올랐다 (Tsai 외, SUPERB-SG, ACL 2022).
- 33개 모델 중 약 절반이 15개 과제 모두에서 FBANK를 앞선다 (Yang 외, IEEE/ACM TASLP 2024).
- WavLM Base+는 94.70M 파라미터로 종합 73.4점을 받아, 316.61M 파라미터의 HuBERT Large(72.2점)를 웃돌았다 (Microsoft, WavLM, IEEE JSTSP 2022).
- 챌린지에서 가장 큰 모델(619.82M 파라미터)은 848점으로, 315.45M 파라미터의 WavLM-large(1242점)에 못 미쳤다 (Feng 외, SUPERB @ SLT 2022).
- ML-SUPERB 10분 세트에서 wav2vec2-large는 598.3점, 더 작은 wav2vec2-base는 755.2점이었다 (Shi 외, ML-SUPERB, Interspeech 2023).
- DistilHuBERT는 HuBERT를 75% 작게, 73% 빠르게 만든다 (Chang 외, ICASSP 2022).
- microsoft/wavlm-large의 지난달 다운로드 수는 1,068,711이었다 (Hugging Face, 2026년 10월 31일).
1. 레이블 데이터: 960시간에서 10분으로
단어 오류율(WER)은 시스템이 틀리는 단어의 비율이며, 여기서 ‘레이블’은 사람이 작성한 전사본을 뜻한다. LibriSpeech에는 두 가지 표준 테스트 세트가 있는데, test-clean과 더 어려운 test-other다. 레이블 960시간에서 10분으로 줄이자 wav2vec 2.0의 test-other WER은 3.3%에서 8.2%로 올랐다. 960시간은 57,600분이므로, 전사된 오디오는 5,760분의 1(57,600 / 10)로 줄어든 반면 오류율은 약 2.5배(8.2 / 3.3)가 된 셈이다.
병목은 옮겨갔다. 예전에는 전사가 품질의 하한을 정했지만, wav2vec 2.0 이후 부족한 자원은 레이블 없는 오디오와 GPU 시간이 되었다. test-other의 8.2%는 이전 최고 방법의 25.2%보다 약 67% 낮으며 ((25.2 - 8.2) / 25.2), IEEE 리뷰는 저자원 Libri-light 부분집합만으로 LibriSpeech에서 한 자릿수 WER에 도달한 최초의 모델로 평가한다.
| 지표 | 값 | 출처 |
|---|---|---|
| 레이블 10분일 때 WER, wav2vec 2.0 Large 대 이전 최고 모델 Discrete BERT (test-clean / test-other) | 4.8% / 8.2% 대 16.3% / 25.2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| 레이블 10분일 때 WER, HuBERT X-Large (test-clean / test-other) | 4.6% / 6.8% | Meta AI, HuBERT, IEEE/ACM TASLP 2021 |
| 레이블 1시간일 때 test-other WER, wav2vec 2.0 Large 대 WavLM Large | 5.8% 대 5.1% | Microsoft, WavLM, IEEE JSTSP 2022 |
| 레이블 10시간일 때 WER, HuBERT Large와 WavLM Large (둘 다 test-clean / test-other) | 2.4% / 4.6% | Microsoft, WavLM, IEEE JSTSP 2022 |
| LibriSpeech 레이블 960시간 전체를 쓴 WER, wav2vec 2.0 Large (test-clean / test-other) | 1.8% / 3.3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| 전사된 음성 없이 얻은 test-other WER, wav2vec-U | 5.9% | Meta AI, wav2vec-U 2021 |
| 리뷰의 최고 수준 표에 나온 LibriSpeech WER, 자기지도 사전 학습 없음 대 있음 (test-clean / test-other) | 2.1% / 4.0% 대 1.4% / 2.6% | Mohamed 외, IEEE JSTSP 2022 |
이 비교는 완전히 동일한 조건은 아니다. Discrete BERT는 4-gram 언어 모델을 썼고, 위의 wav2vec 2.0, HuBERT, WavLM 행은 디코딩에 Transformer 언어 모델을 쓴다. 마지막 행의 자기지도 결과는 conformer XXL 모델과 noisy student 자기 학습을 결합한 것이다. 이용 가능한 최신 데이터: Meta AI와 Microsoft 논문, 2020년부터 2022년.
2. SUPERB 콘텐츠 과제: 무슨 말을 했는지 인식하기
SUPERB는 10개 과제와 하나의 엄격한 규칙으로 시작했다. 사전 학습된 모델은 고정된 채 두고 작은 과제용 헤드만 학습시킨다. 기준선은 FBANK로, 사전 학습이 전혀 없는 고전적인 필터 뱅크 오디오 특징이다. HuBERT Large는 음소 오류율을 82.01%에서 3.53%로 낮췄다. 음소 오류율은 WER과 같은 개념으로, 단어 대신 말소리 단위로 센 것이다.
헤드라인 격차는 한 가지를 과장한다. 논문에 따르면 FBANK는 선형 헤드로 제한된 과제에서는 작동할 수 없으며, 이것이 키워드 검출에서 8.63%라는 낮은 점수가 나오는 이유다. ASR에서 비선형 헤드를 쓰면 FBANK도 충분히 경쟁력이 있어서 그 23.18%가 더 공정한 하한이다. 예시 기반 검색(query by example)은 오디오 샘플로 발화된 용어를 찾는 과제로 최대 용어 가중 값(MTWV)으로 채점하며, 이 그룹에서 절대 수치가 가장 낮다. 원 논문의 최고 점수는 0.0736이었다.
| 지표 | 값 | 출처 |
|---|---|---|
| LibriSpeech 음소 오류율, FBANK 기준선 대 HuBERT Large | 82.01% 대 3.53% | Yang 외, SUPERB, Interspeech 2021 |
| Speech Commands 키워드 검출 정확도, FBANK 대 wav2vec 2.0 Large | 8.63% 대 96.66% | Yang 외, SUPERB, Interspeech 2021 |
| 언어 모델 없는 자동 음성 인식 WER, FBANK 대 HuBERT Large | 23.18% 대 3.62% | Yang 외, SUPERB, Interspeech 2021 |
| 예시 기반 검색 MTWV 점수, FBANK 대 HuBERT Base | 0.0058 대 0.0736 | Yang 외, SUPERB, Interspeech 2021 |
| SUPERB 자동 음성 인식 WER, WavLM Large 대 XEUS | 3.44% 대 3.34% | Chen 외, XEUS, EMNLP 2024 |
| SUPERB 키워드 검출 정확도, WavLM Large 대 XEUS | 97.86% 대 98.32% | Chen 외, XEUS, EMNLP 2024 |
여기서 가장 최근의 영어 SUPERB 수치는 XEUS에서 나온 것이고, 격차는 얇아졌다. ASR에서는 0.10퍼센트포인트다. 이 과제군은 포화에 가까워 보인다.
3. 화자, 의도, 감정 과제
화자 과제는 무슨 말을 했는지가 아니라 누가 말하는지를 묻기 때문에, 표현이 단어 이상의 정보를 보존했는지를 시험한다. 화자 식별은 FBANK에서 사실상 0에 가깝던 것이 HuBERT Large에서는 90.33%까지 올랐다. 미세 조정한 WavLM Large는 VoxCeleb1-O에서 동일 오류율 0.383%에 도달했고, 기준 시스템인 ECAPA-TDNN은 1.010%였다. 동일 오류율(EER)은 오수락과 오거부가 같아지는 동작점이며, 낮을수록 좋다.
감정은 예외다. IEMOCAP의 4개 클래스 감정 인식 정확도는 WavLM Large와 XEUS 사이에서 거의 움직이지 않았고, 최고 점수조차 10개 클립 중 3개 가까이를 틀린다. 실용적인 한계는 음성 감정 인식 정확도 통계에서 다룬다. 화자 분할 행은 서로 다른 데이터셋을 쓰므로, 비교하기 전에 화자 분할 오류율 정리를 참고하라. 화자 분할 오류율(DER)은 오디오 시간 중 ‘누가 언제 말했는가’를 틀린 비율을 측정한다.
| 지표 | 값 | 출처 |
|---|---|---|
| VoxCeleb1 화자 식별 정확도, FBANK 대 HuBERT Large | 8.5E-4 대 90.33 (퍼센트) | Yang 외, SUPERB, Interspeech 2021 |
| Fluent Speech Commands 의도 분류 정확도, FBANK 대 HuBERT Large | 9.10% 대 98.76% | Yang 외, SUPERB, Interspeech 2021 |
| 리뷰의 최고 수준 표에 나온 의도 분류 정확도, 자기지도 사전 학습 없음 대 있음 | 98.8% 대 99.3% | Mohamed 외, IEEE JSTSP 2022 |
| 2인 화자 LibriMix 화자 분할 DER, WavLM Large 대 XEUS | 3.24% 대 3.11% | Chen 외, XEUS, EMNLP 2024 |
| IEMOCAP 감정 인식 정확도 (4개 클래스), WavLM Large 대 XEUS | 70.62% 대 71.08% | Chen 외, XEUS, EMNLP 2024 |
| VoxCeleb1-O 화자 검증 EER, ECAPA-TDNN 기준 대 큰 마진 미세 조정과 점수 보정을 적용한 WavLM Large | 1.010% 대 0.383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| CALLHOME 전화 통화 화자 분할 DER, EEND-EDA 클러스터링 대 WavLM Large | 11.84% 대 10.35% | Microsoft, WavLM, IEEE JSTSP 2022 |
화자 검증 행에서는 방법이 바뀌었다는 점에 유의하라. 이 결과는 SUPERB의 고정 설정이 아니라 미세 조정에서 나온 것이므로 리더보드 점수가 아니다. IEEE 리뷰는 최상위에서 격차가 얼마나 작아질 수 있는지도 보여주는데, 의도 분류에서는 0.5퍼센트포인트다.
4. SUPERB-SG와 15개 과제 벤치마크: 자기지도가 더는 도움이 되지 않는 지점
SUPERB-SG는 의미론과 생성 분야의 더 어려운 과제 다섯 개를 추가했다. 번역에서 가장 큰 도약이 나타난다. 번역 품질 점수인 BLEU는 2.32에서 20.01로 올랐다. 음성 변환도 크게 좋아지는데, 여기서는 변환된 오디오에서 인식기가 몇 개의 단어를 틀리는지로 측정한다.
그다음부터는 이득이 멈춘다. 음성 향상과 음성 분리는 저수준 신호 세부 정보에 의존하며, 저자들은 이 두 과제가 나머지 과제와 강하게 상관되지 않는다는 점을 발견했다. 실제로 wav2vec 2.0 Large는 PESQ 음질 점수에서 FBANK보다 낮다. 학술지 버전은 이를 대규모로 확인한다. 음성을 요약하도록 만든 모델이 음성을 재구성하는 데 자동으로 뛰어난 것은 아니다. 이 그림의 분리 측면은 음성 분리 통계를 참고하라.
| 지표 | 값 | 출처 |
|---|---|---|
| CoVoST2 음성 번역 BLEU (영어에서 독일어), FBANK 대 HuBERT Large | 2.32 대 20.01 | Tsai 외, SUPERB-SG, ACL 2022 |
| 도메인 외 음성 인식 WER (스페인어, 중국어 표준어, 아랍어, 자발적 영어), FBANK 대 HuBERT Large | 63.58% 대 44.08% | Tsai 외, SUPERB-SG, ACL 2022 |
| VCC2020에서 음성 변환된 음성의 WER, FBANK 대 HuBERT Large | 38.3% 대 9.0% | Tsai 외, SUPERB-SG, ACL 2022 |
| 음성 분리 SI-SDRi 점수 (신호 품질 개선, 높을수록 좋음), FBANK 대 HuBERT Large | 9.23 대 10.45 | Tsai 외, SUPERB-SG, ACL 2022 |
| Voicebank-DEMAND 음성 향상 PESQ 점수, FBANK 대 wav2vec 2.0 Large 대 HuBERT Large | 2.55 대 2.52 대 2.64 | Tsai 외, SUPERB-SG, ACL 2022 |
| ASR과 과제 결과의 상관, 음성 번역과 도메인 외 ASR 각각 | 각각 0.92 | Tsai 외, SUPERB-SG, ACL 2022 |
| 벤치마크한 33개 모델 중 15개 과제 모두에서 FBANK를 앞서는 모델의 비중 | 약 절반 | Yang 외, IEEE/ACM TASLP 2024 |
| 나머지 모델이 FBANK에 뒤처지는 과제 | 15개 중 약 1~3개, 가장 흔한 것은 음성 향상과 음성 분리 | Yang 외, IEEE/ACM TASLP 2024 |
도메인 외 행은 눈여겨볼 만하다. HuBERT Large는 이 네 가지 하위 과제 전체에서 평균 오류율이 여전히 44.08%이며(중국어 표준어는 문자 오류율로 채점), 영어 LibriSpeech에서의 3.62%를 크게 웃돈다.
5. 스케일링: 파라미터, 사전 학습 시간, 리더보드
SUPERB @ SLT 2022 챌린지에서 가장 큰 모델은 WavLM-large의 약 두 배에 달하는 파라미터를 가졌지만 점수는 394점 낮았다 (1242 - 848). 크기가 사주는 것은 학습 방식이 사주는 것보다 적다. 가장 깔끔한 증거는 WavLM Base+로, Base 크기인 94.70M 파라미터를 유지하면서 더 다양한 학습 오디오를 추가해 3배가 넘는 크기의 모델을 앞섰다 (316.61 / 94.70 = 3.34).
챌린지 점수는 FBANK 기준선을 0, 2021년 10월 15일 기준 최고 수준을 1000으로 고정하므로, 1000을 넘으면 그 시점의 기록을 앞선 것이다. WavLM 논문의 종합 점수는 FBANK가 43.2인 별개의 척도이며, 둘을 비교해서는 안 된다. 한편 사전 학습 데이터는 WavLM의 94,000시간에서 수백만 시간으로 늘었고, 그 청구서는 이제 GPU 시간으로 나타난다.
| 지표 | 값 | 출처 |
|---|---|---|
| SUPERB 종합 점수, HuBERT Large 대 WavLM Large (둘 다 약 316.6M 파라미터) | 72.2 대 74.6 | Microsoft, WavLM, IEEE JSTSP 2022 |
| SUPERB 종합 점수, WavLM Base+ (94.70M 파라미터) 대 HuBERT Large (316.61M 파라미터) | 73.4 대 72.2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| WavLM 사전 학습 오디오 | 94,000시간 (Libri-Light 60,000, GigaSpeech 10,000, VoxPopuli 24,000) | Microsoft, WavLM, IEEE JSTSP 2022 |
| WavLM-large의 비공개 세트 챌린지 점수, 크기와 연산량 포함 | 1242 (315.45M 파라미터, 4,326G MAC) | Feng 외, SUPERB @ SLT 2022 |
| 가장 큰 제출 모델 Unsupervised ASR + T5 (619.82M 파라미터)의 비공개 세트 챌린지 점수 | 848 | Feng 외, SUPERB @ SLT 2022 |
| 데이터셋 다섯 개에 걸친 XLS-R 사전 학습 오디오 | 436,000시간 | Mohamed 외, IEEE JSTSP 2022 |
| XEUS 모델 크기와 사전 학습 연산량 | 577M 파라미터, 100만 시간 이상의 오디오, A100 GPU 64장으로 약 40일간 63,000 GPU 시간 | Chen 외, XEUS, EMNLP 2024 |
| Google Universal Speech Model 사전 학습 오디오 | 300개 이상 언어에 걸친 12백만 시간 | Google, USM 논문 2023 |
MAC(곱셈-누산 연산)은 모델을 실행하는 데 필요한 연산량을 추정한다. Google 행은 규모를 가늠하기 위한 참고용일 뿐이며, 해당 모델의 SUPERB 점수는 찾지 못했다.
6. 다국어 리더보드: 영어 순위가 그대로 통할까
부분적으로만 그렇다. 영어 SUPERB의 선두권이던 WavLM은 2025년 다국어 챌린지에서 가장 약한 기준 모델이었고, 문자 오류율은 XEUS의 40.2%에 비해 72.0%였다. 챌린지 논문은 이 모델을 영어 전용으로 설명하는데, 이는 리더보드 순위가 아키텍처만큼이나 사전 학습 오디오에 대해서도 말해준다는 점을 시사한다. 음성 인코더가 임베딩 수준에서 언어별로 어떻게 동작하는지는 다국어 음성 임베딩 통계를 참고하라.
ML-SUPERB도 같은 방식으로 점수를 재조정하며 FBANK가 0이다. 여기서는 스케일링이 역효과를 내기도 한다. 큰 모델은 대개 단일 언어 ASR에서 이겼지만, 저자들은 베이스 모델이 대형 버전보다 다국어 사례에 더 잘 일반화되는 경향이 있음을 발견했다. 이어지는 ML-SUPERB 2.0 챌린지는 방언이 미해결 영역임을 보여주며, XEUS의 문자 오류율은 40.2%에서 68.7%로 올라간다.
| 지표 | 값 | 출처 |
|---|---|---|
| 143개 언어에 걸친 ML-SUPERB 학습 오디오, 10분 세트 대 1시간 세트 | 37.43시간 대 222.46시간 | Shi 외, ML-SUPERB, Interspeech 2023 |
| 최상위 모델 XLSR-128의 ML-SUPERB 점수, 10분 학습 세트 대 1시간 학습 세트 | 947.5 대 996.0 | Shi 외, ML-SUPERB, Interspeech 2023 |
| 10분일 때 ML-SUPERB 점수, wav2vec2-base 대 wav2vec2-large | 755.2 대 598.3 | Shi 외, ML-SUPERB, Interspeech 2023 |
| 10분 / 1시간일 때 ML-SUPERB 점수: XEUS (577M 파라미터, 1M 시간) 대 MMS 1B (1B, 491K 시간) 대 w2v-BERT 2.0 v2 (580M, 4.5M 시간) | 956 / 956 대 953 / 948 대 826 / 916 | Chen 외, XEUS, EMNLP 2024 |
| 표준 발화의 문자 오류율, XEUS 대 영어 전용 WavLM | 40.2% 대 72.0% | Chen 외, ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| XEUS의 문자 오류율, 표준 발화 대 방언 발화 | 40.2% 대 68.7% | Chen 외, ML-SUPERB 2.0 Challenge, Interspeech 2025 |
w2v-BERT 2.0 v2는 이 비교에서 사전 학습 오디오가 가장 많았는데도 점수는 가장 낮았으므로, 시간 수만으로도 결판이 나지 않았다. 원래 ML-SUPERB와 XEUS 비교의 점수는 논문 간이 아니라 각 논문 안에서 읽어야 한다.
7. 효율성과 실제 도입
선두 모델은 비싸고, 이제는 이를 줄이려는 연구 흐름이 있다. DistilHuBERT가 가장 분명한 사례이지만, 챌린지 데이터는 그 대가를 보여준다. 27.03M 파라미터에서 617점을 받았고, 94.70M 파라미터인 HuBERT-base는 784점이었다. 챌린지에서 가장 작은 모델은 겨우 104점이어서, 압축은 헤드라인 퍼센트가 시사하는 것보다 더 많이 잃는다.
벤치마킹 자체도 비용이었고, MiniSUPERB가 겨냥하는 것이 바로 그 부분이다. 다운로드 수는 더 최근의 신호를 보탠다. wav2vec2-base-960h는 리더보드에서 더 낮게 평가되었는데도 WavLM Large와 HuBERT Large보다 더 많이 내려받는다. 도입하기 쉽다는 점, 그리고 먼저 나왔다는 점이 크게 작용한다.
| 지표 | 값 | 출처 |
|---|---|---|
| DistilHuBERT와 HuBERT 비교 | 75% 작고 73% 빠름 | Chang 외, DistilHuBERT, ICASSP 2022 |
| 비공개 세트 챌린지 점수, DistilHuBERT (27.03M 파라미터) 대 HuBERT-base (94.70M 파라미터) | 617 대 784 | Feng 외, SUPERB @ SLT 2022 |
| 챌린지에서 가장 작은 모델, Chimera MelHuBERT v1 | 22.50M 파라미터, 271G MAC, 점수 104 | Feng 외, SUPERB @ SLT 2022 |
| MiniSUPERB의 연산량 절감과 SUPERB 챌린지와의 순위 상관 | MAC 97% 감소, Spearman 0.982 | Wang 외, MiniSUPERB, IEEE ASRU 2023 |
| 필요한 GPU: SUPERB 방식 대 wav2vec 2.0 Large 공식 미세 조정 방식 | GPU 1장 대 약 4~8장 | Yang 외, IEEE/ACM TASLP 2024 |
| 지난달 다운로드 수, facebook/wav2vec2-base-960h | 1,737,874 | Hugging Face 모델 페이지, 2026년 10월 31일 |
| 지난달 다운로드 수, microsoft/wavlm-large | 1,068,711 | Hugging Face 모델 페이지, 2026년 10월 31일 |
| 지난달 다운로드 수, facebook/hubert-large-ls960-ft | 616,230 | Hugging Face 모델 페이지, 2026년 10월 31일 |
다운로드 카운터는 사람이 아니라 내려받은 횟수를 기록하므로, 이 행들은 사용자 수가 아니라 활동의 신호로 읽어야 한다.
숫자로 보는 자기지도 음성 모델 SUPERB 리더보드
| 지표 | 값 | 출처 |
|---|---|---|
| 레이블 10분일 때 WER, wav2vec 2.0 Large (test-clean / test-other) | 4.8% / 8.2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| 레이블 960시간 전체를 쓴 WER, wav2vec 2.0 Large (test-clean / test-other) | 1.8% / 3.3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| 음소 오류율, FBANK 대 HuBERT Large | 82.01% 대 3.53% | Yang 외, SUPERB, Interspeech 2021 |
| SUPERB 음성 인식 WER, WavLM Large 대 XEUS | 3.44% 대 3.34% | Chen 외, XEUS, EMNLP 2024 |
| IEMOCAP 감정 인식 정확도, XEUS | 71.08% | Chen 외, XEUS, EMNLP 2024 |
| VoxCeleb1-O 화자 검증 EER, ECAPA-TDNN 기준 대 미세 조정한 WavLM Large | 1.010% 대 0.383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| 음성 번역 BLEU, FBANK 대 HuBERT Large | 2.32 대 20.01 | Tsai 외, SUPERB-SG, ACL 2022 |
| 15개 과제 모두에서 FBANK를 앞서는 모델 | 33개 중 약 절반 | Yang 외, IEEE/ACM TASLP 2024 |
| WavLM-large의 비공개 세트 챌린지 점수 | 1242 | Feng 외, SUPERB @ SLT 2022 |
| SUPERB 종합 점수, WavLM Base+ 대 HuBERT Large | 73.4 대 72.2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| XEUS 사전 학습 연산량 | 63,000 GPU 시간 | Chen 외, XEUS, EMNLP 2024 |
| Google Universal Speech Model 사전 학습 오디오 | 12백만 시간 | Google, USM 논문 2023 |
| 1시간 학습 세트에서 XLSR-128의 ML-SUPERB 점수 | 996.0 | Shi 외, ML-SUPERB, Interspeech 2023 |
| 표준 발화의 문자 오류율, XEUS 대 영어 전용 WavLM | 40.2% 대 72.0% | Chen 외, ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| DistilHuBERT와 HuBERT 비교 | 75% 작고 73% 빠름 | Chang 외, DistilHuBERT, ICASSP 2022 |
| MiniSUPERB의 연산량 절감 | MAC 97% 감소 | Wang 외, MiniSUPERB, IEEE ASRU 2023 |
| 지난달 다운로드 수, facebook/wav2vec2-base-960h | 1,737,874 | Hugging Face 모델 페이지, 2026년 10월 31일 |
방법론과 출처
- SUPERB: Speech processing Universal PERformance Benchmark (Yang 외, Interspeech 2021)
- SUPERB-SG (Tsai 외, ACL 2022)
- A Large-Scale Evaluation of Speech Foundation Models (Yang 외, IEEE/ACM TASLP 2024)
- SUPERB @ SLT 2022 챌린지 보고서 (Feng 외, 2022)
- ML-SUPERB (Shi 외, Interspeech 2023)
- The ML-SUPERB 2.0 Challenge (Chen 외, Interspeech 2025)
- MiniSUPERB (Wang 외, IEEE ASRU 2023)
- wav2vec 2.0 (Meta AI, NeurIPS 2020)
- HuBERT (Meta AI, IEEE/ACM TASLP 2021)
- wav2vec-U (Meta AI, 2021)
- WavLM (Microsoft, IEEE JSTSP 2022)
- XEUS: Towards Robust Speech Representation Learning for Thousands of Languages (Chen 외, EMNLP 2024)
- Universal Speech Model (Google, 2023)
- DistilHuBERT (Chang 외, ICASSP 2022)
- Self-Supervised Speech Representation Learning: A Review (Mohamed 외, IEEE JSTSP 2022)
- Hugging Face 모델 페이지: facebook/wav2vec2-base-960h, microsoft/wavlm-large, facebook/hubert-large-ls960-ft (2026년 10월 31일)
- 데이터 참고 사항: 실시간 SUPERB 리더보드는 2026년 10월 31일에 읽을 수 없었으므로(호스트가 연결을 거부했고 벤치마크의 GitHub 페이지에는 점수가 표시되지 않는다), 여기에 실린 모든 SUPERB 수치는 공개된 논문에서 가져온 것이며 더 새로운 제출 결과가 있을 수 있다. 세 가지 점수 척도가 등장하며 서로 바꿔 쓸 수 없다. WavLM 논문의 종합 점수, 챌린지 점수(기준선 0, 2021년 10월 15일 기준 최고 수준 1000), 그리고 ML-SUPERB 점수다. ML-SUPERB 1시간 세트에서 wav2vec2-large의 586.9점은 해당 논문 표에 인쇄된 언어 식별 값 8.0 다음에 따라 나오는데, 이는 인접한 값들보다 훨씬 낮으므로 이 단독 격차는 주의해서 읽어야 한다. 파라미터 수는 논문마다 약간씩 다르다. WavLM Large는 316.62M 대 315.45M, WavLM Base+는 94.70M 대 94.38M이다. 출처 내부의 사소한 불일치: SUPERB 본문은 HuBERT 화자 검증을 5.10이라고 쓰지만 표에는 5.11로 되어 있다(여기서는 표를 사용했다). XEUS 본문은 10분에서의 최고 문자 오류율을 33.3이라고 쓰지만 표에는 XEUS가 30.3, MMS 1B가 33.3으로 되어 있다. ML-SUPERB 2.0 논문은 149개 언어와 154개 언어를 모두 언급하고, 초록의 개선 폭은 4.1절과 맞지 않으므로 기준선 표만 보고한다. Hugging Face 다운로드 수는 지난 한 달의 롤링 집계이며 매일 바뀐다. SUPERB 결과 대부분은 2021년부터 2024년의 것이므로 2026년 측정값이 아니라 이용 가능한 최신 데이터로 취급하라.
마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 다음 ML-SUPERB 챌린지 결과가 공개될 때 이루어질 것으로 예상한다.