상용 음성 인식 시스템 5개의 평균 단어 오류율(WER)은 흑인 화자 0.35, 백인 화자 0.19였다(Stanford, Koenecke 외, PNAS 2020). 2026년에 발표된 연구에서도 상용 4개 시스템의 평균 WER이 20% 대 15%로 여전히 격차가 확인되었다(University of Washington, Scott 외, LREC 2026). 벤치마크는 이 격차를 가린다. Whisper large는 LibriSpeech test-clean에서 2.7%이지만, 국제 영어 억양 코퍼스에서는 19.7%로 올라간다(University of Edinburgh, EdAcc 논문 2023). 파킨슨병과 관련된 마비말장애 화자의 경우, 일반 발화에서 오류율 3.4%를 내는 인식기가 36.3%의 오류를 낸다(Speech Accessibility Project, JSLHR 2024). 우리는 PNAS, OpenAI의 Whisper 논문, Meta의 Fair-Speech 데이터셋, Speech Accessibility Project, Mozilla Common Voice, 그 밖의 십여 개 이상의 동료 심사 출처에서 데이터를 모으되 각 출처의 표기를 그대로 유지했다(WER을 0.35 같은 분수로 보고하는 곳도 있고, 대부분은 19.7% 같은 백분율로 보고한다). 같은 지표가 실시간 자막 정확도 규칙의 바탕에 놓여 있으며, 그래서 WER의 몇 포인트 차이가 연구실 밖에서도 중요하다.
요약
- 상용 ASR 5개 시스템의 평균 WER은 흑인 화자 0.35, 백인 화자 0.19였고, WER 0.5를 넘어 쓸 수 없는 음성 조각은 23% 대 1.6%였다(Stanford, Koenecke 외, PNAS 2020).
- 상용 4개 시스템의 평균 WER은 아프리카계 미국인 화자 20%, 백인계 미국인 화자 15%로, 상대적으로 33% 증가한 수치였다(University of Washington, Scott 외, LREC 2026).
- Whisper large의 WER은 LibriSpeech test-clean에서 2.7%, 억양이 있는 영어의 EdAcc 테스트 세트에서 19.7%였다(University of Edinburgh, EdAcc 논문 2023).
- 음성 명령에서 Whisper-large-v2는 흑인 또는 아프리카계 미국인 화자 9.52, 백인 화자 3.96을 기록했다(Meta, Fair-Speech Dataset 2024).
- 네덜란드어 인식기는 원어민 화자 26.1%에 비해 비원어민 낭독 음성에서 WER 55.9%에 달했다(TU Delft, Feng 외, Quantifying Bias in ASR 2021).
- 마비말장애 발화는 기준 WER을 3.4%에서 36.3%로 끌어올렸고, 미세 조정으로 23.7%까지 낮아졌다(Speech Accessibility Project, JSLHR 2024).
- Interspeech 2025 Speech Accessibility Project Challenge에서 최고 시스템은 WER 8.11%에 도달했고, whisper-large-v2 기준 모델은 17.82%였다(Zheng 외, Interspeech 2025).
- ASR 6개 시스템의 말더듬 발화 평균 WER은 .281이었고, 비유창성을 제거하면 .105였다(Mujtaba 외, NAACL 2024).
- Common Voice Scripted Speech v27.0은 295개 언어에서 검증된 29,295시간을 보유하고 있지만, 세계의 언어는 7,000개 이상이다(Mozilla Common Voice 2026, Pratap 외, MMS 논문 2023).
- AWS General Transcribe의 WER 중앙값은 재택 의료 흑인 환자 50%, 백인 환자 33%였다(P = 0.016)(Zolnoori 외, JAMIA Open 2024).
- 정확도 95%로 인증받은 법정 속기사도 아프리카계 미국인 영어에서는 평균 82.9%의 단어 정확도에 그쳤다(Jones 외, Language 2019).
- 2주간의 일기 조사에 참여한 아프리카계 미국인의 93%가 음성 기술이 알아듣게 하려고 자신의 방언을 바꿨다(Mengesha 외, Frontiers in Artificial Intelligence 2021).
1. 상용 및 오픈 ASR의 인종·방언 격차
기준이 되는 수치는 6년 전의 것이지만 더 나은 증거로 폐기되지 않았다. Amazon, Apple, Google, IBM, Microsoft를 대상으로 한 PNAS 감사에서 평균 WER은 흑인 화자 0.35, 백인 화자 0.19로, 격차는 0.16(0.35 빼기 0.19)이었다. 이는 나이와 성별을 맞춘 흑인 화자 73명과 백인 화자 42명의 음성 19.8시간으로 측정한 것이다. 동일한 문구에서도 격차가 남았기 때문에 저자들은 문제의 소재를 음향 모델에서 찾았다. 가장 좋은 시스템인 Microsoft는 짝을 맞춘 발화에서 0.13 대 0.07이었다. 5개 업체 감사에서 확인할 수 있는 가장 최근 데이터: Koenecke 외, PNAS 2020.
서로 다른 코퍼스에서 나온 더 새로운 증거는 전체적인 오류율은 낮아졌지만 격차는 좁혀지지 않았음을 보여준다. University of Washington 팀은 상용 4개 시스템에서 아프리카계 미국인 화자의 오류가 상대적으로 33% 늘었다고 보고하며, Meta 자체의 음성 명령 데이터셋에서는 Whisper-large-v2가 흑인 또는 아프리카계 미국인 화자 9.52, 백인 화자 3.96을 보인다. 워싱턴 팀은 자신들의 오류를 방언 간 모음 품질의 차이와 연결하는데, 이는 2020년의 음향 모델 진단과 맞닿아 있다.
| 지표 | 값 | 출처 |
|---|---|---|
| 평균 WER, 흑인 대 백인 화자, 상용 5개 시스템 | 0.35 대 0.19 | Stanford (Koenecke 외), PNAS 2020 |
| 최고 및 최악의 업체, 흑인 대 백인 화자 | Microsoft 0.27 대 0.15, Apple 0.45 대 0.23 | Stanford (Koenecke 외), PNAS 2020 |
| WER 0.5를 넘는 음성 조각(쓸 수 없는 받아쓰기) | 흑인 화자 음성 조각의 23% 대 백인 화자의 1.6% | Stanford (Koenecke 외), PNAS 2020 |
| 평균 WER, 아프리카계 미국인 대 백인계 미국인 화자, 상용 4개 시스템 | 20% 대 15% (상대적 33% 증가) | University of Washington (Scott 외), LREC 2026 |
| 평균 WER, ChicanX와 Yakama 화자, 같은 4개 시스템 | 23%와 21% | University of Washington (Scott 외), LREC 2026 |
| WER, 흑인 또는 아프리카계 미국인 대 백인 화자, Whisper-large-v2와 Whisper-small | 9.52 대 3.96, 16.99 대 4.51 | Meta (Veliche 외), Fair-Speech Dataset 2024 |
| 민족 집단 간 상대적 WER 격차, Whisper-large-v2 대 Meta의 준지도 학습 영상 모델 | 61.13% 대 31.04% | Meta (Veliche 외), Fair-Speech Dataset 2024 |
배경: 워싱턴의 평가는 화자 16명(집단당 4명)을 사용했으며, 논문이 LREC 2026 논문집에 실렸음에도 2022년 시점의 시스템 성능을 반영한다. Fair-Speech는 미국 화자 593명과 약 26.5K 발화를 담고 있으며, 저자들은 Whisper 모델의 경우 측정한 모든 차원에서 상대적 격차가 40%보다 크다고 밝힌다.
2. 벤치마크 WER과 실제 발화
헤드라인 벤치마크는 대화가 아니라 깨끗한 낭독 음성이다. Whisper 논문은 자체 표로 이 점을 보여준다. LibriSpeech Clean에서 2.7을 기록하는 같은 모델이 CHiME6에서는 25.5, 아프리카계 미국인 언어 인터뷰 코퍼스인 CORAAL에서는 16.2를 기록한다. Whisper large의 WER은 LibriSpeech test-clean의 2.7%에서 EdAcc의 19.7%로 뛴다. EdAcc는 자기 보고 기준 40가지가 넘는 영어 억양을 가진 친구들이 화상 통화로 나눈 대화를 모은 세트다.
그래도 이것은 견고한 모델이다. LibriSpeech에서 2.9를 기록한 wav2vec 2.0 시스템은 같은 억양 대화에서 36.1%에 달했다. 말하는 방식만으로도 수치가 움직인다. 네덜란드어 인식기는 같은 화자 집단에서 낭독 음성 평균 WER 36.2%, 사람과 기계의 상호작용 음성 47.5%를 기록했다(TU Delft, Feng 외, Quantifying Bias in ASR 2021).
| 지표 | 값 | 출처 |
|---|---|---|
| Whisper Large V2의 WER, LibriSpeech Clean | 2.7 | OpenAI (Radford 외), Whisper 논문 2022 |
| Whisper Large V2의 WER, CHiME6와 CORAAL | 25.5와 16.2 | OpenAI (Radford 외), Whisper 논문 2022 |
| 논문 표 2의 데이터셋 전체 평균 WER, wav2vec 2.0 Large 대 Whisper Large V2 | 29.3 대 12.8 (평균 55.2% 상대적 오류 감소) | OpenAI (Radford 외), Whisper 논문 2022 |
| Whisper large의 WER, EdAcc 테스트 대 LibriSpeech test-clean | 19.7% 대 2.7% | University of Edinburgh (Sanabria 외), EdAcc 논문 2023 |
| wav2vec 2.0과 상용 시스템의 WER, EdAcc 테스트 대 LibriSpeech test-clean | 36.1 대 2.9, 18.7 대 3.8 | University of Edinburgh (Sanabria 외), EdAcc 논문 2023 |
| 최고 평균 WER, 영어 단편 트랙, 같은 트랙의 Whisper Large v3 | 5.42, 7.44 | Open ASR Leaderboard 논문 (Srivastav 외), v4 2026년 3월 |
| 벤치마크 대상 시스템 | 26개 기관의 86개 시스템을 12개 데이터셋에서 평가, 74개는 오픈 소스 | Open ASR Leaderboard 논문 (Srivastav 외), v4 2026년 3월 |
배경: Open ASR Leaderboard는 선별된 테스트 세트에 대한 평균을 보고하며, 우리가 읽은 표에는 화자 인구통계별 분류가 없다. 따라서 평균 5.42라는 수치는 분포의 꼬리에 어떤 사람들이 있는지에 대해 아무것도 말해주지 않는다. CORAAL 수치는 Whisper 논문이 방언에 특화된 수치에 가장 가까이 다가간 것이다. Whisper는 이 코퍼스에서 wav2vec 2.0의 오류를 35.6에서 16.2로 줄였지만, 그래도 LibriSpeech Clean 점수의 6배(16.2를 2.7로 나눈 값)로 남아 있었다.
3. 비원어민 및 지역 억양
억양 격차는 주로 영어에서, 그리고 주로 작거나 자기 선택으로 구성된 코퍼스로 측정된다. 우리가 찾은 가장 폭넓은 감사는 171개국에서 태어난 Speech Accent Archive 화자 2,713명을 대상으로 하지만 WER을 전혀 사용하지 않는다. 대신 손실된 단어 정보(WIL)를 보고하며, 첫 번째 언어가 영어인 화자에서 0.14 더 낮다는 점을 발견했다(P<0.001). 범아프리카 억양 영어에서 Whisper-large의 WER은 일반 음성 0.240, 임상 음성 0.375였고, 테스트한 상용 클라우드 시스템 세 개는 모두 더 나빴다.
모국어의 지역 억양도 같은 양상을 따른다. YouTube 자동 자막에서 다섯 개 방언 지역(캘리포니아, 조지아, 뉴잉글랜드, 뉴질랜드, 스코틀랜드)의 화자 80명 중 스코틀랜드 화자에서 인식이 일관되게 더 나빴다(University of Washington, Tatman, ACL Ethics in NLP Workshop 2017). 네덜란드어에서는 플란데런 지역 10대가 소리 내어 읽은 음성이 네덜란드 본토 네덜란드어로 학습한 모델에서 WER 40.5%로 인식되었다. 잘못 인식된 원문은 모든 음성 대 음성 번역 파이프라인의 입력이 되므로 이런 오류는 하류에서 누적된다.
| 지표 | 값 | 출처 |
|---|---|---|
| EdAcc 코퍼스 규모 | 거의 40시간, 자기 보고 기준 40가지가 넘는 억양, 51개 첫 번째 언어 | University of Edinburgh (Sanabria 외), EdAcc 논문 2023 |
| WIL 격차, 영어가 첫 번째 언어인 화자 대 그렇지 않은 화자, 전체 서비스 | 영어가 첫 번째 언어인 화자가 0.14 더 낮음 (P<0.001), 화자 2,713명, 첫 번째 언어 212개 | DiChristofano 외, Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| 서비스별 WIL 격차 | Google 0.17, Amazon 0.14, Microsoft 0.11 | DiChristofano 외, Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| 범아프리카 영어에서 Whisper-large의 WER, 일반 대 임상 영역 | 0.240 대 0.375 | Olatunji 외, AfriSpeech-200, TACL 2023 |
| 범아프리카 영어에서 상용 클라우드의 WER, 두 영역 모두 | Azure 0.391, AWS 0.442, GCP 0.578 | Olatunji 외, AfriSpeech-200, TACL 2023 |
| 범아프리카 영어에서 Whisper-medium의 WER, 사전 학습 대 AfriSpeech로 미세 조정 | 0.332 대 0.216 | Olatunji 외, AfriSpeech-200, TACL 2023 |
| 네덜란드어 ASR의 낭독 음성 WER, 비원어민 대 원어민 화자 | 55.9% 대 26.1% | TU Delft (Feng 외), Quantifying Bias in ASR 2021 |
| 네덜란드어 ASR의 낭독 음성 WER, 플란데런 10대 대 네덜란드 본토 4개 지역 10대 | 40.5% 대 19.3%, 22.9%, 16.8%, 17.9% | TU Delft (Feng 외), Quantifying Bias in ASR 2021 |
예외: 비원어민이라고 해서 항상 더 나쁜 결과가 나오는 것은 아니다. Fair-Speech 음성 명령에서 Whisper-large-v2는 제2언어 화자 3.78, 제1언어 화자 6.11을 기록했다(Meta, Fair-Speech Dataset 2024). 집단 간 격차는 상수가 아니라 데이터셋과 과제의 속성이라는 점을 일깨워준다. 네덜란드어 데이터에서는 성인 학습자의 숙련도가 높아져도 오류가 줄지 않았다. CEF 수준 A1, A2, B1에서 각각 57.2, 56.5, 57.0이었다. 확인할 수 있는 가장 최근 데이터: 억양 아카이브의 받아쓰기는 2021년에 수행되었고, AfriSpeech-200(200.70시간, 화자 2,463명, 억양 120개, 13개국)은 2023년에 공개되었다.
4. 성별, 연령, 소득 격차
어떤 인구통계 축도 고정된 방향이 없으며, 그것이 바로 발견이다. YouTube 자막은 2017년에 여성에게 더 나빴다. 상용 시스템은 2020년에 남성에게 더 나빴다. Whisper-large-v2는 Fair-Speech에서 여성 화자 3.86에 비해 남성 화자 7.91을 기록했으며, 대략 두 배다(7.91을 3.86으로 나누면 2.05). 한 데이터셋에서 감사받은 시스템은 성별에 대해 공정해 보일 수 있지만 다른 데이터셋에서는 실패할 수 있다.
연령도 마찬가지로 움직인다. Fair-Speech에서 오류가 가장 높은 집단은 가장 고령이 아니라 31세에서 45세 구간이었고, 네덜란드어에서 원어민 중 가장 나쁜 집단은 어린이였다. 어린이 발화는 반복적으로 나타나는 약점이다. Whisper-Small은 적응을 거치기 전, 어린이 발화 MyST 테스트 세트에서 WER 13.93%로 시작했다(Kid-Whisper, 2024).
| 지표 | 값 | 출처 |
|---|---|---|
| 상용 5개 시스템 전체 평균 WER, 흑인 남성 대 흑인 여성, 백인 남성 대 백인 여성 | 0.41 대 0.30, 0.21 대 0.17 | Stanford (Koenecke 외), PNAS 2020 |
| Whisper-large-v2의 WER, 남성 대 여성 화자 | 7.91 대 3.86 | Meta (Veliche 외), Fair-Speech Dataset 2024 |
| 연령대별 Whisper-large-v2의 WER, 18-22, 23-30, 31-45, 46-65 | 4.46, 4.62, 7.48, 3.65 | Meta (Veliche 외), Fair-Speech Dataset 2024 |
| 가구 소득별 Whisper-large-v2의 WER, 저소득, 중소득, 고소득 | 5.4, 6.38, 3.62 | Meta (Veliche 외), Fair-Speech Dataset 2024 |
| YouTube 자막 WER, 여성 대 남성 | 여성에서 더 높음 (t(78) = -3.5, p < 0.01), 화자 80명 | University of Washington (Tatman), ACL Ethics in NLP Workshop 2017 |
| 네덜란드어 ASR의 낭독 음성 WER, 원어민 어린이, 10대, 고령자 | 35.3%, 18.4%, 24.2% | TU Delft (Feng 외), Quantifying Bias in ASR 2021 |
| MyST 어린이 발화에서 Whisper의 WER, 미세 조정 전 대 후 | Small 13.93%에서 9.11%, Medium 13.23%에서 8.61% | Attia 외, Kid-Whisper 2024 |
배경: Fair-Speech의 소득 구간은 저소득(US$50k 이하), 중소득(US$50k에서 100k), 고소득(US$100k 이상)이며, 고소득 구간은 데이터셋에서 가장 작은 집단이다(논문 표에서 화자 41명). 자막의 성별 격차에 대해 확인할 수 있는 가장 최근 데이터: Tatman 2017. 이는 고립된 단어 목록 과제에서 측정되었으며, 저자는 이 과제가 ASR에게 특히 어렵다고 설명한다.
5. 비전형적, 마비말장애, 비유창 발화
여기서 격차는 몇 포인트가 아니라 한 자릿수 이상의 차이다. Speech Accessibility Project의 첫 번째 데이터 패키지에서 일반 화자에게 WER 3.4%를 기록한 기준 인식기가 파킨슨병과 관련된 마비말장애 화자를 36.3%로 받아썼다. 학습용 화자 190명으로 미세 조정하자 23.7%로 낮아졌지만, 테스트 화자 42명 중 두 명은 67.10%와 93.08%에 머물렀다.
이 수치를 움직이는 것은 아키텍처가 아니라 데이터다. Interspeech 2025 Speech Accessibility Project Challenge는 참가자 524명의 약 415시간 데이터를 팀들에게 제공했고, 22개 팀 중 12개 팀이 whisper-large-v2 기준 모델을 넘어섰다. 상위 5개 모델의 평균 WER은 파킨슨병 10.06%, ALS 7.36%였고, 기준 모델은 17.09%와 16.88%였다. 개인화는 더 나아간다. Google의 Project Euphonia는 짧은 문구에서 개인화 모델의 WER을 4.6%로 보고했다. 멈춤은 별개의 실패 유형을 만든다. Whisper는 실어증 화자의 구간 중 1.7%에서 텍스트를 환각으로 만들어냈는데, 대조군에서는 1.2%였다(Koenecke 외, Careless Whisper, FAccT 2024).
| 지표 | 값 | 출처 |
|---|---|---|
| 기준 WER, 일반 화자 대 파킨슨병 관련 마비말장애, 미세 조정 후 | 3.4% 대 36.3%, 23.7% | Speech Accessibility Project (Hasegawa-Johnson 외), JSLHR 2024 |
| Whisper-large-v2 기준 모델 대 최상위 팀, 챌린지 Test2 세트 | WER 17.82% 대 8.11% (최고 SemScore 88.44%) | Zheng 외, Interspeech 2025 Speech Accessibility Project Challenge |
| 챌린지 데이터와 참여 현황 | 약 415시간, 참가자 524명, 병인 5가지, 22개 팀 중 12개 팀이 WER에서 기준 모델 상회 | Zheng 외, Interspeech 2025 Speech Accessibility Project Challenge |
| 개인화 모델 대 화자 독립 모델, 발화 장애 화자 432명 | WER 4.6% 대 31% | Google Research (Green 외), Interspeech 2021 |
| 홈 오토메이션 문구에서 WER 중앙값, 심한 발화 장애, 개인화 전후 | 약 89%에서 13% | Google Research, Project Euphonia 블로그 2021 |
| Project Euphonia 코퍼스(2021년 8월 기준) | 1백만 건 이상의 발화, 1,400시간 이상, 화자 1,330명 | Google Research, Project Euphonia 블로그 2021 |
| ASR 6개 시스템 평균 WER, 말더듬 발화 대 비유창성 제거 | .281 대 .105 | Mujtaba 외, Lost in Transcription, NAACL 2024 |
| 말을 더듬는 사람들의 음성 인식 WER, 시스템 변경 전후(참가자 91명 녹음) | 25.4%에서 9.9%, 발화가 중간에 끊기는 빈도 79.1% 감소 | Lea 외, CHI 2023 |
배경: 파킨슨병은 챌린지 학습 코퍼스의 길이 기준 73.4%를 차지하므로, 헤드라인의 8.11%는 대체로 한 가지 병인을 설명한다. 다운 증후군, 뇌성마비, 뇌졸중은 테스트 건수가 적어 따로 보고되지 않았다. 말더듬 연구에서 Whisper는 6개 시스템 중 가장 정확했지만 그래도 .063에서 .121로 올랐다. 개인화 모델의 정확도에 대해 확인할 수 있는 가장 최근 데이터: Green 외, Interspeech 2021.
6. 저자원 언어와 데이터셋 포괄 범위
오류는 학습 시간을 거의 기계적으로 따라간다. Whisper 저자들은 WER의 로그와 언어별 학습 시간의 로그 사이에 제곱 상관 0.83을 보고하며, 학습 데이터가 16배 늘어날 때마다 WER이 절반으로 줄어든다고 추정한다. Whisper의 학습 시간 680,000시간 중 117,000시간이 영어 이외의 96개 언어를 다루며, 논문은 대부분의 언어가 1,000시간 미만이라고 지적한다.
포괄 범위는 정확도에 대한 증거보다 빠르게 확대되었다. MMS 논문은 세계의 언어를 7,000개 이상으로 보고 음성 기술이 지원하는 언어를 약 100개로 제시했으며, Omnilingual ASR은 현재 1,600개가 넘는 언어를 내세운다. 표준적인 다국어 벤치마크인 FLEURS는 102개 언어를 다루고 언어별로 약 12시간의 지도 데이터를 갖고 있어(Conneau 외, FLEURS 2022), 최근 추가된 언어 대부분에는 공유된 공개 기준이 없다. 모델 측면의 포괄 범위는 다국어 음성 기반 모델 통계에서 더 깊이 추적하고 있다.
| 지표 | 값 | 출처 |
|---|---|---|
| Whisper 학습 데이터 | 총 680,000시간, 영어 이외 96개 언어를 다루는 117,000시간 | OpenAI (Radford 외), Whisper 논문 2022 |
| 언어별 학습 시간과 WER의 관계 | 제곱 상관 0.83, 데이터가 16배 늘어날 때마다 WER 절반 감소 | OpenAI (Radford 외), Whisper 논문 2022 |
| 세계의 언어 대 음성 기술이 지원하는 언어 | 7,000개 이상 대 약 100개 | Pratap 외, MMS 논문 (Scaling Speech Technology to 1,000+ Languages) 2023 |
| MMS의 포괄 범위와 정확도 | 1,107개 언어의 ASR, FLEURS 54개 언어에서 Whisper 대비 WER 절반 이상 감소 | Pratap 외, MMS 논문 (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Omnilingual ASR의 포괄 범위 | 1,600개가 넘는 언어, 500개 이상은 이전에 ASR이 지원한 적이 없음 | Omnilingual ASR 팀, arXiv 2511.09690, 2025 |
| Google USM의 사전 학습 데이터 | 300개가 넘는 언어에 걸친 레이블 없는 음성 12백만 시간, 레이블 세트는 Whisper의 1/7 규모 | Google USM 논문 (Zhang 외) 2023 |
| Common Voice Scripted Speech v27.0 | 295개 언어, 총 42,593시간, 검증된 29,295시간 | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Common Voice v27.0의 성별 구성, 영어와 독일어 | 영어는 남성 0.4318, 여성 0.1776, 미표기 0.3894, 독일어는 남성 0.5786, 여성 0.0818 | Mozilla Common Voice, cv-dataset v27.0 2026 |
예외: Common Voice v27.0 통계에서 카탈루냐어는 영어보다 녹음된 음성이 더 많고(총 3,940.31시간 대 3,795.9시간), 우리가 읽은 가장 작은 로케일은 사용자 2명의 클립 25개만 갖고 있다. 어떤 언어에 데이터가 쌓이는지를 결정하는 것은 화자 인구가 아니라 자원봉사자의 노력이다. 실제 사용에 더 가까운 Spontaneous Speech 데이터셋은 훨씬 작다. v5.0 기준 80개 언어에 걸쳐 총 541시간이다.
7. 법정, 병원, 채용, 음성 비서에서의 결과
받아쓰기가 기록이 되는 곳에서는 판돈이 올라간다. 사람이 정하는 기준선도 낮다. 정확도 95%로 인증받은 법정 속기사는 아프리카계 미국인 영어에서 평균 82.9%의 단어 정확도와 59.5%의 문장 단위 정확도를 기록했고, 이들의 받아쓰기는 31%의 경우 누가, 무엇을, 언제, 어디서를 바꿔놓았다(Jones 외, Language 2019). 저희 법정 음성 인식 정확도 통계는 이 문제를 이어받는 자동화 시범 사업을 다룬다.
임상 증거는 최근의 것이고 표본이 작다. 녹음된 재택 의료 방문에서 Amazon의 시스템 두 개는 각각 흑인 환자와 백인 환자 사이에 17포인트의 WER 중앙값 격차를 보였고(50 빼기 33, 54 빼기 37), Whisper는 양쪽 모두에게 똑같이 나빴다. 채용은 안심할 만한 결과가 나온 유일한 환경이다. 받아쓰기 편향은 거의 모든 비교에서 나타났지만, 저자들은 그것이 면접 점수로 이어지지 않았음을 확인했다. 사용자가 보고하는 비용은 행동에 관한 것으로, 2주간의 일기 조사에 참여한 거의 모든 참가자가 말하는 방식을 바꿨다.
| 지표 | 값 | 출처 |
|---|---|---|
| 아프리카계 미국인 영어에 대한 법정 속기사 정확도, 단어 단위 대 문장 단위(인증 기준 95%) | 82.9% 대 59.5% | Jones 외, Testifying While Black, Language 2019 |
| 누가, 무엇을, 언제, 어디서를 바꾼 받아쓰기 | 31%, 법정 속기사 27명, 화자 9명, 문장 83개 | Jones 외, Testifying While Black, Language 2019 |
| WER 중앙값, 재택 의료 흑인 환자 대 백인 환자, AWS General과 AWS Medical | 50% 대 33% (P = 0.016), 54% 대 37% (P = 0.0012) | Zolnoori 외, JAMIA Open 2024 |
| WER 중앙값, 흑인 환자 대 백인 환자, Whisper large-v3 | 75% 대 72% (P = 0.66), 환자 35명 | Zolnoori 외, JAMIA Open 2024 |
| 구술 임상 기록의 오류율: 음성 인식 초안, 전사자 수정 후, 서명된 기록 | 7.4%, 0.4%, 0.3%, 기록 217건 | Zhou 외, JAMA Network Open 2018 |
| 환각 텍스트가 포함된 Whisper 받아쓰기, 환각 중 명백한 해악을 담은 비율 | 13,140개 구간의 1.4%, 38% | Koenecke 외, Careless Whisper, FAccT 2024 |
| ASR 4가지 방식과 사람 1명이 받아쓴 모의 화상 면접 | N = 1,014와 N = 414, 거의 모든 비교에서 유의한 ASR 편향, 점수에는 유의한 측정 편향 없음 | Hickman 외, Journal of Applied Psychology 2025 |
| 알아듣게 하려고 방언을 바꾼 아프리카계 미국인 음성 기술 사용자 | 93% (30명 중 n = 28), 77%가 오류에 대한 불만을 보고 | Mengesha 외, Frontiers in Artificial Intelligence 2021 |
배경: 법정 속기사 연구가 측정한 것은 소프트웨어가 아니라 사람 전사자이며, 임상 구술 연구는 서명된 기록의 오류율에 대해 확인할 수 있는 가장 최근 데이터다(Zhou 외, JAMA Network Open 2018). 환각 실험은 2023년에 수행되었다. 저자들은 환각이 포함된 받아쓰기 312건 중 19%가 폭력, 13%가 부정확한 연관, 8%가 거짓 권위와 관련되어 있었고, 해당 구간을 다른 업체의 시스템으로 다시 돌렸을 때는 비슷한 환각이 나타나지 않았음을 확인했다(Careless Whisper). 채용 결과(Hickman 외)는 실제 선발 결정이 아니라 모의 면접에서 나온 것이다.
숫자로 보는 음성 인식 억양 편향과 단어 오류율
| 지표 | 값 | 출처 |
|---|---|---|
| 평균 WER, 흑인 대 백인 화자, 상용 5개 시스템 | 0.35 대 0.19 | Stanford (Koenecke 외), PNAS 2020 |
| 평균 WER, 아프리카계 미국인 대 백인계 미국인 화자, 상용 4개 시스템 | 20% 대 15% | University of Washington (Scott 외), LREC 2026 |
| Whisper-large-v2의 WER, 흑인 또는 아프리카계 미국인 대 백인 화자 | 9.52 대 3.96 | Meta (Veliche 외), Fair-Speech Dataset 2024 |
| Whisper-large-v2의 WER, 남성 대 여성 화자 | 7.91 대 3.86 | Meta (Veliche 외), Fair-Speech Dataset 2024 |
| Whisper large의 WER, EdAcc 억양 영어 대 LibriSpeech test-clean | 19.7% 대 2.7% | University of Edinburgh (Sanabria 외), EdAcc 논문 2023 |
| Whisper Large V2의 WER, CORAAL 대 LibriSpeech Clean | 16.2 대 2.7 | OpenAI (Radford 외), Whisper 논문 2022 |
| 최고 평균 WER, Open ASR Leaderboard 영어 단편 트랙 | 5.42, 벤치마크 대상 86개 시스템 | Open ASR Leaderboard 논문 (Srivastav 외), v4 2026년 3월 |
| 범아프리카 영어에서 Whisper-large의 WER, 일반 대 임상 | 0.240 대 0.375 | Olatunji 외, AfriSpeech-200, TACL 2023 |
| WIL 격차, 영어가 첫 번째 언어인 화자 대 그렇지 않은 화자 | 0.14 (P<0.001) | DiChristofano 외, arXiv 2023 |
| 네덜란드어 ASR의 낭독 음성 WER, 비원어민 대 원어민 화자 | 55.9% 대 26.1% | TU Delft (Feng 외), Quantifying Bias in ASR 2021 |
| 기준 WER, 일반 발화 대 파킨슨병 관련 마비말장애 발화 | 3.4% 대 36.3% | Speech Accessibility Project (Hasegawa-Johnson 외), JSLHR 2024 |
| 마비말장애 발화에서 Whisper-large-v2 기준 모델 대 챌린지 최상위 시스템 | 17.82% 대 8.11% | Zheng 외, Interspeech 2025 Speech Accessibility Project Challenge |
| 개인화 모델 대 화자 독립 모델의 WER, 발화 장애 | 4.6% 대 31% | Google Research (Green 외), Interspeech 2021 |
| 6개 시스템 평균 WER, 말더듬 발화 대 유창한 버전 | .281 대 .105 | Mujtaba 외, Lost in Transcription, NAACL 2024 |
| Whisper 학습 시간, 전체 대 영어 이외 | 680,000 대 117,000 (96개 언어) | OpenAI (Radford 외), Whisper 논문 2022 |
| Common Voice Scripted Speech v27.0 | 295개 언어, 검증된 29,295시간 | Mozilla Common Voice, cv-dataset v27.0 2026 |
| WER 중앙값, 재택 의료 흑인 환자 대 백인 환자, AWS General | 50% 대 33% (P = 0.016) | Zolnoori 외, JAMIA Open 2024 |
| 아프리카계 미국인 영어에 대한 법정 속기사 단어 정확도 대 인증 기준 | 82.9% 대 95% | Jones 외, Testifying While Black, Language 2019 |
| 방언을 바꾼 음성 기술 사용자 | 93% (30명 중 n = 28) | Mengesha 외, Frontiers in Artificial Intelligence 2021 |
방법론과 출처
저희는 23번의 검색을 수행했고, 위의 모든 수치에 대해 1차 논문, 데이터셋 페이지 또는 학술지 기록을 읽었다. WER은 각 출처 자체의 표기로 보고한다. Koenecke 외, AfriSpeech-200, Mujtaba 외는 분수, 그 밖에는 백분율이다. 3년보다 오래된 수치는 각 섹션에서 확인할 수 있는 가장 최근 데이터로 표시했다.
- Koenecke 외, Racial disparities in automated speech recognition, PNAS 2020
- Scott, Liang, Wassink, Levow, A Sociophonetic Analysis of Racial Bias in Commercial ASR Systems Using the Pacific Northwest English Corpus, LREC 2026
- Veliche 외 (Meta), Towards measuring fairness in speech recognition: Fair-Speech dataset, 2024
- Radford 외 (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022
- Sanabria 외 (University of Edinburgh), The Edinburgh International Accents of English Corpus, ICASSP 2023
- Srivastav 외, Open ASR Leaderboard 논문, v4 2026년 3월
- DiChristofano, Shuster, Chandra, Patwari, Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition, 2023
- Olatunji 외, AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR, TACL 2023
- Feng, Kudina, Halpern, Scharenborg (TU Delft), Quantifying Bias in Automatic Speech Recognition, 2021
- Tatman (University of Washington), Gender and Dialect Bias in YouTube’s Automatic Captions, ACL Ethics in NLP Workshop 2017
- Attia 외, Kid-Whisper, 2024
- Hasegawa-Johnson 외, Community-Supported Shared Infrastructure in Support of Speech Accessibility, JSLHR 2024
- Zheng 외, The Interspeech 2025 Speech Accessibility Project Challenge
- Green 외 (Google Research), Automatic Speech Recognition of Disordered Speech, Interspeech 2021 및 Project Euphonia 데이터셋 블로그, 2021
- Mujtaba 외, Lost in Transcription, NAACL 2024
- Lea 외, From User Perceptions to Technical Improvement: Enabling People Who Stutter to Better Use Speech Recognition, CHI 2023
- Koenecke 외, Careless Whisper: Speech-to-Text Hallucination Harms, FAccT 2024
- Pratap 외, Scaling Speech Technology to 1,000+ Languages (MMS), 2023, Omnilingual ASR, 2025, Google USM, 2023, FLEURS, 2022
- Mozilla Common Voice, cv-dataset 저장소와 v27.0 통계, 2026
- Jones, Kalbfeld, Hancock, Clark, Testifying While Black, Language 95(2), 2019
- Zolnoori 외, Decoding disparities, JAMIA Open 2024
- Zhou 외, Analysis of Errors in Dictated Clinical Documents Assisted by Speech Recognition Software and Professional Transcriptionists, JAMA Network Open 2018
- Hickman, Langer, Saef, Tay, Automated speech recognition bias in personnel selection, Journal of Applied Psychology 2025
- Mengesha 외, Impact of Automated Speech Recognition Errors on African Americans, Frontiers in Artificial Intelligence 2021
- 데이터 참고 사항: 몇몇 출처는 스스로 모순되거나 서로 다른 것을 측정한다. Whisper 논문의 본문은 LibriSpeech clean WER을 2.5로 제시하지만 표 2에는 2.7로 나와 있다(저희는 표를 사용한다). Careless Whisper의 초록은 받아쓰기의 약 1%가 환각이었다고 하지만 결과 섹션에는 1.4%로 되어 있고(저희는 1.4%를 사용한다), 저자들은 실험이 2023년의 것이라고 밝힌다. Speech Accessibility Project 초록의 36.3%와 23.7%는 논문의 비공유 프롬프트 행과 일치하며, 모든 테스트 프롬프트 기준으로는 미세 조정 후 수치가 18.72%이다. Fair-Speech 본문은 최상위 소득 구간의 화자를 50명이라고 언급하지만 표에는 41명으로 나와 있다. DiChristofano 외는 WER이 아니라 손실된 단어 정보를 보고하므로 이들의 격차는 다른 행과 비교할 수 없다. Scott 외의 평가는 2022년에 화자 16명으로 수행되어 2026년에 발표되었다. Open ASR Leaderboard는 계속 바뀐다. 논문의 2025년 10월판은 모델 64개에 최고 평균 WER 5.63을 제시했고, 2026년 3월판은 시스템 86개에 5.42를 제시했다. Common Voice의 시간 합계는 저장소의 릴리스 차트 데이터에서, 성별 비율은 v27.0 통계 파일에서 가져왔다. Testifying While Black은 학술지 페이지가 접근 확인 뒤에 있어서, 수치를 제1저자가 공개한 논문 요약에서 읽었다. 그 요약에는 바꿔 말하기 이해도 수치가 두 가지로 나와 있어서 저희는 이를 제외했다. 채용 업체의 비원어민 화자 WER에 관해 널리 반복되는 주장은 확인할 수 없어서 삭제했다.
마지막 업데이트: 2026년 10월 11일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 Mozilla가 Common Voice Scripted Speech v28.0을 공개할 때로 예상한다.