商用の音声認識システム5つの平均単語誤り率(WER)は、黒人話者で0.35、白人話者で0.19だった(Stanford、Koenecke ら、PNAS 2020)。2026年に発表された研究でも、商用4システムの平均WERは20%対15%という差が確認されている(University of Washington、Scott ら、LREC 2026)。ベンチマークはこの格差を覆い隠す。Whisper largeはLibriSpeech test-cleanで2.7%だが、国際的な英語アクセントのコーパスでは19.7%になる(University of Edinburgh、EdAcc論文 2023)。パーキンソン病に伴う構音障害のある話者では、定型の発話で誤り率3.4%の認識器が36.3%の誤りを出す(Speech Accessibility Project、JSLHR 2024)。本稿ではPNAS、OpenAIのWhisper論文、MetaのFair-Speechデータセット、Speech Accessibility Project、Mozilla Common Voice、そのほか十数件の査読済み情報源のデータを集約し、各情報源の表記をそのまま維持した(WERを0.35のような分数で示すものもあれば、大半は19.7%のようなパーセントで示している)。同じ指標はライブ字幕の精度に関する規則の土台にもなっており、WERの数ポイントの差が研究室の外でも重要になる理由はここにある。
主なポイント
- 商用ASR 5システムの平均WERは黒人話者で0.35、白人話者で0.19であり、WERが0.5を超えて使用不能だった断片は23%対1.6%だった(Stanford、Koenecke ら、PNAS 2020)。
- 商用4システムの平均WERはアフリカ系アメリカ人話者で20%、白人系アメリカ人話者で15%であり、相対的に33%の増加だった(University of Washington、Scott ら、LREC 2026)。
- Whisper largeのWERはLibriSpeech test-cleanで2.7%、アクセント付き英語のEdAccテストセットで19.7%だった(University of Edinburgh、EdAcc論文 2023)。
- 音声コマンドにおけるWhisper-large-v2のWERは、黒人またはアフリカ系アメリカ人の話者で9.52、白人の話者で3.96だった(Meta、Fair-Speech Dataset 2024)。
- オランダ語の認識器は、母語話者の26.1%に対し、非母語話者の朗読音声ではWER 55.9%に達した(TU Delft、Feng ら、Quantifying Bias in ASR 2021)。
- 構音障害のある発話ではベースラインWERが3.4%から36.3%に上昇し、ファインチューニングで23.7%まで下がった(Speech Accessibility Project、JSLHR 2024)。
- Interspeech 2025 Speech Accessibility Project Challengeで最上位のシステムはWER 8.11%に達し、whisper-large-v2のベースラインは17.82%だった(Zheng ら、Interspeech 2025)。
- ASR 6システムの吃音発話での平均WERは.281で、非流暢性を取り除くと.105だった(Mujtaba ら、NAACL 2024)。
- Common Voice Scripted Speech v27.0は295言語で検証済み29,295時間を収録しているが、世界の言語は7,000以上ある(Mozilla Common Voice 2026、Pratap ら、MMS論文 2023)。
- AWS General TranscribeのWER中央値は、在宅医療の黒人患者で50%、白人患者で33%だった(P = 0.016)(Zolnoori ら、JAMIA Open 2024)。
- 正確性95%の認定を受けた法廷速記者は、アフリカ系アメリカ人英語で平均82.9%の単語精度にとどまった(Jones ら、Language 2019)。
- 2週間の日記調査に参加したアフリカ系アメリカ人の93%が、音声技術に理解してもらうために自分の方言を変えていた(Mengesha ら、Frontiers in Artificial Intelligence 2021)。
1. 商用・オープンASRにおける人種・方言による格差
基準となる数値は6年前のものだが、より優れた証拠によって退けられてはいない。Amazon、Apple、Google、IBM、MicrosoftについてのPNAS監査では、平均WERは黒人話者で0.35、白人話者で0.19であり、その差は0.16(0.35引く0.19)だった。これは年齢と性別を揃えた黒人話者73人と白人話者42人による、19.8時間の音声で測定されたものだ。同一のフレーズでも差が残ったため、著者らは問題の所在を音響モデルに求めた。最良のシステムであるMicrosoftは、対応する発話で0.13対0.07だった。5ベンダーを対象とした監査で入手可能な最新のデータ:Koenecke ら、PNAS 2020。
異なるコーパスに基づく新しい証拠では、全体の誤り率は低下しているが、格差は縮まっていない。University of Washingtonのチームは、商用4システムでアフリカ系アメリカ人話者の誤りが相対的に33%増えたと報告しており、Meta自身の音声コマンドデータセットでは、Whisper-large-v2が黒人またはアフリカ系アメリカ人の話者で9.52、白人の話者で3.96を示している。ワシントンのチームは自らの誤りを方言間の母音の質の違いに結びつけており、これは2020年の音響モデルに関する診断と呼応している。
| 指標 | 値 | 出典 |
|---|---|---|
| 平均WER、黒人話者対白人話者、商用5システム | 0.35対0.19 | Stanford (Koenecke ら)、PNAS 2020 |
| 最良・最悪のベンダー、黒人話者対白人話者 | Microsoft 0.27対0.15、Apple 0.45対0.23 | Stanford (Koenecke ら)、PNAS 2020 |
| WERが0.5を超えた断片(使用不能な書き起こし) | 黒人話者の断片の23%対白人話者の1.6% | Stanford (Koenecke ら)、PNAS 2020 |
| 平均WER、アフリカ系アメリカ人対白人系アメリカ人の話者、商用4システム | 20%対15%(相対的に33%増) | University of Washington (Scott ら)、LREC 2026 |
| 平均WER、ChicanXとYakamaの話者、同じ4システム | 23%と21% | University of Washington (Scott ら)、LREC 2026 |
| WER、黒人またはアフリカ系アメリカ人対白人の話者、Whisper-large-v2とWhisper-small | 9.52対3.96、16.99対4.51 | Meta (Veliche ら)、Fair-Speech Dataset 2024 |
| 民族グループ間の相対的なWER格差、Whisper-large-v2対Metaの半教師あり動画モデル | 61.13%対31.04% | Meta (Veliche ら)、Fair-Speech Dataset 2024 |
背景:ワシントンの評価は話者16人(グループあたり4人)を用いており、論文はLREC 2026の論文集に掲載されたものの、2022年時点のシステム性能を反映している。Fair-Speechは米国の話者593人と約26.5Kの発話を収録しており、著者らはWhisperモデルについて、測定したすべての側面で相対的な格差が40%を超えていると述べている。
2. ベンチマークのWERと現実の発話
見出しとなるベンチマークは、会話ではなくクリーンな朗読音声である。Whisper論文は自らの表でこの点を示している。LibriSpeech Cleanで2.7となる同じモデルが、CHiME6では25.5、アフリカ系アメリカ人言語のインタビューを集めたコーパスCORAALでは16.2となる。Whisper largeのWERは、LibriSpeech test-cleanの2.7%からEdAccの19.7%へと跳ね上がる。EdAccは、40を超える自己申告の英語アクセントを持つ友人同士のビデオ通話での会話を集めたものだ。
これでもまだ頑健なモデルである。LibriSpeechで2.9のスコアだったwav2vec 2.0のシステムは、同じアクセント付き会話で36.1%に達した。話し方だけでも数値は動く。オランダ語の認識器は、同じ話者群で朗読音声では平均36.2%、人と機械の対話音声では47.5%のWERとなった(TU Delft、Feng ら、Quantifying Bias in ASR 2021)。
| 指標 | 値 | 出典 |
|---|---|---|
| Whisper Large V2のWER、LibriSpeech Clean | 2.7 | OpenAI (Radford ら)、Whisper論文 2022 |
| Whisper Large V2のWER、CHiME6とCORAAL | 25.5と16.2 | OpenAI (Radford ら)、Whisper論文 2022 |
| 論文の表2のデータセット全体での平均WER、wav2vec 2.0 LargeとWhisper Large V2の比較 | 29.3対12.8(平均で55.2%の相対的な誤り削減) | OpenAI (Radford ら)、Whisper論文 2022 |
| Whisper largeのWER、EdAccテスト対LibriSpeech test-clean | 19.7%対2.7% | University of Edinburgh (Sanabria ら)、EdAcc論文 2023 |
| wav2vec 2.0と商用システムのWER、EdAccテスト対LibriSpeech test-clean | 36.1対2.9、18.7対3.8 | University of Edinburgh (Sanabria ら)、EdAcc論文 2023 |
| 最良の平均WER、英語ショートフォームのトラック、同じトラックでのWhisper Large v3 | 5.42、7.44 | Open ASR Leaderboard論文 (Srivastav ら)、v4 2026年3月 |
| ベンチマーク対象のシステム | 26組織の86システムを12データセットで評価、うち74がオープンソース | Open ASR Leaderboard論文 (Srivastav ら)、v4 2026年3月 |
背景:Open ASR Leaderboardは精選されたテストセットでの平均値を報告しており、私たちが読んだ表には話者の属性別の内訳がないため、平均5.42という数値は分布の裾にどのような人々がいるかについて何も語らない。CORAALの数値は、Whisper論文が方言に特化した数値に最も近づいたものだ。Whisperはこのコーパスでwav2vec 2.0の誤りを35.6から16.2に減らしたが、それでもLibriSpeech Cleanのスコアの6倍(16.2を2.7で割った値)にとどまっている。
3. 非母語話者と地域のアクセント
アクセントによる格差は主に英語で測定されており、その多くは小規模か自己選択のコーパスに基づく。私たちが見つけた最も幅広い監査は、171か国で生まれた2,713人のSpeech Accent Archive話者を対象としているが、WERはまったく用いていない。代わりに失われた単語情報(WIL)を報告し、第一言語が英語の話者のほうが0.14低いことを見出している(P<0.001)。汎アフリカ英語のアクセント音声では、Whisper-largeのWERは一般音声で0.240、臨床音声で0.375となり、検証した3つの商用クラウドシステムはいずれもそれより悪かった。
母語内の地域アクセントでも同じパターンが見られる。YouTubeの自動字幕では、5つの方言地域(カリフォルニア、ジョージア、ニューイングランド、ニュージーランド、スコットランド)の話者80人のうち、スコットランドの話者で一貫して認識精度が低かった(University of Washington、Tatman、ACL Ethics in NLP Workshop 2017)。オランダ語では、フランドル地方の10代が朗読した音声が、オランダ本国のオランダ語で学習したモデルにWER 40.5%で認識された。誤認識された原文はすべての音声翻訳パイプラインへの入力となるため、これらの誤りは下流で積み重なる。
| 指標 | 値 | 出典 |
|---|---|---|
| EdAccコーパスの規模 | 約40時間、40を超える自己申告のアクセント、51の第一言語 | University of Edinburgh (Sanabria ら)、EdAcc論文 2023 |
| WILの差、英語が第一言語の話者対そうでない話者、全サービス | 英語が第一言語の話者のほうが0.14低い(P<0.001)、2,713人の話者、212の第一言語 | DiChristofano ら、Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| サービス別のWILの差 | Google 0.17、Amazon 0.14、Microsoft 0.11 | DiChristofano ら、Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| 汎アフリカ英語でのWhisper-largeのWER、一般対臨床の領域 | 0.240対0.375 | Olatunji ら、AfriSpeech-200、TACL 2023 |
| 汎アフリカ英語での商用クラウドのWER、両領域 | Azure 0.391、AWS 0.442、GCP 0.578 | Olatunji ら、AfriSpeech-200、TACL 2023 |
| 汎アフリカ英語でのWhisper-mediumのWER、事前学習済み対AfriSpeechでファインチューニング済み | 0.332対0.216 | Olatunji ら、AfriSpeech-200、TACL 2023 |
| オランダ語ASRの朗読音声でのWER、非母語話者対母語話者 | 55.9%対26.1% | TU Delft (Feng ら)、Quantifying Bias in ASR 2021 |
| オランダ語ASRの朗読音声でのWER、フランドル地方の10代対オランダ本国4地域の10代 | 40.5%対19.3%、22.9%、16.8%、17.9% | TU Delft (Feng ら)、Quantifying Bias in ASR 2021 |
例外:非母語話者であることが常に悪い結果を予測するわけではない。Fair-Speechの音声コマンドでは、Whisper-large-v2は第二言語の話者で3.78、第一言語の話者で6.11だった(Meta、Fair-Speech Dataset 2024)。これは、集団間の格差がデータセットとタスクの性質であって、定数ではないことを思い起こさせる。オランダ語のデータでは、成人学習者の習熟度が上がっても誤りは減らなかった。CEFレベルA1、A2、B1でそれぞれ57.2、56.5、57.0だった。入手可能な最新のデータ:アクセント・アーカイブの書き起こしは2021年に実行されたもので、AfriSpeech-200(200.70時間、話者2,463人、120のアクセント、13か国)は2023年に公開された。
4. 性別・年齢・所得による格差
どの属性の軸にも固定された方向はなく、それこそが発見である。YouTubeの字幕は2017年には女性に対して精度が低かった。商用システムは2020年には男性に対して精度が低かった。Whisper-large-v2はFair-Speechで、女性話者の3.86に対し男性話者は7.91であり、およそ2倍(7.91を3.86で割ると2.05)だった。あるデータセットで監査されたシステムは、性別については公平に見えても、別のデータセットでは失敗することがある。
年齢も同様の挙動を示す。Fair-Speechで誤りが最も高かったグループは最高齢ではなく31歳から45歳の層であり、オランダ語で母語話者のうち最も悪かったのは子どもだった。子どもの発話は繰り返し現れる弱点である。Whisper-Smallは、子どもの発話を集めたMySTのテストセットで、適応を行う前はWER 13.93%から始まっていた(Kid-Whisper、2024)。
| 指標 | 値 | 出典 |
|---|---|---|
| 商用5システム全体の平均WER、黒人男性対黒人女性、白人男性対白人女性 | 0.41対0.30、0.21対0.17 | Stanford (Koenecke ら)、PNAS 2020 |
| Whisper-large-v2のWER、男性話者対女性話者 | 7.91対3.86 | Meta (Veliche ら)、Fair-Speech Dataset 2024 |
| 年齢層別のWhisper-large-v2のWER、18-22、23-30、31-45、46-65 | 4.46、4.62、7.48、3.65 | Meta (Veliche ら)、Fair-Speech Dataset 2024 |
| 世帯所得別のWhisper-large-v2のWER、低所得、中所得、高所得 | 5.4、6.38、3.62 | Meta (Veliche ら)、Fair-Speech Dataset 2024 |
| YouTube字幕のWER、女性対男性 | 女性で高い(t(78) = -3.5、p < 0.01)、話者80人 | University of Washington (Tatman)、ACL Ethics in NLP Workshop 2017 |
| オランダ語ASRの朗読音声でのWER、母語話者の子ども、10代、高齢者 | 35.3%、18.4%、24.2% | TU Delft (Feng ら)、Quantifying Bias in ASR 2021 |
| MySTの子どもの発話でのWhisperのWER、ファインチューニング前対後 | Small 13.93%から9.11%、Medium 13.23%から8.61% | Attia ら、Kid-Whisper 2024 |
背景:Fair-Speechの所得層は、低所得(US$50k以下)、中所得(US$50kから100k)、高所得(US$100k以上)で、高所得層はデータセット内で最も小さいグループである(論文の表では話者41人)。字幕の性別格差について入手可能な最新のデータ:Tatman 2017。これは単語リストを孤立して読ませるタスクで測定されたもので、著者はこのタスクをASRにとって特に難しいものと述べている。
5. 非典型的な発話、構音障害のある発話、非流暢な発話
ここでの格差は数ポイントではなく、桁が違う。Speech Accessibility Projectの最初のデータパッケージでは、定型話者でWER 3.4%だったベースラインの認識器が、パーキンソン病に伴う構音障害のある話者を36.3%で書き起こした。学習用話者190人でのファインチューニングにより23.7%まで下がったが、テスト用話者42人のうち2人は67.10%と93.08%にとどまった。
これらの数値を動かすのはアーキテクチャではなくデータである。Interspeech 2025 Speech Accessibility Project Challengeは、参加者524人による約415時間のデータをチームに提供し、22チーム中12チームがwhisper-large-v2のベースラインを上回った。上位5モデルの平均WERはパーキンソン病で10.06%、ALSで7.36%であり、ベースラインはそれぞれ17.09%と16.88%だった。個人化はさらに先へ進む。GoogleのProject Euphoniaは、短いフレーズでの個人化モデルのWERを4.6%と報告した。ポーズは別の種類の失敗を生む。Whisperは、失語症の話者の音声区間の1.7%でテキストをハルシネーションしたが、対照群では1.2%だった(Koenecke ら、Careless Whisper、FAccT 2024)。
| 指標 | 値 | 出典 |
|---|---|---|
| ベースラインWER、定型話者対パーキンソン病に伴う構音障害、ファインチューニング後 | 3.4%対36.3%、23.7% | Speech Accessibility Project (Hasegawa-Johnson ら)、JSLHR 2024 |
| Whisper-large-v2のベースライン対最上位チーム、チャレンジのTest2セット | WER 17.82%対8.11%(最上位のSemScoreは88.44%) | Zheng ら、Interspeech 2025 Speech Accessibility Project Challenge |
| チャレンジのデータと参加状況 | 約415時間、参加者524人、5つの病因、22チーム中12チームがWERでベースラインを上回った | Zheng ら、Interspeech 2025 Speech Accessibility Project Challenge |
| 個人化モデル対話者非依存モデル、発話障害のある話者432人 | WER 4.6%対31% | Google Research (Green ら)、Interspeech 2021 |
| ホームオートメーションのフレーズでのWER中央値、重度の発話障害、個人化の前後 | 約89%から13% | Google Research、Project Euphoniaブログ 2021 |
| Project Euphoniaのコーパス(2021年8月時点) | 1百万件を超える発話、1,400時間超、話者1,330人 | Google Research、Project Euphoniaブログ 2021 |
| ASR 6システムの平均WER、吃音発話対非流暢性を除去した発話 | .281対.105 | Mujtaba ら、Lost in Transcription、NAACL 2024 |
| 吃音のある人の音声認識WER、システム変更の前後(91人の参加者を録音) | 25.4%から9.9%、発話の途中切断が79.1%減少 | Lea ら、CHI 2023 |
背景:パーキンソン病はチャレンジの学習コーパスの長さの73.4%を占めるため、見出しの8.11%は主に1つの病因を表している。ダウン症、脳性麻痺、脳卒中はテストの件数が少ないため個別には報告されていない。吃音の研究では、Whisperは6システムの中で最も正確だったが、それでも.063から.121に悪化した。個人化モデルの精度について入手可能な最新のデータ:Green ら、Interspeech 2021。
6. 低リソース言語とデータセットの網羅性
誤りは学習時間とほぼ機械的に連動する。Whisperの著者らは、WERの対数と言語ごとの学習時間の対数との間に決定係数0.83を報告し、学習データが16倍になるごとにWERが半分になると推定している。Whisperの学習時間680,000時間のうち、117,000時間は英語以外の96言語を対象としており、論文は大半の言語で1,000時間未満であると指摘している。
網羅範囲は精度の証拠よりも速く広がった。MMS論文は世界の言語を7,000以上とし、音声技術が対応するのは約100言語としたが、Omnilingual ASRは現在1,600を超える言語を掲げている。標準的な多言語ベンチマークであるFLEURSは102言語を対象とし、各言語に約12時間の教師データがあるため(Conneau ら、FLEURS 2022)、最近追加された言語の大半には共通の公開された物差しがない。モデル側の網羅性については、多言語音声基盤モデルの統計でさらに詳しく追跡している。
| 指標 | 値 | 出典 |
|---|---|---|
| Whisperの学習データ | 合計680,000時間、英語以外の96言語を対象とする117,000時間 | OpenAI (Radford ら)、Whisper論文 2022 |
| 言語ごとの学習時間とWERの関係 | 決定係数0.83、データが16倍になるごとにWERが半減 | OpenAI (Radford ら)、Whisper論文 2022 |
| 世界の言語対音声技術が対応する言語 | 7,000以上対約100 | Pratap ら、MMS論文 (Scaling Speech Technology to 1,000+ Languages) 2023 |
| MMSの網羅性と精度 | 1,107言語のASR、FLEURSの54言語でWhisperよりWERが半分以下に低下 | Pratap ら、MMS論文 (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Omnilingual ASRの網羅性 | 1,600を超える言語、うち500超はこれまでASRが対応していなかった | Omnilingual ASRチーム、arXiv 2511.09690、2025 |
| Google USMの事前学習データ | 300を超える言語にまたがるラベルなし音声12百万時間、ラベル付きセットはWhisperの1/7の規模 | Google USM論文 (Zhang ら) 2023 |
| Common Voice Scripted Speech v27.0 | 295言語、合計42,593時間、検証済み29,295時間 | Mozilla Common Voice、cv-dataset v27.0 2026 |
| Common Voice v27.0の性別構成、英語とドイツ語 | 英語は男性0.4318、女性0.1776、未申告0.3894、ドイツ語は男性0.5786、女性0.0818 | Mozilla Common Voice、cv-dataset v27.0 2026 |
例外:Common Voice v27.0の統計では、カタルーニャ語の録音音声が英語より多く(合計3,940.31時間対3,795.9時間)、私たちが読んだ中で最小のロケールは2人のユーザーによる25クリップしか収録していない。どの言語にデータが集まるかを決めるのは話者の人口ではなく、ボランティアの労力である。実際の利用に近いSpontaneous Speechデータセットは、はるかに小さい。v5.0で80言語、合計541時間である。
7. 法廷、診療所、採用、音声アシスタントへの影響
書き起こしが記録になる場面では、利害が大きくなる。人間が設定するベースラインは低い。正確性95%の認定を受けた法廷速記者は、アフリカ系アメリカ人英語で平均82.9%の単語精度、59.5%の文単位の精度にとどまり、その書き起こしは31%の割合で、誰が、何を、いつ、どこでという内容を変えてしまった(Jones ら、Language 2019)。法廷での音声認識精度の統計では、この問題を引き継ぐ自動化の試験運用を取り上げている。
臨床の証拠は新しく、標本数が少ない。録音された在宅医療の訪問では、Amazonの2つのシステムがそれぞれ、黒人患者と白人患者の間で17ポイントのWER中央値の差を示し(50引く33、および54引く37)、Whisperはどちらに対しても同じように悪かった。採用は、安心できる結果が出た唯一の場面である。書き起こしバイアスはほぼすべての比較で現れたが、著者らはそれが面接のスコアには持ち越されなかったと見出した。利用者が報告するコストは行動面のものであり、2週間の日記調査のほぼすべての参加者が話し方を変えていた。
| 指標 | 値 | 出典 |
|---|---|---|
| アフリカ系アメリカ人英語に対する法廷速記者の精度、単語単位対文単位(認定基準は95%) | 82.9%対59.5% | Jones ら、Testifying While Black、Language 2019 |
| 誰が、何を、いつ、どこでを変えてしまった書き起こし | 31%、法廷速記者27人、話者9人、83文 | Jones ら、Testifying While Black、Language 2019 |
| WER中央値、在宅医療の黒人患者対白人患者、AWS GeneralとAWS Medical | 50%対33%(P = 0.016)、54%対37%(P = 0.0012) | Zolnoori ら、JAMIA Open 2024 |
| WER中央値、黒人患者対白人患者、Whisper large-v3 | 75%対72%(P = 0.66)、患者35人 | Zolnoori ら、JAMIA Open 2024 |
| 口述された臨床記録の誤り率:音声認識の下書き、書き起こし担当者の修正後、署名済みの記録 | 7.4%、0.4%、0.3%、記録217件 | Zhou ら、JAMA Network Open 2018 |
| ハルシネーションによるテキストを含むWhisperの書き起こし、ハルシネーションのうち明確な害を含むものの割合 | 13,140区間の1.4%、38% | Koenecke ら、Careless Whisper、FAccT 2024 |
| ASR 4手法と人間1件で書き起こした模擬ビデオ面接 | N = 1,014とN = 414、ほぼすべての比較で有意なASRバイアス、スコアには有意な測定バイアスなし | Hickman ら、Journal of Applied Psychology 2025 |
| 理解してもらうために方言を変えたアフリカ系アメリカ人の音声技術ユーザー | 93%(30人中n = 28)、77%が誤りに不満を報告 | Mengesha ら、Frontiers in Artificial Intelligence 2021 |
背景:法廷速記者の研究が測定しているのはソフトウェアではなく人間の書き起こし担当者であり、臨床の口述に関する研究は、署名済みの記録の誤り率について入手可能な最新のデータである(Zhou ら、JAMA Network Open 2018)。ハルシネーションの実験は2023年に実施された。著者らは、ハルシネーションを含む312件の書き起こしのうち19%が暴力に関わり、13%が不正確な関連付け、8%が偽の権威付けだったこと、そして該当する区間を他社のシステムで再実行したところ、同等のハルシネーションは見られなかったことを見出した(Careless Whisper)。採用に関する結果(Hickman ら)は模擬面接によるものであり、実際の選考判断によるものではない。
数字で見る音声認識のアクセントバイアスと単語誤り率(まとめ)
| 指標 | 値 | 出典 |
|---|---|---|
| 平均WER、黒人話者対白人話者、商用5システム | 0.35対0.19 | Stanford (Koenecke ら)、PNAS 2020 |
| 平均WER、アフリカ系アメリカ人対白人系アメリカ人の話者、商用4システム | 20%対15% | University of Washington (Scott ら)、LREC 2026 |
| Whisper-large-v2のWER、黒人またはアフリカ系アメリカ人対白人の話者 | 9.52対3.96 | Meta (Veliche ら)、Fair-Speech Dataset 2024 |
| Whisper-large-v2のWER、男性話者対女性話者 | 7.91対3.86 | Meta (Veliche ら)、Fair-Speech Dataset 2024 |
| Whisper largeのWER、EdAccのアクセント付き英語対LibriSpeech test-clean | 19.7%対2.7% | University of Edinburgh (Sanabria ら)、EdAcc論文 2023 |
| Whisper Large V2のWER、CORAAL対LibriSpeech Clean | 16.2対2.7 | OpenAI (Radford ら)、Whisper論文 2022 |
| 最良の平均WER、Open ASR Leaderboardの英語ショートフォームのトラック | 5.42、ベンチマーク対象は86システム | Open ASR Leaderboard論文 (Srivastav ら)、v4 2026年3月 |
| 汎アフリカ英語でのWhisper-largeのWER、一般対臨床 | 0.240対0.375 | Olatunji ら、AfriSpeech-200、TACL 2023 |
| WILの差、英語が第一言語の話者対そうでない話者 | 0.14(P<0.001) | DiChristofano ら、arXiv 2023 |
| オランダ語ASRの朗読音声でのWER、非母語話者対母語話者 | 55.9%対26.1% | TU Delft (Feng ら)、Quantifying Bias in ASR 2021 |
| ベースラインWER、定型の発話対パーキンソン病に伴う構音障害のある発話 | 3.4%対36.3% | Speech Accessibility Project (Hasegawa-Johnson ら)、JSLHR 2024 |
| 構音障害のある発話でのWhisper-large-v2のベースライン対チャレンジ最上位システム | 17.82%対8.11% | Zheng ら、Interspeech 2025 Speech Accessibility Project Challenge |
| 個人化モデル対話者非依存モデルのWER、発話障害 | 4.6%対31% | Google Research (Green ら)、Interspeech 2021 |
| 6システムの平均WER、吃音のある発話対流暢な版 | .281対.105 | Mujtaba ら、Lost in Transcription、NAACL 2024 |
| Whisperの学習時間、合計対英語以外 | 680,000対117,000(96言語) | OpenAI (Radford ら)、Whisper論文 2022 |
| Common Voice Scripted Speech v27.0 | 295言語、検証済み29,295時間 | Mozilla Common Voice、cv-dataset v27.0 2026 |
| WER中央値、在宅医療の黒人患者対白人患者、AWS General | 50%対33%(P = 0.016) | Zolnoori ら、JAMIA Open 2024 |
| アフリカ系アメリカ人英語に対する法廷速記者の単語精度対認定基準 | 82.9%対95% | Jones ら、Testifying While Black、Language 2019 |
| 方言を変えた音声技術ユーザー | 93%(30人中n = 28) | Mengesha ら、Frontiers in Artificial Intelligence 2021 |
方法論と出典
私たちは23回の検索を行い、上記のすべての数値について一次論文、データセットのページ、または学術誌の記録を読んだ。WERは各情報源自身の表記で示している。Koenecke ら、AfriSpeech-200、Mujtaba らでは分数、それ以外ではパーセントである。3年より古い数値は、各セクションで入手可能な最新のデータとして明示している。
- Koenecke ら、Racial disparities in automated speech recognition、PNAS 2020
- Scott、Liang、Wassink、Levow、A Sociophonetic Analysis of Racial Bias in Commercial ASR Systems Using the Pacific Northwest English Corpus、LREC 2026
- Veliche ら (Meta)、Towards measuring fairness in speech recognition: Fair-Speech dataset、2024
- Radford ら (OpenAI)、Robust Speech Recognition via Large-Scale Weak Supervision、2022
- Sanabria ら (University of Edinburgh)、The Edinburgh International Accents of English Corpus、ICASSP 2023
- Srivastav ら、Open ASR Leaderboard論文、v4 2026年3月
- DiChristofano、Shuster、Chandra、Patwari、Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition、2023
- Olatunji ら、AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR、TACL 2023
- Feng、Kudina、Halpern、Scharenborg (TU Delft)、Quantifying Bias in Automatic Speech Recognition、2021
- Tatman (University of Washington)、Gender and Dialect Bias in YouTube’s Automatic Captions、ACL Ethics in NLP Workshop 2017
- Attia ら、Kid-Whisper、2024
- Hasegawa-Johnson ら、Community-Supported Shared Infrastructure in Support of Speech Accessibility、JSLHR 2024
- Zheng ら、The Interspeech 2025 Speech Accessibility Project Challenge
- Green ら (Google Research)、Automatic Speech Recognition of Disordered Speech、Interspeech 2021およびProject Euphoniaデータセットのブログ、2021
- Mujtaba ら、Lost in Transcription、NAACL 2024
- Lea ら、From User Perceptions to Technical Improvement: Enabling People Who Stutter to Better Use Speech Recognition、CHI 2023
- Koenecke ら、Careless Whisper: Speech-to-Text Hallucination Harms、FAccT 2024
- Pratap ら、Scaling Speech Technology to 1,000+ Languages (MMS)、2023、Omnilingual ASR、2025、Google USM、2023、FLEURS、2022
- Mozilla Common Voice、cv-datasetリポジトリとv27.0の統計、2026
- Jones、Kalbfeld、Hancock、Clark、Testifying While Black、Language 95(2)、2019
- Zolnoori ら、Decoding disparities、JAMIA Open 2024
- Zhou ら、Analysis of Errors in Dictated Clinical Documents Assisted by Speech Recognition Software and Professional Transcriptionists、JAMA Network Open 2018
- Hickman、Langer、Saef、Tay、Automated speech recognition bias in personnel selection、Journal of Applied Psychology 2025
- Mengesha ら、Impact of Automated Speech Recognition Errors on African Americans、Frontiers in Artificial Intelligence 2021
- データウォッチ:いくつかの情報源は、それ自体の中で食い違っているか、異なるものを測定している。Whisper論文の本文はLibriSpeech cleanのWERを2.5としているが、表2は2.7としている(本稿では表を採用)。Careless Whisperの要旨は書き起こしのおよそ1%がハルシネーションだったとしているが、結果のセクションでは1.4%としており(本稿では1.4%を採用)、著者らは実験が2023年のものだと注記している。Speech Accessibility Projectの要旨にある36.3%と23.7%は、論文のうち非共有プロンプトの行と一致する。全テストプロンプトでは、ファインチューニング後の数値は18.72%である。Fair-Speechの本文は最上位の所得層の話者を50人としているが、表では41人となっている。DiChristofano らが報告しているのはWERではなく失われた単語情報であるため、その格差は他の行と比較できない。Scott らの評価は2022年に16人の話者で実施され、2026年に発表された。Open ASR Leaderboardは絶えず変化する。論文の2025年10月版は64モデルで最良の平均WERは5.63、2026年3月版は86システムで5.42だった。Common Voiceの時間の合計はリポジトリのリリースチャートのデータに、性別の割合はそのv27.0統計ファイルに基づく。Testifying While Blackについては、学術誌のページがアクセス確認の背後にあるため、筆頭著者が公開した論文の要約から数値を読み取った。その要約には言い換えの理解度に関する数値が2種類あるため、本稿では除外した。採用ベンダーの非母語話者に対するWERについて広く繰り返されている主張は裏付けられなかったため、削除した。
最終更新日:2026年10月11日。当社はこのまとめを四半期ごとに更新しており、次回の更新は、MozillaがCommon Voice Scripted Speech v28.0を公開する時期を予定している。