OpenAIのWhisperの背後にある音声認識の学習データは、英語が438,218時間だったのに対し、ラオ語、スンダ語、ビルマ語はそれぞれわずか0.1時間だった(OpenAI, Whisper論文 2022)。この差は音声認識のロングテールを一行で表しており、世界で使用されている言語は7,170に上る(Ethnologue, How Many Languages 2026)。実用的な精度に必要な下限は、この差から想像されるよりも低そうだ。2025年のある研究では、わずか50時間の学習データで単語誤り率13%未満を達成した(Akera他, キニヤルワンダ語・キクユ語データスケーリング研究 2025)。クラウドソーシングがこの差の一部を埋めつつあり、Mozilla Common Voiceの検証済み音声は29,295時間に達している(Mozilla, Common Voice cv-datasetリポジトリ 2026)。主要言語内でのアクセントによる精度差は、当社の音声認識のアクセントバイアス統計で扱っており、本稿では言語全体を対象とする。Ethnologue、OpenAIのWhisper論文、MetaのMMS論文とOmnilingual ASR論文、GoogleのUSM論文とFLEURS論文、Mozilla Common Voice、Project Vaani、IndicVoices、NaijaVoices、African Next Voices、そして最近のアフリカ言語ASRベンチマークのデータを集約した。
主なポイント
- 現在使用されている言語は7,170で、約44%が消滅の危機にあり、使用者が1,000人に満たない言語も多い(Ethnologue, How Many Languages 2026)。
- Metaの7Bモデルで文字誤り率が10未満に達した低リソース言語は546言語中195言語(36%)にとどまり、高リソース言語では249言語中236言語だった(Meta FAIR, Omnilingual ASR論文 2025)。
- Whisperの学習音声の65%は英語の音声認識で438,218時間を占め、他の96言語が117,113時間を分け合った(OpenAI, Whisper論文 2022)。
- キニヤルワンダ語のモデルは、わずか50時間の学習データで単語誤り率13%未満に達した(Akera他, データスケーリング研究 2025)。
- スワヒリ語で最も良いモデルの単語誤り率は、データ1時間の24.81%から400時間の11.36%へ低下した(Nahabwe他, Benchmarking ASR Models for African Languages 2025)。
- Mozilla Common Voice Scripted Speechはリリース27.0で42,593時間を擁し、そのうち29,295時間が検証済みである(Mozilla, Common Voice cv-datasetリポジトリ 2026)。
- Project Vaaniはインドの音声を31,278.37時間録音したが、書き起こし済みは約6.8%にすぎない(IISc・ARTPARK, Project Vaaniダッシュボード 2026)。
- African Next Voicesは、ケニア、ナイジェリア、南アフリカの18言語で9,000時間超を録音した(プレトリア大学, African Next Voicesニュース 2025)。
- 1,800時間のNaijaVoicesコーパスでファインチューニングしたところ、Whisperの平均単語誤り率はイボ語、ハウサ語、ヨルバ語で75.86%改善した(NaijaVoicesデータセット論文, Interspeech 2025)。
- GoogleのUniversal Speech Modelは、約7分の1の規模のラベル付きデータで、62のFLEURS言語においてWhisperを相対WERで66%上回った(Google, USM論文 2023)。
- IndicVoicesは、インドの22言語・16,237人の話者から7,348時間を擁する(IndicVoicesデータセット論文 2024)。
1. 世界の言語のうち、何らかの音声認識があるのはどれくらいか
分母こそが核心である。Ethnologueは現在使用されている言語を7,170と数えており、そのうちわずか20言語、全体の0.3%が、3.7 十億人以上の母語となっている(Ethnologue, How Many Languages 2026)。音声認識もこの集中に追随してきた。2023年になっても、GoogleのUniversal Speech Modelがカバーしていたのは100言語余りだった。
現在最も広範なオープンシステムでも、1,600言語以上という規模はEthnologueの言語数の約5分の1にしか届かない。言語の消失はこの差の裏返しであり、当社の危機言語統計で扱っている。アフリカだけで2,000を超える言語があり、その多くは書き起こし済みの音声データを欠いている。
| 指標 | 値 | 出典 |
|---|---|---|
| 世界で使用されている言語 | 7,170 | Ethnologue, How Many Languages 2026 |
| 現存言語のうち消滅の危機にある割合 | 約44%、使用者が1,000人未満の言語も多い | Ethnologue, How Many Languages 2026 |
| 上位20言語の母語話者 | 3.7 十億人以上、世界人口のほぼ半数、全言語の0.3%から | Ethnologue, How Many Languages 2026 |
| アフリカ全体で話されている言語 | 2,000超、その多くは書き起こし済み音声データを欠く | Nahabwe他, Benchmarking ASR Models for African Languages 2025 |
| GoogleのUniversal Speech Modelが音声認識でカバーする言語 | 100以上 | Google, USM論文 2023 |
| IndicASRがカバーするインド憲法第8附則の言語(著者らは全言語に対応する初のモデルと説明) | 22 | IndicVoicesデータセット論文 2024 |
| 最も広範なオープンASRシステムがカバーする言語 | 1,600以上(うち500超はこれまでどのASRシステムにも対応されていなかった)、使用されている7,170言語の約22%(1,600 / 7,170) | Meta FAIR, Omnilingual ASR論文 2025; Ethnologue 2026 |
背景:この1,600以上の言語に対応するシステムは、約150の手話言語、人工言語、確立した文字体系のない言語を意図的に除外しているため、カバーされていない残りの一部は、テキストを出力する音声認識の対象外にある。USMの入手可能な最新データ:2023年。
2. 学習時間:英語とロングテール
音声認識の学習データは分布ではなく断崖である。Whisperの英語音声認識データ(438,218時間)は、スワヒリ語のデータ(5.4時間)の約81,000倍だった(438,218 / 5.4 = 81,151)。ラオ語、スンダ語、ビルマ語はそれぞれ0.1時間だった。英語以外で最もデータが豊富な中国語(23,446時間)と比べても、英語の音声は約19倍あった(438,218 / 23,446 = 18.7)。
新しいシステムは言語をリソースの区分に分けており、その境界線は示唆に富む。高リソース(学習データが十分にある)とされるのは、わずか50時間を超えた時点からである。目的に合わせて作られたデータセットは、言語をこの線の向こう側へ押し上げることができる。IndicVoicesは、22言語における言語あたりの書き起こし済み時間の中央値を73時間と報告している(IndicVoicesデータセット論文 2024)。
| 指標 | 値 | 出典 |
|---|---|---|
| Whisperの学習音声:英語の音声認識と他の96言語 | 438,218時間(65%)対117,113時間(17%) | OpenAI, Whisper論文 2022 |
| Whisperの言語別音声認識時間、最大と最小 | 中国語23,446、ドイツ語13,344、スペイン語11,100に対し、スワヒリ語5.4、ラオ語・スンダ語・ビルマ語は各0.1 | OpenAI, Whisper論文 2022 |
| Whisperの学習データがまったくないFLEURSベンチマーク言語 | 102言語中20言語 | OpenAI, Whisper論文 2022 |
| ラベル付き学習データ量別のOmnilingual ASR言語:50時間超 / 10〜50時間 / 10時間未満 | 249 / 881 / 546言語 | Meta FAIR, Omnilingual ASR論文 2025 |
| 言語あたりのFLEURS評価データ | 102言語それぞれで約12時間の音声 | Google, FLEURS論文 2022 |
| IndicVoicesの書き起こし済み音声 | 1,639時間、言語あたりの中央値73時間 | IndicVoicesデータセット論文 2024 |
Whisperの入手可能な最新データ:2022年。上記の時間は音声認識データのみで、Whisperの翻訳用音声とは別である。後続バージョンのWhisperについて、同等の言語別内訳は見つからなかった。
3. エラー率:低リソース言語と高リソース言語
単語誤り率(WER)は、置換、脱落、挿入を数えてシステムが間違えた単語の割合を示す。挿入された単語も数えるため、モデルが参照テキストに含まれる以上の誤った単語を出力すると100%を超えることがある。Whisper large-v2のFLEURSベンチマークでのWERは、英語で4.2%、ショナ語で121.0%だった。つまりショナ語では、実際に話された単語の数より誤りの数のほうが多かった(OpenAI, Whisper論文 2022)。モデルがそこに至る既知の経路の一つが、誰も発していない流暢なテキストを書き出すことであり、この失敗パターンは当社の音声認識のハルシネーション統計で追跡している。
新しいモデルでも差は残っている。下の表では、文字誤り率(CER、同じ考え方を単語ではなく文字単位で数えたもの)は、10時間以上のデータがある言語の約95%(1,130言語中1,077言語)で10未満にとどまったが、10時間未満のグループでは3分の1をわずかに上回る程度だった。一つのモデルの中で、データ量だけがこれらの結果を分けている。
| 指標 | 値 | 出典 |
|---|---|---|
| FLEURSでのWhisper large-v2の単語誤り率:英語 / スペイン語 / スワヒリ語 | 4.2% / 3.0% / 39.3% | OpenAI, Whisper論文 2022 |
| FLEURSでのWhisper large-v2の単語誤り率:ヨルバ語 / ソマリ語 / ショナ語 / シンド語 | 94.8% / 102.9% / 121.0% / 156.5% | OpenAI, Whisper論文 2022 |
| リソース水準別、文字誤り率が10未満のOmnilingual 7B LLM-ASR言語:高 / 中 / 低 | 249言語中236 / 881言語中841 / 546言語中195(論文は低リソース言語の割合を36%に丸めている) | Meta FAIR, Omnilingual ASR論文 2025 |
| Omnilingual 7B LLM-ASRの平均文字誤り率:高リソース言語と低リソース言語 | 3.13対18.0 | Meta FAIR, Omnilingual ASR論文 2025 |
外れ値に関する注記:Whisperの行は2022年の論文のlarge-v2の表に基づくもので、この種の言語別の表としては入手可能な最新のものである。WERとCERは異なる指標であるため、WhisperとOmnilingualの行を直接比較することはできない。
4. どれだけのデータがあれば差が埋まるか
2025年の明るい知見は、実用的な認識に必要な水準が、数千時間ではなく数十時間で測れるという点である。キニヤルワンダ語のモデルは、わずか50時間の学習データで実用的な精度、すなわち単語誤り率13%未満に達し、200時間までに10%未満へ下がった(Akera他, データスケーリング研究 2025)。これが他の言語にも当てはまるなら、資金を得た収録キャンペーンを一度行えば、最初の実用的なモデルを作るのに十分である。
データの質も重要である。同じ研究は、誤りの多いケースの38.6%を、ノイズを含む正解の書き起こしに由来すると突き止めており、「誤り」の一部は参照テキストのほうが間違っていたことを意味する。また、13言語を対象とした別のベンチマークでのスワヒリ語の結果は、データ量だけで何が得られるかを示している。1時間から400時間にすると最良の誤り率は半分以下になったが、それでも11.36%は、第3節のWhisperの英語のスコアをはるかに上回っている。
| 指標 | 値 | 出典 |
|---|---|---|
| 単語誤り率13%未満に必要なキニヤルワンダ語の学習データ | わずか50時間 | Akera他, キニヤルワンダ語・キクユ語データスケーリング研究 2025 |
| 学習データ200時間でのキニヤルワンダ語の単語誤り率 | 10%未満 | Akera他, キニヤルワンダ語・キクユ語データスケーリング研究 2025 |
| ノイズを含む参照書き起こしが原因の誤りの多いケース | 38.6% | Akera他, キニヤルワンダ語・キクユ語データスケーリング研究 2025 |
| ベンチマーク対象のアフリカ言語(ファインチューニング用サブセットは1、5、10、20、50、100、200時間) | 13言語(スワヒリ語のみ400時間のサブセットもあり) | Nahabwe他, Benchmarking ASR Models for African Languages 2025 |
| ファインチューニングデータ400時間でのスワヒリ語の最良の単語誤り率(XLS-RとWhisper) | 11.36%対16.88% | Nahabwe他, Benchmarking ASR Models for African Languages 2025 |
背景:Nahabwe他のベンチマークの13言語は、アフリカーンス語、アカン語、バンバラ語、ベンバ語、エウェ語、キニヤルワンダ語、リンガラ語、ルガンダ語、ショナ語、スワヒリ語、ウォロフ語、コサ語、ズールー語である。
5. クラウドソーシングとコミュニティの音声データセット
ロングテールの音声データが公開される場となっているのが、コミュニティが構築するオープンなデータセットである。Mozilla Common VoiceのScripted Speechデータセットは、最初のリリースの1,368時間からリリース27.0の42,593時間へと、約31倍に成長した(42,593 / 1,368 = 31.1)。リポジトリには295言語が掲載されている(Mozilla, Common Voice cv-datasetリポジトリ 2026)。ボトルネックは収録から確認へ移っており、これらの時間の約31%は検証されていない(29,295 / 42,593 = 68.8%が検証済み)。
地域のプロジェクトも、より大きな規模で同じパターンを示している。Project Vaaniはインドの音声を31,000時間以上集めたが、書き起こしたのはその約6.8%(2,122.21 / 31,278.37)にとどまり、インドの773県のうち165県(21.3%)に到達している。アフリカでは、2025年に報告された2つのプロジェクトを合わせて10,800時間超(9,000超と1,800)を擁しており、Whisperの音声認識データにあるスワヒリ語5.4時間と対照的である。
| 指標 | 値 | 出典 |
|---|---|---|
| Common Voice Scripted Speechの合計時間:リリース1とリリース27.0(データ締切は2026年9月) | 1,368時間対42,593時間 | Mozilla, Common Voice cv-datasetリポジトリ 2026 |
| Common Voice Scripted Speechの検証済み時間、リリース27.0 | 29,295(全体の68.8%) | Mozilla, Common Voice cv-datasetリポジトリ 2026 |
| Common Voice Scripted Speechに掲載された言語:リリース19.0(2024年)とリリース27.0(2026年) | 131対295 | Mozilla, Common Voice 19.0リリース 2024; cv-datasetリポジトリ 2026 |
| Common Voice Spontaneous Speech リリース5.0 | 541時間(うち302時間が検証済み)、80言語 | Mozilla, Common Voice cv-datasetリポジトリ 2026 |
| Project Vaaniがインドで収集した音声 | 105言語・156,208人の話者から31,278.37時間、773県中165県 | IISc・ARTPARK, Project Vaaniダッシュボード 2026 |
| Project Vaaniの書き起こし済み音声 | 2,122.21時間(収集した音声の約6.8%) | IISc・ARTPARK, Project Vaaniダッシュボード 2026 |
| African Next Voicesが録音した音声 | 3か国・18言語で9,000時間超 | プレトリア大学, African Next Voicesニュース 2025 |
| NaijaVoicesの音声・テキストデータ | イボ語、ハウサ語、ヨルバ語の5,000人超の話者から1,800時間 | NaijaVoicesデータセット論文, Interspeech 2025 |
背景:Project Vaaniが掲げる目標は、773県すべてから150,000時間超の音声を集めることであり、現在のダッシュボードは計画された音声の約5分の1に相当する(31,278.37 / 150,000 = 20.9%)。
6. アプローチ:自己教師あり事前学習、宗教テキストの朗読、少数例による拡張
ロングテールには3つの手法で到達しつつある。自己教師あり事前学習(モデルがまず書き起こしのない音声から学び、その後は小規模なラベル付きデータだけで済む)が土台となる層であり、GoogleのUniversal Speech Modelは、約7分の1の規模のラベル付きデータで、62のFLEURS言語においてWhisperを相対単語誤り率で66%上回った(Google, USM論文 2023)。公開されている宗教テキストの朗読により、MMSプロジェクトは言語あたり平均32時間を確保しており、この平均は第2節の10〜50時間の区分に収まっている。
最新の手法は少数例による拡張で、実行時に音声とテキストのペアをいくつか与えるだけで、再学習なしにモデルを適応させるものだ。多くの言語を同時に扱う共有モデルの全体像は、当社の多言語音声基盤モデル統計で扱っている。データ効率は設計によっても異なる。スワヒリ語1時間の条件では、自己教師あり事前学習をベースとするMMSが、WERでWhisperを26.52ポイント上回った(51.33 - 24.81)。
| 指標 | 値 | 出典 |
|---|---|---|
| 宗教テキストの朗読から構築したMMSのラベル付きデータ | 1,107言語で44.7K時間、言語あたり平均約32時間 | Meta AI, MMS論文とブログ 2023 |
| 学習に含まれない言語での文字誤り率:CTCベースラインモデルと、10個の文脈例を与えたゼロショットモデル(再学習なし) | 26.33%対14.4% | Meta FAIR, Omnilingual ASR論文 2025 |
| USMの教師あり学習データとWhisperの比較(英語を除く) | 90k時間対117k時間、それでも62のFLEURS言語でWhisperを相対WERで66%上回った | Google, USM論文 2023 |
| 1時間のファインチューニング後のスワヒリ語の単語誤り率:MMS / W2v-BERT / Whisper / XLS-R | 24.81% / 32.36% / 51.33% / 58.23% | Nahabwe他, Benchmarking ASR Models for African Languages 2025 |
| NaijaVoicesでのファインチューニング後の平均単語誤り率の改善:Whisper / MMS / XLSR | 75.86% / 52.06% / 42.33% | NaijaVoicesデータセット論文, Interspeech 2025 |
外れ値に関する注記:USM論文は、ラベル付きYouTubeデータセットがカバーする言語数を、序論では73言語、第3.1節では75言語と記載している。MMSとUSMの入手可能な最新データ:2023年。
数字で見る低リソース言語の音声認識カバレッジ(まとめ)
| 指標 | 値 | 出典 |
|---|---|---|
| 世界で使用されている言語 | 7,170 | Ethnologue, How Many Languages 2026 |
| 最も広範なオープンASRシステムがカバーする言語 | 1,600以上、うち500超はこれまで未対応 | Meta FAIR, Omnilingual ASR論文 2025 |
| 文字誤り率が10未満の低リソース言語(10時間未満) | 546言語中195言語(36%) | Meta FAIR, Omnilingual ASR論文 2025 |
| Whisperの学習音声のうち英語の音声認識が占める割合 | 65%(438,218時間) | OpenAI, Whisper論文 2022 |
| アフリカ全体で話されている言語 | 2,000超 | Nahabwe他, Benchmarking ASR Models for African Languages 2025 |
| 単語誤り率13%未満に必要なキニヤルワンダ語データ | わずか50時間 | Akera他, データスケーリング研究 2025 |
| 200時間でのキニヤルワンダ語の単語誤り率 | 10%未満 | Akera他, データスケーリング研究 2025 |
| スワヒリ語の最良の単語誤り率:ファインチューニングデータ1時間と400時間 | 24.81%対11.36% | Nahabwe他, Benchmarking ASR Models for African Languages 2025 |
| Common Voice Scripted Speechの時間、リリース27.0 | 合計42,593、検証済み29,295 | Mozilla, Common Voice cv-datasetリポジトリ 2026 |
| Common Voice Scripted Speechに掲載された言語 | 295 | Mozilla, Common Voice cv-datasetリポジトリ 2026 |
| Project Vaaniの収集音声と書き起こし済み音声 | 31,278.37時間対2,122.21時間 | IISc・ARTPARK, Project Vaaniダッシュボード 2026 |
| IndicVoicesの音声 | 7,348時間、16,237人の話者、22言語 | IndicVoicesデータセット論文 2024 |
| African Next Voicesが録音した音声 | 9,000時間超、18言語 | プレトリア大学, African Next Voicesニュース 2025 |
| NaijaVoicesの音声・テキストデータ | 1,800時間、3言語 | NaijaVoicesデータセット論文, Interspeech 2025 |
| 62のFLEURS言語でのUSMとWhisperの比較 | 相対WERが66%低い | Google, USM論文 2023 |
方法論と出典
- Ethnologue, How Many Languages Are There in the World?(2026年10月に閲覧):現存言語、消滅の危機にある言語の割合、上位20言語への集中度。
- OpenAI, Robust Speech Recognition via Large-Scale Weak Supervision (Whisper論文)、2022年:言語別の学習時間(図11)とFLEURSでの単語誤り率(表13)。
- Meta, Scaling Speech Technology to 1,000+ Languages (MMS論文)、2023年、およびMMS発表。ならびにOmnilingual ASR: Open-Source Multilingual Speech Recognition for 1600+ Languages、2025年11月10日。
- Google, Universal Speech Model論文、2023年、およびFLEURSベンチマーク論文、2022年。
- Mozilla, Common Voice cv-datasetリポジトリ(リリース27.0、データ締切は2026年9月)、Common Voice 19.0リリース記事(2024年9月18日発表)、およびScripted Speech 26.0リリースノート(2026年6月19日)。
- IISc・ARTPARK, Project Vaaniライブダッシュボード(2026年10月に閲覧)。
- IndicVoicesデータセット論文、2024年3月4日。
- Akera他, How much speech data is necessary for ASR in African languages?、2025年10月8日。
- Nahabwe他, Benchmarking Automatic Speech Recognition Models for African Languages、2025年11月30日。
- The NaijaVoices Dataset、Interspeech 2025に採択。
- プレトリア大学, African Next Voices featured in Nature、2025年8月1日。
- データウォッチ:言語数は情報源や方法によって異なるため(Ethnologueの7,170は使用されている言語を数えたものだが、ASRの論文はISO 639-3コードを数え、手話言語と文字のない言語を除外している)、カバレッジの割合は概算である。Common Voiceの言語数は131(リリース19.0)から295(リリース27.0)へ急増したが、リポジトリは新しい数値が音声が公開された言語のみを数えているのかを明記していないため、掲載されている言語数として扱う。検証済みの割合68.8%はリポジトリのグラフデータから算出したものだが、リリース26.0のリリースノートはScripted Speechの音声の約25%がまだ検証待ちであると述べており、両者は同じ指標ではない。リリース19.0の発表時、フォーラムのコメントは131言語のうちダウンロードできるのは129言語だけだと指摘しており、掲載数と公開数は異なる場合がある。African Next Voicesの数値はNatureの報道をまとめた大学のニュースページに基づくもので、データセット論文は確認していない。Whisper(2022年)、FLEURS(2022年)、MMS(2023年)、USM(2023年)の数値はいずれも3年より古く、入手可能な最新データとして明記した。Omnilingual論文の本文(549)と表8(546)は低リソース言語の数が一致しておらず、本稿では表の値を使用している。
最終更新日:2026年10月31日。当社はこのまとめを四半期ごとに更新しており、次回の更新はMozillaがCommon Voice Scripted Speechのリリース28.0を公開した時点を予定している。