韓国語・英語のHiKEベンチマークでは、Whisper-Largeはコードスイッチング音声の26.1%で誤りを出し、単一言語の英語では4.4%、単一言語の韓国語では3.2%だった(Paik ら、HiKEベンチマーク2026)。同じモデルで比べると、英語の誤り率のおよそ6倍(26.1 / 4.4 = 5.9)にあたる。このパターンは言語ペアを問わず繰り返される。CS-FLEURSの著者らは、コードスイッチングを含む録音での文字誤り率が単一言語のFLEURSの2倍を超えることを測定し(Yan ら、Interspeech 2025)、ASRU 2019の中国語・英語チャレンジでは、優勝システムでも埋め込まれた英単語の12.33%で誤り、中国語の文字では4.04%だった(Shi ら、ASRU 2019チャレンジ報告)。コードスイッチング(1つの会話、文、さらには単語の中で2つの言語を行き来すること)は、当社のバイリンガリズムと多言語家庭に関するまとめで取り上げた多くの人々にとって日常的な行動だが、音声認識システムは依然として一度に1つの言語で調整・評価されており、単一言語のベンチマークで測られるアクセントによる格差と同じ状況にある。本稿では、Linguistic Data ConsortiumのSEAMEコーパス、MUCS 2021とASRU 2019のチャレンジ、CS-FLEURS、HiKE、CS-Dialogue、ASCEND、PIER指標の論文、DISPLACE 2023チャレンジ、Pew Research Center、そしてコードスイッチング研究に関するACLのサーベイ論文のデータを集約した。
本稿で使う用語の補足:「マトリックス言語」は文の主たる言語、「埋め込み言語」は切り替えて挿入される言語、「切り替え点」は言語が変わる正確な単語を指す。
主なポイント
- Whisper-Large:韓国語・英語のコードスイッチング音声で混合誤り率26.1%、単一言語の英語ではWER 4.4%(Paik ら、HiKE 2026)。
- コードスイッチングを含むCS-FLEURSのセットでは、単一言語のFLEURSよりCERが2倍を超えて高い(Yan ら、Interspeech 2025)。
- ASRU 2019の最良システム:同じ混合文の中で、中国語のCERは4.04%だが英語のWERは12.33%(Shi ら、ASRU 2019)。
- ヨルバ語への切り替え直後のトークンの誤り:ASRシステムと音声言語モデル全体で0.95〜1.00(OkochaとGrant、arXiv 2026)。
- ファインチューニングによりスペイン語・英語でWhisper-largeのWERは5.06%改善したが、切り替え点の誤り(PIER)は39.47%悪化した(Ugan ら、ICASSP 2025)。
- インドのバイリンガル会話における言語区間の平均:約500 ms、多くはわずか約200 ms(Baghel ら、DISPLACE 2023)。
- SEAMEの開発セットDevSgeでのWhisper-smallのゼロショット:中国語を想定させるとMER 157.5%、英語を指定すると83.6%(Yang ら、2023)。
- 掲載されている中で最大の中国語・英語コーパスTALCSは587時間で、Whisperの学習時間680,000時間の約0.09%(Zhou ら、CS-Dialogue 2025;Radford ら、OpenAI 2022)。
- NLP文献で紹介されたコードスイッチングのコーパス114件のうち72件は非公開(Winata ら、ACL Findings 2023)。
- 米国のラテン系成人の63%が少なくとも時々Spanglishを使い、バイリンガルのラテン系では77%(Pew Research Center 2023)。
- 7言語の50百万件のツイートのうち、約3.5%がコードスイッチングを含んでいた(Rijhwani ら、ACL 2017)。
1. コードスイッチングのペナルティ:混合と単一言語の誤り率
主要な結果は、同じモデルを両方の種類の音声で動かしたすべてのベンチマークで一貫している。1つの文に2つの言語が同居すると、誤り率は数倍に跳ね上がる。HiKEでは、Whisper-Largeのコードスイッチング音声の誤り率は英語のWERの5.9倍(26.1 / 4.4)、韓国語のCERの8.2倍(26.1 / 3.2)だった。 HiKEは、同じモデルの単一言語FLEURSのスコアをコードスイッチングの結果と並べて報告しているため、最も明快な比較になっている。その表で最強のGPT-4o-transcribeでさえ、英語でのWER 3.3%から混合音声でのMER 21.8%へと悪化した。
この差は対称ではない。混合文では埋め込み言語が最も大きな打撃を受ける。ASRU 2019の優勝システムは、英語が各文のごく一部(平均で中国語の文字8.6字に対して英単語1.6語)しか占めていないにもかかわらず、英単語での誤りが中国語の文字の約3倍(12.33 / 4.04 = 3.05)に達した。英語・ヨルバ語の評価では不均衡が極端で、リソースの少ない言語でほぼ全面的な失敗が起きている。
| 指標 | 値 | 出典 |
|---|---|---|
| Whisper-Large、韓国語・英語のコードスイッチング音声(混合誤り率)と単一言語の英語のWERと単一言語の韓国語のCERの比較 | 26.1%、4.4%、3.2% | Paik ら、HiKEベンチマーク2026 |
| GPT-4o-transcribe、韓国語・英語のコードスイッチング音声(混合誤り率)と単一言語の英語のWERの比較 | 21.8%、3.3% | Paik ら、HiKEベンチマーク2026 |
| コードスイッチングを含むCS-FLEURSと元の単一言語FLEURSの文字誤り率の比較 | 2倍を超えて高い | Yan ら、CS-FLEURS、Interspeech 2025 |
| ASRU 2019の最良システム(トラック1):同じコードスイッチング文での中国語のCERと英語のWERの比較 | 4.04%、12.33% | Shi ら、ASRU 2019チャレンジ報告(2020) |
| Whisper-large-v3のWER:単一言語の英語のTEDトークと、スペイン語・英語のFisherと、エジプト・アラビア語・英語のArzEnの比較 | 6.07%、29.43%、52.80% | Ugan ら、PIER論文、ICASSP 2025 |
| 英語・ヨルバ語のテストセット:英語トークンとヨルバ語トークンの誤り率(翻訳せずに忠実に書き起こした8システム) | 33%〜46%、96.6%以上 | OkochaとGrant、arXiv 2026 |
背景の注記:Ugan らの行は異なるデータセット(講義の英語と電話の会話音声)を比べているため、その差の一部は切り替えだけでなく録音条件を反映している。HiKEとCS-FLEURSの行はモデルを固定している。詳細な数値:HiKE論文とCS-FLEURS論文。
2. 混合誤り率(MER)のベンチマーク:この分野の現在地
混合誤り率が存在するのは、中国語と英語にわたる単一の「単語」が存在しないからだ。MERは文字ベースの言語(中国語、韓国語)では文字ごと、英語では単語ごとに誤りを数え、それらを1つの率に統合する。これによりMERはコードスイッチング論文の共通通貨になるが、どちらの言語が失敗しているかも見えなくなるため、優れた論文はCERとWERを個別に掲載している。
ベンチマークを横断して見ると、数値は大きくばらつく。優勝システムはASRU 2019の中国語・英語テストでMER 4.94%を記録した一方、自発的なASCENDの会話での最良のベースラインは27.05%だった。 同じ言語ペアでも、録音のスタイルや学習量によって、ほぼ解決済みにも深刻に壊れているようにも見える。ASRU 2019はコードスイッチングの学習音声を200時間提供したが、ASCENDは自発的な対話をわずか10.62時間しか提供していない。市販の学習済みモデルの中では、SenseVoice-SmallがCS-DialogueでMER 6.71%に達したのに対し、Whisper Large-V2は15.29%だった。
| 指標 | 値 | 出典 |
|---|---|---|
| 最良の混合誤り率、ASRU 2019の中国語・英語、トラック1(従来型ASR、固定言語モデル)とトラック3(エンドツーエンドASR)の比較 | 4.94%、5.91% | Shi ら、ASRU 2019チャレンジ報告(2020) |
| 自発的な香港の会話ASCENDでの最良のベースライン:CERとMERの比較 | 22.69%、27.05% | Lovenia ら、ASCENDコーパス(2021) |
| CS-Dialogueのテストセット、学習済みモデル(MER):SenseVoice-SmallとParaformerとQwen2-AudioとWhisper Large-V2の比較 | 6.71%、9.65%、9.76%、15.29% | Zhou ら、CS-Dialogue 2025 |
| CS-Dialogue、ゼロから学習したConformer:中国語のCERと英語のWERとMERの比較 | 15.45%、32.36%、18.91% | Zhou ら、CS-Dialogue 2025 |
| MUCS 2021のエンドツーエンドのベースラインのテストセットWER:ヒンディー語・英語とベンガル語・英語の比較 | 25.9%、31.0% | Diwan ら、MUCS 2021チャレンジ(Interspeech 2021) |
外れ値の注記:CS-DialogueのConformerの行は、同じテストセットで英語のWERが中国語のCERの2倍以上という、埋め込み言語の問題を改めて示している。ASRU 2019、ASCEND(2021)、MUCS 2021の行は入手可能な最新データであり、著者らによって現行モデルで再実行されてはいない。出典:ASRU 2019チャレンジ報告、CS-Dialogue、MUCS 2021。
3. 切り替え点での失敗:全体の誤り率が隠すもの
書き起こしは全体として良いスコアを得ながら、すべての切り替えを間違えることがある。切り替えられた単語は全体のごく一部だからだ。PIER(Point-of-Interest Error Rate)は、言語が変わる単語だけの精度を測るために作られた指標で、その結果は不都合なものだ。ファインチューニング後、Whisper-largeはスペイン語・英語のFisherで全体のWERを相対で5.06%改善した一方、切り替え点の誤りは39.47%上昇した。 つまり、通常のリーダーボードの指標は、実際のコードスイッチングが悪化したモデルを高く評価したことになる。
方向も重要だ。英語・ヨルバ語のセットでは、システムは英語に戻る切り替えをそれなりに処理したが、ヨルバ語への切り替えでは崩壊した。切り替えが密になると最強のシステムでも誤り率が上がり、1つの単語の内部での切り替え(ある言語の語幹と別の言語の接辞)が最も難しかった。挿入も誤りとして数えるため、誤り率が100%を超えるものもある。ヨルバ語のセットでは、3つの生成型音声モデルがテキストを過剰に生成しており、この失敗モードは当社の音声認識のハルシネーションに関するまとめで扱っている。
| 指標 | 値 | 出典 |
|---|---|---|
| スペイン語・英語のFisherでファインチューニングしたWhisper-large:全体のWERの変化と切り替え点の誤り(PIER)の変化の比較 | 5.06%改善、39.47%悪化(相対) | Ugan ら、PIER論文、ICASSP 2025 |
| FisherでファインチューニングしたWhisper-large:WERとPIERの比較 | 27.94%、50.78% | Ugan ら、PIER論文、ICASSP 2025 |
| アラビア語・英語のArzEnでのWhisper-large:単語間と単語内の切り替え点の誤りの比較 | 49.50%、105.71% | Ugan ら、PIER論文、ICASSP 2025 |
| 切り替え直後の最初のトークンの誤り:英語からヨルバ語とヨルバ語から英語の比較 | 0.95〜1.00、0.40〜0.53 | OkochaとGrant、arXiv 2026 |
| 最強のシステムの平均WER、切り替え密度が低い場合と高い場合の比較(英語・ヨルバ語) | 66.9%、71.2% | OkochaとGrant、arXiv 2026 |
| トークン誤り率、英語優勢の発話と均衡した発話とヨルバ語優勢の発話の比較 | 約0.42、0.65、0.83 | OkochaとGrant、arXiv 2026 |
方法論上の注意:英語・ヨルバ語のセットは、100人の話者による9.54時間の音声で、1発話あたり平均2.60回の切り替え(最大9回)を含むため、典型的な会話ではなくストレステストである。詳細な表:PIER論文と英語・ヨルバ語の切り替えを考慮した評価。
4. 切り替え点での言語識別
ほとんどの多言語モデルは、書き起こす前に、どの言語が聞こえているかを判断する。コードスイッチング音声では、この単一の判断が、あらゆる文の一部で設計上誤りになる。実際のインドのバイリンガル会話では、1つの言語が続く区間の平均は約500ミリ秒で、多くの発話は約200ミリ秒の単語1語だった(Baghel ら、DISPLACE 2023の概要)。言語ダイアライゼーション(誰がいつどの言語で話しているかを区別する処理で、話者ダイアライゼーションの言語版)はそれに応じて苦戦し、言語間の混同が最大の誤り要因だった。
同じ弱点は、プロンプトへの感度としても現れる。Whisperにどの言語を想定するかを伝えるかどうかで結果が数十ポイント変わることがあり、英語・ヨルバ語のセットでは言語を自動検出させるより固定したほうが良かった。文字体系も影響する。CS-FLEURSでは、2つの異なる文字体系で書かれる言語ペアは、1つの文字体系を共有するペアより平均で3倍高いCERとなっており、これは当社の多言語音声埋め込みの統計で扱った言語間の表現の問題に関連している。
| 指標 | 値 | 出典 |
|---|---|---|
| DISPLACE 2023の言語ダイアライゼーション誤り率、フェーズ2の評価:ベースライン(B2)と最良チームの比較 | 41.67%、37.60% | Baghel ら、DISPLACE 2023チャレンジの概要 |
| ベースライン(B2)の混同誤りの要素、フェーズ2の評価 | 26.40%(最大の要素) | Baghel ら、DISPLACE 2023チャレンジの概要 |
| DISPLACE 2023コーパス:総時間と言語 | 32時間;7言語(インドの6言語とインド英語) | Baghel ら、DISPLACE 2023チャレンジの概要 |
| 開発セットSEAME DevSgeでのWhisper-smallのゼロショットMER:中国語を指定した場合と英語を指定した場合の比較 | 157.5%、83.6% | Yang ら、SEAMEとASRU 2019でのWhisper(2023) |
| 英語・ヨルバ語でのWhisper-large-v3:言語の自動検出ありと固定プロンプトのWERの比較 | 74.8%、71.2% | OkochaとGrant、arXiv 2026 |
| SEAME.sgeテスト分割でのWhisper-large-v3の切り替え点の誤り(PIER):言語非依存デコードと英語固定デコードの比較 | 64.51%、36.10% | Ugan ら、PIER論文、ICASSP 2025 |
| 読み上げのCS-FLEURS音声でのWhisper-Large-v3のCER:同一文字体系のペアと異なる文字体系のペアの比較 | 7.32%、32.33% | Yan ら、CS-FLEURS、Interspeech 2025 |
背景の注記:DISPLACEの概要は、250 msのカラー(許容幅)を適用する寛容なスコア(DER**、フェーズ2のベースラインで34.72%)も報告しており、これにより500 ms以下の短い外国語の単語は評価から除外される。論文の著者らは、主な誤りはコードミックスの区間が短いことに起因すると結論づけている。出典:DISPLACE 2023チャレンジの概要。
5. データ不足:コードスイッチング音声は何時間あるのか
この不足は、第1〜4節の根本原因である。CS-Dialogueの比較表にある最大の中国語・英語コーパスTALCSは587時間で、Whisperは680,000時間の音声で学習されたため、TALCSはその約0.09%にあたる(587 / 680,000 = 0.086%)。 コードスイッチングのコーパスの大半はそれよりはるかに小さく、1つの言語ペアしか扱わず、多くはそもそもダウンロードできない。
誰もが引用するベンチマークでさえ、正確に把握するのは難しい。SEAMEはLinguistic Data Consortiumのカタログでは192時間だが、2025年の比較表の1つでは30時間となっている(データウォッチの注記を参照)。語彙のカバレッジも2つ目の欠落だ。MUCS 2021では、ベンガル語・英語のブラインドテストセットで未知語率(テスト単語のうち学習語彙にない割合)が27.3%に達した。
| 指標 | 値 | 出典 |
|---|---|---|
| SEAME中国語・英語コーパス(シンガポールとマレーシア):時間と話者 | 約192時間;19〜33歳の話者156人 | Linguistic Data Consortium、SEAME LDC2015S04(2015) |
| MUCS 2021のコードスイッチングの学習データ:ヒンディー語・英語とベンガル語・英語の比較 | 89.86時間、46.11時間 | Diwan ら、MUCS 2021チャレンジ |
| MUCS 2021の未知語率、ブラインドテスト:ヒンディー語・英語とベンガル語・英語の比較 | 19.6%、27.3% | Diwan ら、MUCS 2021チャレンジ |
| ASRU 2019チャレンジのデータ:中国語のみの学習とコードスイッチングの学習とコードスイッチングの開発セットの比較 | 500、200、40時間 | Shi ら、ASRU 2019チャレンジ報告(2020) |
| 自発的な中国語・英語コーパス:ASCENDとCS-DialogueとTALCSの比較 | 10.62時間(話者23人)、104.02時間(話者200人)、587時間 | Zhou ら、CS-Dialogue 2025(比較表) |
| CS-FLEURS:言語、コードスイッチングのペア、総時間 | 52言語、113ペア、294時間 | Yan ら、CS-FLEURS、Interspeech 2025 |
| HiKE韓国語・英語ベンチマークの規模 | 1,121発話、約2.2時間、話者13人 | Paik ら、HiKEベンチマーク2026 |
| NLP文献で紹介されたコードスイッチングのコーパス:総数と非公開の比較 | 114、72(63%) | Winata ら、ACL Findings 2023 |
新しさに関する注意:SEAME、MUCS、コーパスのサーベイの数値は、入手可能な最新データ(LDC 2015、MUCS 2021、Winata ら 2023)である。また、CS-FLEURSの294時間のうち128時間は音声合成で生成した合成音声の学習セットであり、テストセットの大半も合成であることにも注意が必要だ。実際のバイリンガル話者の声を使っているのは、17時間のREADテストセットだけである。出典:LDCのSEAMEカタログ項目、Winata らのサーベイ、Whisper論文。
6. ファインチューニングと適応の結果
少量のドメイン内のコードスイッチングデータでも、大きな効果がある。自然な韓国語・英語の音声でWhisper-MediumをファインチューニングするとHiKEの混合誤り率は31.3から9.0に下がり、22.3ポイントの低下となった。また、SEAMEのWhisper-smallは、同じプロンプトで開発セットDevManのMERが101.9から14.3に下がった。Yang らのチームは、SEAMEでの改善は約1〜10時間の適応データで頭打ちになったと報告している。
ただしトレードオフもある。HiKEでの同じファインチューニングにより、単一言語の韓国語のCERは3.4から6.0に上昇しており、混合音声向けに調整したモデルは単一言語の音声で精度を落とす可能性がある。それでも規模はチューニングに勝る。40,000時間を超えるデータで学習した社内のConformerは、SEAMEでファインチューニングしたWhisper-smallを約18%上回った(Yang ら、2023)。
| 指標 | 値 | 出典 |
|---|---|---|
| HiKEでのWhisper-Medium:自然な韓国語・英語の音声でのファインチューニング前後のMERの比較 | 31.3、9.0 | Paik ら、HiKEベンチマーク2026 |
| 同じファインチューニング:単一言語の韓国語のCERの前後の比較 | 3.4、6.0 | Paik ら、HiKEベンチマーク2026 |
| SEAMEでのWhisper-small、英語プロンプト:ゼロショットとファインチューニング後のMER、開発セットDevManと開発セットDevSge | 101.9、14.3;83.6、20.4 | Yang ら、SEAMEとASRU 2019でのWhisper(2023) |
| SEAMEでの改善が頭打ちになった適応データ量 | 約1〜10時間 | Yang ら、SEAMEとASRU 2019でのWhisper(2023) |
| CS-DialogueでのWhisper-Medium:ゼロショットとファインチューニング後のMERの比較 | 15.88%、7.53%(相対で52.6%の削減) | Zhou ら、CS-Dialogue 2025 |
| CS-FLEURSの読み上げテスト、既知の言語ペア:合成コードスイッチングによるデータ拡張なしとありの誤り率の比較 | 31.77、26.24 | Yan ら、CS-FLEURS、Interspeech 2025 |
計算の注記:CS-Dialogueの相対削減率は(15.88 - 7.53) / 15.88 = 52.6%である。ファインチューニングが常に有効とは限らない。PIER論文では、SEAMEでファインチューニングしたWhisper-smallは、SEAME.sgeテスト分割でMERが68.24から87.67に悪化した。出典:Yang ら 2023。
7. バイリンガル話者の間でコードスイッチングはどれほど一般的か
音声認識システムはコードスイッチングを例外的なケースとして扱うが、調査データはそれが日常的な話し方だと示している。米国のラテン系成人の63%が少なくとも時々Spanglishを使うと答え、40%は頻繁に使うと答えた(Pew Research Center 2023、2022年8月1日〜14日に実施したヒスパニック系成人3,029人の調査)。バイリンガルのラテン系ではその割合が77%に上がり、そのうち52%はSpanglishを非常に頻繁、または極めて頻繁に使う。音声認識にとって、これは混合言語が例外ではなく、多数のユーザーにとっての通常の入力であることを意味する。
テキストデータでも同じことが大規模に確認できる。7言語(オランダ語、英語、フランス語、ドイツ語、ポルトガル語、スペイン語、トルコ語)の約50百万件のツイートのうち、約3.5%がコードスイッチングを含み、その85.4%に英語が含まれていた。研究の関心は最大のバイリンガル人口を追う形になっており、ヒンディー語・英語とスペイン語・英語が文献の大部分を占め、音声研究の主要な学会であるISCAの論文の大半は音声データを扱っている。
| 指標 | 値 | 出典 |
|---|---|---|
| 少なくとも時々Spanglishを使う米国のラテン系成人と、頻繁に使う成人の比較 | 63%、40% | Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language(2023) |
| 少なくとも時々Spanglishを使う割合:バイリンガルと英語優勢と、スペイン語優勢のラテン系の比較 | 77%、54%、56% | Pew Research Center(2023) |
| 少なくとも時々Spanglishを使う割合:2世と3世以降の比較 | 72%、45% | Pew Research Center(2023) |
| 子どもと言語を混ぜて話すと答えたバイリンガルの親 | 181人の親の90% | コンコルディア大学、Byers-Heinleinの研究(2013) |
| 7言語の約50百万件のツイートに占めるコードスイッチングの割合 | 約3.5% | Rijhwani ら、ACL 2017 |
| コードスイッチングのツイートに占める最も混ざりやすいペアの割合:英語・スペイン語、英語・フランス語、英語・ポルトガル語 | 21.5%、20.8%、18.4% | Rijhwani ら、ACL 2017 |
| コードスイッチングのツイートの割合が最も高い都市と最も低い都市の比較 | イスタンブール12%、ヒューストン1% | Rijhwani ら、ACL 2017 |
| 言語ペア別のコードスイッチング研究論文数:ヒンディー語・英語とスペイン語・英語と中国語・英語の比較 | 128、86、47 | Winata ら、ACL Findings 2023 |
新しさに関する注意:親の研究(2013年)とTwitterの分析(2017年)は、これらの指標について入手可能な最新データであり、Pewの数値は2022年の調査に基づく。出典:Pew Research Centerの報告書、Rijhwani ら 2017、コンコルディア大学の研究のリリース。
数字で見るコードスイッチング音声認識(まとめ)
| 指標 | 値 | 出典 |
|---|---|---|
| Whisper-Large:韓国語・英語のコードスイッチングのMERと単一言語の英語のWERの比較 | 26.1%、4.4% | Paik ら、HiKEベンチマーク2026 |
| コードスイッチングを含むCS-FLEURSと単一言語のFLEURSのCERの比較 | 2倍を超えて高い | Yan ら、CS-FLEURS、Interspeech 2025 |
| ASRU 2019の優勝システム:中国語のCERと埋め込まれた英語のWERの比較 | 4.04%、12.33% | Shi ら、ASRU 2019チャレンジ報告(2020) |
| 自発的なASCENDの会話での最良のベースラインMER | 27.05% | Lovenia ら、ASCENDコーパス(2021) |
| CS-DialogueのMER:SenseVoice-SmallとWhisper Large-V2の比較 | 6.71%、15.29% | Zhou ら、CS-Dialogue 2025 |
| MUCS 2021のエンドツーエンドのベースラインWER:ヒンディー語・英語とベンガル語・英語の比較 | 25.9%、31.0% | Diwan ら、MUCS 2021チャレンジ |
| FisherでファインチューニングしたWhisper-large:WERの変化と切り替え点の誤りの変化の比較 | 5.06%改善、39.47%悪化 | Ugan ら、PIER論文、ICASSP 2025 |
| ヨルバ語への切り替え後と英語への切り替え後の誤りの比較 | 0.95〜1.00、0.40〜0.53 | OkochaとGrant、arXiv 2026 |
| インドのバイリンガル会話における言語区間の平均 | 約500 ms | Baghel ら、DISPLACE 2023チャレンジの概要 |
| 言語ダイアライゼーション誤り率の最良値、DISPLACE 2023 | 37.60% | Baghel ら、DISPLACE 2023チャレンジの概要 |
| 読み上げのCS-FLEURSのCER:同一文字体系のペアと異なる文字体系のペアの比較 | 7.32%、32.33% | Yan ら、CS-FLEURS、Interspeech 2025 |
| 掲載されている最大の中国語・英語コーパス(TALCS)とWhisperの学習データの比較 | 587時間、680,000時間 | Zhou ら、CS-Dialogue 2025;Radford ら、OpenAI 2022 |
| SEAMEコーパスの規模 | 約192時間、話者156人 | Linguistic Data Consortium、LDC2015S04 |
| コードスイッチングのコーパスの非公開の割合 | 114件中72件(63%) | Winata ら、ACL Findings 2023 |
| 少なくとも時々Spanglishを使う米国のラテン系成人 | 63% | Pew Research Center(2023) |
| 7言語のツイートに占めるコードスイッチングの割合 | 約3.5% | Rijhwani ら、ACL 2017 |
方法論と出典
- Paik ら、HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition、arXiv v4、2026年1月13日:arxiv.org/html/2509.24613v4
- Yan ら、CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset、Interspeech 2025:arxiv.org/abs/2509.14161v1
- OkochaとGrant、Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech、arXiv、2026年9月10日:arxiv.org/abs/2609.11786
- Ugan、Pham、Barmann、Waibel、PIER: A Novel Metric for Evaluating What Matters in Code-Switching、ICASSP 2025:arxiv.org/html/2501.09512
- Zhou ら、CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition、arXiv v2、2025年3月12日:arxiv.org/html/2502.18913v2
- Shi、Feng、Xie、The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results、2020:arxiv.org/abs/2007.05916
- Diwan ら、Multilingual and code-switching ASR challenges for low resource Indian languages (MUCS 2021)、2021:arxiv.org/abs/2104.00235
- Lovenia ら、ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation、2021:arxiv.org/abs/2112.06223v4
- Yang、Peng、Zhong、Huang、Chng、Adapting OpenAI’s Whisper for Speech Recognition on Code-Switch Mandarin-English SEAME and ASRU2019 Datasets、2023年11月29日:arxiv.org/html/2311.17382v1
- Baghel ら、Summary of the DISPLACE Challenge 2023、2024年1月3日改訂:arxiv.org/abs/2311.12564
- Linguistic Data Consortium、SEAMEカタログ項目LDC2015S04、2015年4月15日公開:catalog.ldc.upenn.edu/LDC2015S04
- Winata、Aji、Yong、Solorio、The Decades Progress on Code-Switching Research in NLP、ACL Findings 2023:arxiv.org/abs/2212.09660
- Radford ら(OpenAI)、Robust Speech Recognition via Large-Scale Weak Supervision、2022:arxiv.org/abs/2212.04356
- Pew Research Center、Latinos’ Views of and Experiences With the Spanish Language、2023年9月20日:pewresearch.org
- Rijhwani ら、Estimating Code-Switching on Twitter with a Novel Generalized Word-Level Language Detection Technique、ACL 2017:aclanthology.org/P17-1180
- コンコルディア大学、バイリンガルの親181人を対象としたByers-Heinleinの研究、2013年1月16日のプレスリリース:sciencedaily.com
- データウォッチ:SEAMEの規模は情報源によって異なる。LDCのカタログでは約192時間・話者156人、CS-Dialogueの比較表では30時間・話者157人(同論文の本文では話者92人とされている)、Yang らは93.6時間の学習セットを使用しており、これらの数値はおそらく異なるサブセットを指している。MUCS 2021のアブストラクトは、コードスイッチングのベースラインWER 32.45%を挙げているが、これは再アラインメント後の本稿で引用した結果ではなく、アラインメント前のエンドツーエンドの平均値に一致し、記載された総計約600時間も同論文自身の表の合計と一致しない。ASRU 2019のアブストラクトはコードスイッチングのデータを240時間としているが、これは学習200時間と開発40時間の合計である。HiKEの数値はarXivのバージョン間で変わった(Whisper-Tinyの全体MERはv2で103.8、v4で93.6)ため、本稿ではv4を引用している。英語・ヨルバ語の論文は2026年9月10日に公開されたもので、査読後に数値が変わる可能性がある。MER、CER、WER、PIERは、挿入が誤りとして数えられるため100%を超えることがある。普及率の数値はそれぞれ異なるものを測っており(自己申告の発話、親が報告した発話、書かれたツイート)、合算すべきではない。
- 最終更新日:2026年10月31日。本まとめは四半期ごとに更新しており、次回の更新は、Interspeech 2026とICASSP 2027のコードスイッチングに関する論文、およびHiKEベンチマークの査読済み最終版が公開された時点を予定している。