67件の研究と392の効果量を通じて、機械のスコアと発音に関する人間の判断との相関は、流暢さやデリバリー(話し方)の統合値を下回るr = .606だった(Wang・Min、Language Testing 2026)。ベンチマークの数値も、より細かい粒度で同じ傾向を示している。speechocean762コーパスで引用されている音素レベルの最高のピアソン相関係数(PCC)は0.693であり、2026年の主要な誤り検出器でも、実際の発音ミスのおよそ3つに1つを見逃している。試験ベンダーは試験全体としてはるかに高い数値、最大0.97を報告しているが、自社の発音サブスコアはそれをかなり下回る。これらの数値が測っているのは一致度であって売上ではないため、本稿は、より広範な言語学習統計とは切り離して扱っている。Language Testing、speechocean762コーパス、ETSの研究報告書、Pearsonの検証報告書、PLOS One、Language Learning、さらに十数本の論文や技術文書からデータを集約した。
主なポイント
- 発音における機械と人間の相関の統合値:r = .606。すべてのスピーキング構成要素を通じた値はr = .654(Wang・Min、Language Testing 2026)。
- speechocean762で引用されている音素レベルの最高PCC:0.693。コーパスのベースライン0.45から上昇(Caoほか、arXiv 2025;Zhangほか、2021)。
- Versant English Testの発音サブスコア:機械と人間の相関は0.88で、サブスコアの中で最も低い(Pearson、Versant検証サマリー2022)。
- TOEFL Junior Speakingにおける人間対人間はr = .89、人間対機械はr = .81(ETS、TOEFL Junior自動採点報告書2015)。
- ある教室研究では、2人の教師の一致度はr = 0.583にとどまったが、別のペアはr = 0.901に達した(Chen・Sun、PLOS One 2025)。
- 私たちの情報源で報告されたL2-ARCTICにおける発音誤り検出の最良のF1:71.77%(Gengほか、arXiv 2026)。
- そのシステムにおける実際の発音ミスの誤受理:32.76%。正しい音の誤棄却は3.39%(Gengほか、arXiv 2026)。
- speechocean762におけるGPT-4oの最良の結果:発話レベルで0.502。Azure Pronunciation Assessmentは0.782(Wangほか、arXiv 2025)。
- ある消費者向けアプリは教師とr = 0.869で相関したが、平均スコアは人間の86.41に対して92.00だった(Chen・Sun、PLOS One 2025)。
- 検出器を汎用モデルから対象の学習者グループに移すと、ROC-AUCが0.72から0.85に上昇した(Nijatほか、Applied Sciences 2026)。
1. 基準値:67件の研究が示す機械と人間の一致度
ピアソンのrは-1から1までの値をとり、2組のスコアが一緒に上がり下がりするかどうかを測る。発音の統合値r = .606はこの尺度では強いが、二乗すると限界が見える。.606 x .606 = .367、つまり人間のスコアの変動のうち機械と共有されているのは約37%にすぎない。
意外なのは構成要素の順位だ。デリバリー(スピーキング評価で、内容ではなく発話全体がどう聞こえるか)は発音を大きく上回っており、システムは本稿が追跡する個別の構成要素よりも全体的な印象のほうが得意だということになる。文法と語彙はすべての中で最下位だ。Language Testingのメタ分析は、ASRの精度が有意な調整変数ではなかったことも明らかにしており、より優れた音声認識器が自動的により優れた採点システムを意味するという一般的な想定を揺るがしている。
| 指標 | 値 | 出典 |
|---|---|---|
| メタ分析の規模と、機械と人間の全体の相関統合値 | 67件の研究、392の効果量、r = .654(p < .001) | Wang・Min、Language Testing 2026 |
| デリバリーの相関統合値と発音の相関統合値の比較 | r = .784 対 r = .606 | Wang・Min、Language Testing 2026 |
| スピーキング能力全般の相関統合値と流暢さの相関統合値の比較 | r = .686 対 r = .618 | Wang・Min、Language Testing 2026 |
| 内容の相関統合値と文法・語彙の相関統合値の比較 | r = .574 対 r = .499 | Wang・Min、Language Testing 2026 |
| 有意な効果のある調整変数と、ない調整変数 | 有意が10(年齢層、評価者の専門性、評価者間信頼性を含む)対、有意でないものが4(ASR精度を含む) | Wang・Min、Language Testing 2026 |
| あるベンダーが人間の審査員との「高」一致と位置づけるピアソン相関の範囲 | 0.5から1.0 | Microsoft、Pronunciation Assessment透明性ノート2026(ベンダー自身のガイドライン) |
背景の注記:Microsoft自身の尺度では、メタ分析で最も弱い構成要素でさえ、ほぼ「高」に達する。こうしたラベルは、個々の学習者のスコアを信頼できるかどうかについてはほとんど何も語らない。合格ラインとして用いるなら、Microsoftのガイドラインは、上の表の統合値のほぼすべてを通過させてしまう。
2. 人間の上限:評価者同士はどれくらい一致するか
機械は完全な基準に照らして測ることはできない。人間の基準自体にもばらつきがあるからだ。2025年のある研究では、訓練を受けた教師のペアはr = 0.901からr = 0.583までの幅に分かれ、その低い値は、セクション1の機械の発音相関の統合値を下回る。標本はわずか30人の学習者で、課題はスピーキング能力全般だったため、これは幅を示すものであって、機械が教師を上回ると証明するものではない。
下のアラビア語の研究の臨床家は教師よりはるかに高い一致を示したが、言語も課題も異なる。また平均化は有効で、PLOS Oneの研究では評価者1人の0.713が3人の平均で0.882に上がる。ICC(級内相関係数)はピアソンのrとは別の尺度で、絶対一致の形式では、評価者が全体として厳しいか甘いかにもペナルティを課す。最も有用な比較はETSのTOEFL Junior研究で、同じデータで両方の数値を報告している。両者の差こそが、自動化にまだ欠けているものの正直な尺度である。聞き手の判断という同じ問題は、合成音声の品質スコアにも共通している。
| 指標 | 値 | 出典 |
|---|---|---|
| TOEFL Junior Speakingのフォーム単位、5つの応答:人間対人間の相関と人間対機械の相関の比較 | r = .89 対 r = .81 | ETS、TOEFL Junior自動採点報告書2015(入手可能な最新データ) |
| アラビア語の発音を採点した3人の言語聴覚士:ペアごとのPCCの範囲 | 0.858から0.927 | Azadほか、Harf-Speech、arXiv 2026 |
| 同じ3人の臨床家:ペアごとのICC(2,1)の範囲 | 0.846から0.922 | Azadほか、Harf-Speech、arXiv 2026 |
| スピーキング能力を採点した3人の英語教師:評価者1人の一致度、ICC(2,1) | 0.713(95%信頼区間 0.539から0.835) | Chen・Sun、PLOS One 2025 |
| 同じ3人の教師:平均スコアの一致度、ICC(2,k) | 0.882(95%信頼区間 0.778から0.938) | Chen・Sun、PLOS One 2025 |
| 同じ3人の教師:最も一致するペアと最も一致しないペア | r = 0.901 対 r = 0.583 | Chen・Sun、PLOS One 2025 |
| 評価者訓練後の、特性と無関係な聞き手変数の影響の減少:総合的な口頭能力評価と聞き取りやすさ評価の比較 | 75% 対 50% | Dalman・Kang、IntechOpen 2019、Kangほか 2019の要約(入手可能な最新データ) |
| speechocean762の5人の専門家アノテーターについて公表された一致度の統計量 | 報告なし | Zhangほか、speechocean762論文 2021 |
外れ値の注記:最後の行は見かけ以上に重要だ。この分野の主要な公開ベンチマークは、アノテーター間の相関もカッパも公表していないため、その論文を読んでも、0.693が人間の上限にどれだけ近いのか誰にも言えない。
3. ハイステークス試験:ベンダーの数値と、その内部にある発音の格差
試験全体の数値はほぼ完璧に見えるが、発音ではそうならなくなる。**Pearson自身のVersantデータでは、発音は0.88と最も弱いサブスコアで、総合スコアは0.97に達する。**この低下はPearsonの各文書で一貫している。PTE Academicのプレゼンテーションでは0.81、発音を含むVersantのカテゴリーである話し方(Manner of Speaking)では0.85だ。
これらの数値は、セクション1の統合値r = .606をはるかに上回る。差の一部は標本の取り方による。試験スコアは多くの設問を集約しており、検証標本はしばしば幅広い能力水準にわたる(Versant Speaking and Listeningの報告書は、260人の成人の中にL1が英語の話者を26人含んでいる)。範囲が広いと相関は高くなる。メタ分析も、システム開発者と標本単位を有意な調整変数に挙げている。ベンダーの数値は、有利な条件下での上限値として読むべきだ。これらの試験の規模については、英語試験の受験者数統計を参照。
| 指標 | 値 | 出典 |
|---|---|---|
| Versant English Test、スコア別の機械と人間の相関、n = 143 | 総合0.97、文構成0.97、語彙0.96、流暢さ0.94、発音0.88 | Pearson、Versant検証サマリー2022(ベンダー自身の主張、入手可能な最新データ) |
| Versant English Testの発音スコアの折半法信頼性:機械採点と人間採点の比較、n = 143 | 0.97 対 0.99 | Pearson、Versant検証サマリー2022(ベンダー自身の主張) |
| 外部試験との相関(各n = 130):Versantスコアと、TOEFL iBTスピーキングおよびIELTSスピーキングの比較 | 0.75 対 0.76 | Pearson、Versant検証サマリー2022(ベンダー自身の主張) |
| Versant English Speaking and Listening Test、機械と人間の相関、n = 260 | 総合.96、スピーキング.88、話し方.85 | Pearson、Versant Speaking and Listening検証報告書2024(ベンダー自身の主張) |
| PTE Academicスピーキング、特性別の機械と人間の相関、N = 158 | 発音0.81、流暢さ0.82、総合0.96 | Pearson、MELTA自動採点プレゼンテーション2018(ベンダー自身の主張、入手可能な最新データ) |
| ETS SpeechRaterの年表:サービスが最初に導入された年とバージョン5.0が本稼働した年の比較 | 2006 対 2016 | Chenほか、ETS研究報告書2018 |
背景の注記:折半法信頼性は、採点者が試験の前半と後半の間で自分自身とどれだけ一貫しているかを示す。機械はこの指標で0.97に達しながら、人間とは一致しないことがありうる。Versantの発音の行はまさにそのパターンだ。
4. speechocean762ベンチマーク:粒度別の進歩
speechocean762は、250人の非母語話者による5,000の英語発話(うち半数は子ども)を収録し、それぞれを5人の専門家が採点している。スコアは3つの水準、すなわち音素(個々の発話音であり、電話ではなく音声学上の単位)、単語、発話で存在する。指標はPCC(高いほど良い)とMSE(平均二乗誤差、低いほど良い)である。GOP、すなわちGoodness of Pronunciation(発音の良さ)は、新しいモデルが上回ろうとする古典的な統計的スコアだ。
音素レベルのPCCは、2021年のベースラインから2023年のモデルまでの間に0.45から0.693へ上昇し、2026年2月5日に改訂された論文は今も0.693を既知の最高値として引用している。単位が小さくなるほど一致度は低下する。発話スコアは0.80台に達するが、音素と単語のスコアは0.60台にとどまる。文全体で平均すると誤りが隠れるため、学習者の総合スコアは信頼できても、個々の音に対するフィードバックは信頼できないことがありうる。コーパス論文は、0から10の尺度に換算した音素スコアの大半が8から10に収まり、正しい音がデータの大部分を占めることも指摘している。
| 指標 | 値 | 出典 |
|---|---|---|
| 元の音素レベルのベースライン:生のGOP値とGOPに基づく特徴量の比較 | MSE 0.69・PCC 0.25 対 MSE 0.16・PCC 0.45 | Zhangほか、speechocean762論文 2021 |
| GOPT Transformerモデル、音素レベル | MSE 0.085 ± 0.001、PCC 0.612 ± 0.003 | Gongほか、GOPT、ICASSP 2022 |
| speechocean762で引用されている音素レベルの最高PCC | 0.693 | Chaoほか、Interspeech 2023、Caoほか、arXiv 2025に引用 |
| セグメンテーション不要のGOP特徴量をGOPTに入力、音素レベル | PCC 0.648 ± 0.002 | Caoほか、arXiv 2025 |
| 単語レベルの総合PCCと発話レベルの総合PCCの比較、GOPT | 0.549 対 0.742 | Gongほか、GOPT、ICASSP 2022 |
| 単語レベルの総合PCCと発話レベルの総合PCCの比較、3MHモデル | 0.694 対 0.811 | Wangほか、GPT-4o発音研究、arXiv 2025 |
| HMambaモデルの発話レベル:正確さ、流暢さ、プロソディのPCC | 0.807、0.848、0.843 | Sara・Chowdhury、arXiv 2026 |
| 技術世代別の機械と人間の相関統合値:従来型機械学習、深層学習、Transformer | r = .597、r = .641、r = .680 | Wang・Min、Language Testing 2026 |
外れ値の注記:同じ3MHモデルは、語強勢で0.361、発話の完全性で0.374にとどまる(Wangほか、arXiv 2025)。この2つがベンチマークで最も難しいラベルだ。
5. 音素誤り検出:適合率、再現率、見逃される3分の1
採点は音がどれだけ良かったかを問う。発音誤り検出は音素ごとにはい・いいえの問いを立て、適合率(フラグのうち正しかった割合)と再現率(実際の誤りのうち捉えられた割合)のバランスをとる単一のスコアであるF1を報告する。**私たちの情報源におけるL2-ARCTICの最高結果はF1 71.77%**で、2026年のプレプリントによるものであり、2025年の比較の最良のベースラインを8.73ポイント(71.77 - 63.04)上回る。
2種類の誤りの内訳は、設計上の優先事項を反映している。誤受理は誤った音が正しいものとして通過することを、誤棄却は正しい音がフラグを立てられることを意味する。この数値は再現率の補数である。100 - 67.24 = 32.76であり、つまり実際の誤りの3つに1つはフラグが立たない。2025年の論文は、学習者を誤って訂正すると意欲を損なうため誤棄却を最も重要な指標と位置づけており、結果はこの優先事項に合致している。学習者が目にする誤警報は少ない一方で、多くの真の誤りはフラグが立たないままだ。
| 指標 | 値 | 出典 |
|---|---|---|
| L2-ARCTICベンチマーク:全話者数とテストセットの話者数の比較 | 24 対 6 | Tuほか、PER-MDD、arXiv 2025 |
| 初期のエンドツーエンド検出器のF1向上:GOP法に対する向上とエンドツーエンドのベースラインに対する向上の比較 | 27.71% 対 11.05% | Yanほか、Interspeech 2020 |
| L2-ARCTICのF1:従来の最良ベースライン(Joint-Align)と、訓練不要の検索型システム(PER-MDD)の比較 | 63.04% 対 69.60% | Tuほか、PER-MDD、arXiv 2025 |
| L2-ARCTIC、CROTTC-IFシステム:F1、適合率、再現率 | 71.77%、76.94%、67.24% | Gengほか、CROTTC-IF、arXiv 2026 |
| L2-ARCTIC、CROTTC-IFシステム:誤棄却と誤受理の比較 | 3.39% 対 32.76% | Gengほか、CROTTC-IF、arXiv 2026 |
| L2-ARCTICの音素誤り率:CROTTC-IF、その音響モデル単体、PER-MDDの比較 | 46.52 対 17.48 対 104.08 | Gengほか、CROTTC-IF、arXiv 2026 |
| speechocean762での検出F1:CROTTC-IF、HMamba、MuFFINの比較 | 57.16% 対 63.85% 対 67.98% | Gengほか、arXiv 2026;Chao・Chen、HMamba、arXiv 2025 |
外れ値の注記:100を超える音素誤り率は誤植ではない。著者らはこれを挿入された音素によるものとしており、システムが誤りをうまく検出しながら書き起こしは不得意になりうることを示している。アラビア語の結果も似ており、同じ2026年の論文のIqra’Eval2リーダーボードの最高値はF1 72.01%だ。
6. 商用API、消費者向けアプリ、チャットボット
サービス間の差は、研究モデル間の差よりも大きい。speechocean762での2025年のテストは、Azure Pronunciation Assessmentの発話レベルを0.782とした。**GPT-4oの最良の設定は0.502で、音素レベルではわずか0.249だった。**汎用のマルチモーダルモデルは聞くことはできるが、この証拠からは、個々の音をまだ判断できない。
ベンダーの研究所の外でのテストは、商用ツールにとってあまり好意的ではない。Wonによる2025年の研究は、韓国の小学生学習者による190本の音読録音を対象に、Azureの音素スコアと人間の判断の間に中程度の相関を見いだした一方、最も精度の高いシステムの単語誤り率はほぼゼロで、人間の評価とは弱い相関しか示さなかった。誰の発話でも理解できる認識器は、発音の有用な代理指標ではなくなる。下のSmartSpeechの行は第2の論点を示している。ツールは人間と強く相関しながらも、平均スコアを5点以上水増しすることがある。
| 指標 | 値 | 出典 |
|---|---|---|
| 人間の審査員との一致に関するベンダーの声明 | ピアソン相関0.5超 | Microsoft、Pronunciation Assessment透明性ノート2026(ベンダー自身の主張) |
| speechocean762でのAzure Pronunciation Assessment:単語の正確さのPCCと発話の総合PCCの比較 | 0.623 対 0.782 | Wangほか、GPT-4o発音研究、arXiv 2025 |
| speechocean762でのGPT-4oの最良の結果:音素、単語総合、発話総合のPCC | 0.249、0.277、0.502 | Wangほか、GPT-4o発音研究、arXiv 2025 |
| 臨床家が採点したアラビア語音声、40サンプル:臨床家の平均スコアとのPCC、Harf-SpeechとAzureの比較 | 0.791 対 0.635 | Azadほか、Harf-Speech、arXiv 2026 |
| 同じアラビア語テスト:0から5の尺度でのRMSE、Harf-SpeechとAzureの比較 | 1.05 対 1.28 | Azadほか、Harf-Speech、arXiv 2026 |
| 3つのAIスピーキングアプリと人間評価者の平均の比較、学習者30人:AI Speaking Master、TalkAI Language Practice、SmartSpeech AI Assessment | r = 0.854、0.873、0.869 | Chen・Sun、PLOS One 2025 |
| SmartSpeechの平均スコアと人間の平均スコアの比較 | 92.00 対 86.41、差5.589(95%信頼区間 5.023から6.155)、Cohen’s d = 3.688 | Chen・Sun、PLOS One 2025 |
| Duolingoの発音スコアラー:専門家の人間評価とのスピアマン相関 | 0.82 | Caiほか 2025に関するDuolingo English Testブログ(ベンダー自身の要約) |
背景の注記:Harf-Speechの数値は、システム自身の著者によるプレプリントに基づくため、Azureに対する優位は慎重に扱うこと。Duolingoは0.82を人間の評価者間の一致にほぼ匹敵すると説明しているが、ブログ記事には人間の数値は掲載されていない。
7. 転移と公平性:ベンチマークの外で起こること
上記のベンチマークの証拠の多くは、中国語(マンダリン)話者の学習者による単一のコーパスに由来しており、きれいには転用できない。speechocean762で正確さに0.661を記録した同じシステムは、複数の母語の話者を含むコーパスであるL2-ARCTICでは0.506に低下し、新しいデータで再訓練しても0.527にしか上がらなかった。対象グループへの適応は検出ではより効果的だ。2026年のある研究は、学習者自身でのファインチューニングによりROC-AUCを0.72から0.85に引き上げた。ROC-AUCは、あらゆる閾値を通じてシステムが正誤をどれだけ分離できるかを測る指標で、0.5が偶然の水準である。
偏りに関する知見は大半が方向性を示すにとどまる。グループ別の格差を公表している論文が少ないためだ。それでも、発話障害のある受験者に関するETSの研究とDuolingoのLanguage Learning論文は、大手試験機関が構築したスコアラーを含め、測定可能な問題を見いだしている。その土台にある認識層にも固有の格差があり、アクセントバイアス統計で扱っている。子どもには独自の証拠が必要であることは、子どもの音声認識統計が示すとおりだ。
| 指標 | 値 | 出典 |
|---|---|---|
| speechocean762で学習した1つの採点モデルの正確さのPCC:speechocean762でテストした場合とL2-ARCTICでテストした場合の比較 | 0.661 対 0.506 | Sara・Chowdhury、arXiv 2026 |
| 同じモデルのL2-ARCTICでの値(L2-ARCTICのデータで再訓練後) | 0.527 | Sara・Chowdhury、arXiv 2026 |
| 発音誤り検出のROC-AUC:非母語の学習者でのファインチューニング前と後のモデルの比較 | 0.72 対 0.85 | Nijatほか、Applied Sciences 2026 |
| ERJコーパスでの検出F1:学習者データなし(ゼロショット)とファインチューニング後の比較 | 78.44% 対 89.27% | Gengほか、CROTTC-IF、arXiv 2026 |
| 子どもの音声(CMU Kids)、実際の誤り、AUC:従来のGOP-DNN-AvgとセグメンテーションフリーのGOP-CTC-SF-SDの比較 | 0.796 対 0.914 | Caoほか、arXiv 2025 |
| 子どもの音声でのGOP-CTC-SF-SD:模擬誤りと実際の誤りの比較、AUC | 0.986 対 0.914 | Caoほか、arXiv 2025 |
| 発話障害または聴覚障害のある受験者、TOEFL iBTスピーキングの6設問 | SpeechRaterのスコアは人間のスコアより高くなる傾向があった | Loukina・Buzick、ETS研究報告書2017(入手可能な最新データ) |
| 現代の発音スコアラーで報告された偏りの要因 | 音声品質と言語系統グループ | Caiほか、Language Learning 2025 |
背景の注記:最初の2行のL2-ARCTICの採点ラベルは、10人の話者について専門家がレビューしたAzureの擬似ラベルであり、これらのPCCは人間との一致度であると同時に、別の機械との一致度も測っている。Microsoftは別途、自社サービスについて16 kHz以上の音声と単一話者を推奨している。
まとめ:数字で見るAI発音評価の採点精度
| 指標 | 値 | 出典 |
|---|---|---|
| 機械と人間の相関統合値:発音とすべてのスピーキング構成要素の比較 | r = .606 対 r = .654 | Wang・Min、Language Testing 2026 |
| TOEFL Junior Speaking:人間対人間と人間対機械の比較 | r = .89 対 r = .81 | ETS、TOEFL Junior自動採点報告書2015 |
| 3人の言語聴覚士:ペアごとのPCCの範囲 | 0.858から0.927 | Azadほか、Harf-Speech、arXiv 2026 |
| 3人の英語教師:最も一致するペアと最も一致しないペア | r = 0.901 対 r = 0.583 | Chen・Sun、PLOS One 2025 |
| Versant English Test:総合と発音の機械と人間の相関の比較 | 0.97 対 0.88 | Pearson、Versant検証サマリー2022(ベンダー自身の主張) |
| PTE Academicスピーキング:発音の機械と人間の相関、N = 158 | 0.81 | Pearson、MELTAプレゼンテーション2018(ベンダー自身の主張) |
| speechocean762の音素レベルのベースラインPCC | 0.45 | Zhangほか、speechocean762論文 2021 |
| GOPTの音素レベルPCC | 0.612 | Gongほか、GOPT、ICASSP 2022 |
| speechocean762で引用されている音素レベルの最高PCC | 0.693 | Chaoほか、Interspeech 2023、Caoほか、arXiv 2025に引用 |
| 3MHの発話レベル総合PCC | 0.811 | Wangほか、GPT-4o発音研究、arXiv 2025 |
| 私たちの情報源におけるL2-ARCTICの検出F1の最高値 | 71.77% | Gengほか、CROTTC-IF、arXiv 2026 |
| そのシステムにおける誤棄却と誤受理の比較 | 3.39% 対 32.76% | Gengほか、CROTTC-IF、arXiv 2026 |
| speechocean762の発話レベルPCC:AzureとGPT-4oの最良設定の比較 | 0.782 対 0.502 | Wangほか、GPT-4o発音研究、arXiv 2025 |
| アラビア語テスト:臨床家の平均スコアとのPCC、Harf-SpeechとAzureの比較 | 0.791 対 0.635 | Azadほか、Harf-Speech、arXiv 2026 |
| SmartSpeechの平均スコアと人間の平均スコアの比較 | 92.00 対 86.41 | Chen・Sun、PLOS One 2025 |
| 対象の学習者でのファインチューニング前と後のROC-AUC | 0.72 対 0.85 | Nijatほか、Applied Sciences 2026 |
方法論と出典
各研究、報告書、技術文書は直接読み、各情報源の表記をそのまま保った。先頭のゼロなしで書かれたr値も同様である。プレプリントはarXivと表記しており、査読を経ているとは限らない。
- Wang・Min、The human-machine correlation in automated speech evaluation: A three-level meta-analysis、Language Testing、2026年。
- Zhangほか、speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment、2021年。
- Gongほか、Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment、ICASSP 2022。
- Chaoほか、A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment、Interspeech 2023。
- Caoほか、Segmentation-free Goodness of Pronunciation、arXiv 2025、2026年2月5日改訂。
- Sara・Chowdhury、Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal、arXiv 2026。
- Wangほか、Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment、arXiv 2025。
- Chao・Chen、HMamba論文、arXiv 2025。
- Tuほか、Mispronunciation Detection and Diagnosis Without Model Training、arXiv 2025。
- Gengほか、Beyond Acoustic Sparsity and Linguistic Bias、arXiv 2026。
- Yanほか、An End-to-End Mispronunciation Detection System for L2 English Speech、Interspeech 2020。
- Azadほか、Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment、arXiv 2026。
- Chen・Sun、Evaluating automated evaluation systems for spoken English proficiency、PLOS One、2025年。
- Won、Assessing the efficacy of word error rate as a proxy for pronunciation quality、Journal of Second Language Pronunciation、2025年。
- Nijatほか、Beyond Native Norms: A Perceptually Grounded and Fair Framework for Automatic Speech Assessment、Applied Sciences、2026年。
- Caiほか、Developing an Automatic Pronunciation Scorer、Language Learning、2025年、およびDuolingo English Testブログの要約。
- Pearson、Versant English Test Description and Validation Summary、2022年。
- Pearson、Versant English Speaking and Listening Test検証報告書、2024年。
- Pearson、MELTA自動採点プレゼンテーション、2018年。
- ETS、Automated Scoring for the TOEFL Junior Comprehensive Writing and Speaking Test、2015年。
- Loukina・Buzick、Use of Automated Scoring in Spoken Language Assessments for Test Takers With Speech Impairments、ETS研究報告書、2017年。
- Chenほか、Automated Scoring of Nonnative Speech Using the SpeechRater v. 5.0 Engine、ETS研究報告書、2018年。
- Microsoft、Characteristics and limitations of Pronunciation Assessment、2026年。
- Dalman・Kang、Listener Background in L2 Speech Evaluation、IntechOpen、2019年。
- データウォッチ:入手可能な最新データは、ETSの2015年と2017年、Pearsonの2018年と2022年、Dalman・Kangの2019年である。これより新しい公開の同等データが見つからなかったためで、またETSは、私たちが読めた文書の中でTOEFL iBTの運用上の一致度の数値を公表していない。ベンチマークは、訓練データ、分割、擬似ラベルが異なるため論文間で直接比較できず、0.693という最高記録はCaoほかが自分たちの知る限りとして述べている値である。HMambaの要旨は読めたが音素レベルの表は読めなかったため、より新しい音素レベルの数値が存在する可能性がある。CROTTC-IFはspeechocean762での最良の検出器ではなく、同じ表ではMuFFINの67.98%が上回っている。ベンダーの数値は、ベンダー自身の検証標本に基づく。私たちが読んだ情報源では、発音に使えるコーエンのカッパ(Cohen’s kappa)は見つからず、これらの情報源はPCCとICCを好む。Wang・MinおよびLoukina・Buzickの数値は公表された要旨に基づく。Chen・Sunの標本は30人の学習者、Harf-Speechは40サンプルであり、どちらも小規模である。
最終更新日:2026年10月31日。当社はこのまとめを四半期ごとに更新しており、次回の更新は、ISCA Archiveが次のInterspeechの論文集を公開した時期を予定している。