音声強調のPESQ・STOIベンチマーク統計(2026年):スコア、聴取者との一致度、実環境とのギャップに関する55以上のデータポイント

音声強調のPESQ・STOI統計2026:PESQの攻略を狙って調整したモデルはVoiceBank-DEMANDで3.82を記録したが、実際の聴取者からは非常に低い評価だった。

PESQを突くことを目的に作られた音声強調モデルが、VoiceBank-DEMANDのテストセットで3.82を記録した。これは本稿で取り上げる最良の正当なシステムが報告する3.69を上回るが、そのPOLQAスコアは手を加えていない雑音入力の3.11に対して1.46まで落ち込んだ(de Oliveiraら、PESQetarian論文、Interspeech 2024)。正当な競争も現実のものだ。同じベンチマークでのPESQは、2017年のSEGANの2.16から、2025年のPrimeK-Netの3.61まで上昇した。ところが、PESQの隣によく併記される了解度指標のSTOIは、13の聴取データセット全体で実測の了解度との相関が平均0.62にとどまった(Edrakiら、IEEE/ACM TASLP 2020)。本稿では、ITU-T、Interspeech、ICASSP、IEEE SLT、WASPAAの査読付き論文、IEEE/ACM Transactions on Audio, Speech, and Language Processing、MicrosoftのDeep Noise Suppression(DNS)チャレンジ、URGENTおよびCCF AATCのチャレンジ報告書からデータを集約した。同じモデルの遅延や製品面については、当社のニューラルノイズ抑制の遅延統計をご覧ください。このページはスコアそのものと、それをどこまで信頼できるかを扱う。

主なポイント

  • VoiceBank-DEMANDでのPESQは、2.16(SEGAN、2017年)から3.41(CMGAN、2022年)へ上昇した(Caoら、CMGAN論文、Interspeech 2022)。
  • SEMambaはPESQ 3.55に達し、知覚的コントラスト拡張を加えると3.69になった(Chaoら、IEEE SLT 2024)。
  • PrimeK-Netは、わずか1.41Mパラメータで3.61のPESQを報告した(PrimeK-Net論文、ICASSP 2025)。
  • PESQetarianはPESQ 3.82に達したが、SI-SDRは-19.8 dBで、雑音入力の8.4 dBを下回った(de Oliveiraら、Interspeech 2024)。
  • STOIと実測の了解度とのピアソン相関は13データセットで平均0.62、eSTOIは0.88だった(Edrakiら、IEEE/ACM TASLP 2020)。
  • DNSMOS P.835と音声品質の相関は、モデルごとの0.94からクリップごとの0.71へ低下した(Reddyら、Microsoft、DNSMOS P.835論文 2021年)。
  • 未知の音声コーパスでのConv-TasNetのESTOI汎化ギャップは、対応する参照モデルに対して-68%だった(Gonzalezら、IEEE/ACM TASLP 2023)。
  • ROSE-CDのPESQは、ドメイン内の3.49からドメイン外の2.62へ低下した(Xuら、WASPAA 2025)。
  • 参照なし指標は、ハイブリッド系システムについて聴取者MOSとの順位相関が-0.8だった(Zhangら、CCF AATC 2025回顧)。
  • ITU-Tは2024年1月5日にPESQ(P.862)を削除した(ITU-T P.862勧告ページ)。

1. VoiceBank-DEMANDにおけるPESQ競争、2017年から2025年

PESQ(知覚的音声品質評価)は、強調後の録音をクリーンな原音と比較し、聴取者が付けるであろう評価を予測する。VoiceBank-DEMANDは、日常的な録音雑音を混ぜた朗読文からなる小規模な英語のテストセットで、PESQを報告する際の標準的な場となった。PESQは、2017年のSEGANの2.16から、2024年の知覚的コントラスト拡張付きSEMambaの3.69まで上昇した。そして、その上昇ペースがそれ自体を物語っている。

SEGAN(2.16)からMetricGAN+(3.15)までの4年間で、この分野はPESQを0.99ポイント押し上げた。CMGAN(3.41、2022年)からPrimeK-Net(3.61、2025年)までの3年間では0.20だった(公表値からの当社の引き算)。このベンチマークは飽和に近く、残された伸びしろは、追加の手法や指標を意識した学習がリーダーボードを左右しうるほど小さい(第5節を参照)。出典:CMGAN論文、SEMamba論文、PrimeK-Net論文。

指標値出典
PESQ:未処理の雑音テストセット vs GANベースの強調器SEGAN(2017年)1.97 vs 2.16Caoら、CMGAN論文、Interspeech 2022
MetricGAN+(2021年)のPESQと、MetricGANに対する向上幅3.15;約+0.3MetricGAN+論文、Interspeech 2021
CMGAN(2022年)のPESQ3.41Caoら、CMGAN論文、Interspeech 2022
振幅と位相を並列にノイズ除去するMP-SENet(2023年)のPESQ3.50MP-SENet論文、Interspeech 2023
非因果的なSEMambaのPESQ:知覚的コントラスト拡張なし vs あり3.55 vs 3.69Chaoら、SEMamba論文、IEEE SLT 2024
PrimeK-Net(2025年)のPESQとモデルサイズ3.61;1.41MパラメータPrimeK-Net論文、ICASSP 2025

補足:これらは同じ公開テストセットについて各論文が自ら報告した数値であり、すべてのシステムを1回の独立した再実行で得た結果ではない。

2. このベンチマークが実際に測っているもの

リーダーボードは狭い土台の上に成り立っている。VoiceBank-DEMANDのテストセットは、未知の話者わずか2人による824発話で構成され、5種類の雑音を、比較的穏やかな2.5から17.5 dBの信号対雑音比(SNR、音声が雑音よりどれだけ大きいか)で混合している。2.5 dBを下回る条件で混合されたテストクリップは1つもなく、実際の通話で最も厳しい領域は単純に標本化されていない。

了解度にはほとんど伸びしろが残っていない。雑音入力ですでにSTOI(短時間客観的了解度、聴取者が音声をどれだけ理解できるかの予測指標)は0.91に達し、CMGANは0.96に届く。一方でモデルサイズは桁違いに縮小した。SEGANは97.47Mパラメータを使い、CMGANは1.83Mだった。話者が重なる場合のベンチマークは別の仕組みで動く。これについては当社の音声分離統計で示している。出典:CMGAN論文、データセットおよび結果の節。

指標値出典
学習セット:規模と雑音条件28人の話者による11,572発話;8種類のDEMAND雑音と2種類の人工雑音、SNRは0、5、10、15 dBCaoら、CMGAN論文、Interspeech 2022
テストセット:規模と雑音条件未知の話者2人による824発話;5種類の未知のDEMAND雑音、SNRは2.5、7.5、12.5、17.5 dBCaoら、CMGAN論文、Interspeech 2022
STOI:雑音入力 vs CMGAN出力0.91 vs 0.96Caoら、CMGAN論文、Interspeech 2022
複合音声信号スコア(CSIG)と総合スコア(COVL):雑音入力 vs CMGAN出力3.35と2.63 vs 4.63と4.12Caoら、CMGAN論文、Interspeech 2022
モデルサイズ:SEGAN vs DEMUCS vs CMGAN97.47M vs 128M vs 1.83MパラメータCaoら、CMGAN論文、Interspeech 2022

補足:CSIGとCOVLは、音声信号と総合品質に対する聴取者の評価を予測するために、複数の客観指標から組み立てられた複合指標である。そのため、組み合わせた指標の盲点をそのまま引き継ぐ。

3. 品質指標は人間の聴取者と一致するか

その答えは、平均を取るかどうかで変わる。ここでの相関は、PCC(ピアソン相関、値の一致度)、SRCC(スピアマン順位相関、順序の一致度)、またはKRCC(ケンドール順位相関、順序のもう一つの検定)で測られ、1.0が完全な一致を表す。クリーンな参照なしに聴取者の評価を予測するニューラルネットワークであるDNSMOS P.835は、モデルごとに平均すると聴取者の音声評価とのPCCが0.94に達したが、個々のクリップでは0.71だった。

人間の側にもばらつきがある。同じクリップに対する2回の別々のP.808評価は、クリップごとのPCCが約0.5しか一致せず、したがって単一クリップのMOS(平均オピニオン評点、聴取者評価の平均)はそれ自体が粗い数値である。これは、ファイルではなくシステムを比較すべき、またリーダーボードの1回の入れ替わりを弱い証拠として扱うべき、もう一つの理由だ。クリップ単位に対する同様の注意は合成音声にも当てはまり、当社の合成音声の自然さMOS統計で扱っている。出典:DNSMOS P.835論文、DNSMOS論文、ICASSP 2022 DNSチャレンジ論文、NISQA論文。

指標値出典
DNSMOS P.835の音声スコア(SIG)と聴取者評価:モデルごとのPCC vs クリップごとのPCC0.94 vs 0.71Reddyら、Microsoft、DNSMOS P.835論文 2021年
DNSMOS P.835の背景雑音スコア(BAK)と聴取者評価:モデルごとのPCC vs クリップごとのPCC0.98 vs 0.83Reddyら、Microsoft、DNSMOS P.835論文 2021年
同じクリップに対する2回の別々の人間によるP.808評価の一致度(クリップごとのPCC)約0.5Reddyら、Microsoft、DNSMOS論文 2020年
ICASSP 2022 DNSチャレンジのトラック1における、DNSMOS P.835と聴取者評価(音声スコア):PCC vs SRCC0.93 vs 0.78Microsoft、ICASSP 2022 DNSチャレンジ論文
DNSチャレンジ2のブラインドセットのカテゴリ全体における、元のDNSMOSの順位相関(SRCC):単一段階モデル vs 多段階モデル0.65 vs 0.90Reddyら、Microsoft、DNSMOS論文 2020年
もう一つのニューラル品質予測器NISQA:新たな学習・検証用の音声ファイル、および学習と評価に使われたデータセット13,000超のファイル;81のデータセットMittagら、NISQA論文、Interspeech 2021
URGENT 2024:チャレンジの総合ランキングスコアと聴取者MOSの順位との間のKRCC0.73Zhang、Saijoら、URGENT 2024の教訓論文、Interspeech 2025

補足:DNSMOS P.835は約30,000クリップ(75時間)の評価付きクリップで、元のDNSMOSは約120,000クリップで学習された。モデルごとの相関は1クリップあたり5件の評価で計算され、クリップ単位の分析は1クリップあたり30件の評価を用いているため、各行の2つの数値は同一の条件によるものではない。

4. 了解度指標:STOIとその後継

STOIはPESQより狭い問いに答えるために作られた。音声がどれだけ心地よく聞こえるかではなく、どれだけの語が残るかである。13の聴取データセット全体で、STOIと実測の了解度とのピアソン相関は平均0.62であり、拡張版のeSTOIは平均0.88だった。 強く変動する雑音下の音声を集めた1つのデータセットでは、STOIの相関は負(-0.77)だった。指標が逆方向に動いたのである。

実務上の読み方としては、STOIは設計時の想定である定常雑音と時間周波数マスキングで最もよく機能し、競合する話者や混雑した部屋が生み出すような、突発的で変調された雑音下の音声では最も機能しない。入手可能な最新のデータ:Edrakiら、IEEE/ACM TASLP 2020。出典:PubMed CentralのEdrakiら、Taalら、IEEE TASLP 2011。

指標値出典
STOIの分析セグメント長386 msTaalら、IEEE TASLP 2011
原論文でのSTOIの検証3件の聴取実験;5つの参照了解度モデルより良好な相関Taalら、IEEE TASLP 2011
ロジスティック写像後の、13データセットにおける実測了解度とのピアソン相関の平均:STOI vs eSTOI vs HASPI vs wSTMI0.62 vs 0.88 vs 0.82 vs 0.93Edrakiら、IEEE/ACM TASLP 2020
同じ13データセットにおけるスピアマン順位相関の平均:STOI vs eSTOI0.59 vs 0.82Edrakiら、IEEE/ACM TASLP 2020
変調雑音下の音声データセット(ModN-Fogerty)でのSTOIのピアソン相関-0.77Edrakiら、IEEE/ACM TASLP 2020
受聴側強調データセット(NELE-Taal)でのSTOIのピアソン相関0.90Edrakiら、IEEE/ACM TASLP 2020
元のSTOI論文の被引用数2,265OpenAlexの記録、2026年10月31日に参照

外れ値に関する注記:最も性能の高いwSTMIは、13データセットのうち2つで学習・検証されているため、その平均値は完全にホールドアウトされたものではない。HASPIは難聴の聴取者を念頭に設計された指標であり、eSTOIはSTOIが置いていた周波数帯域は互いに独立という仮定を外している。

5. グッドハートの法則:PESQが品質を測らなくなるとき

グッドハートの法則によれば、目標になった指標は良い指標でなくなる。音声強調には今、それを裏付けるデータがある。PESQを最大化するように学習されたモデルであるPESQetarianは、VoiceBank-DEMANDで3.82を記録したが、そのSI-SDR(スケール不変の信号対歪み比、波形がクリーンな原音にどれだけ近いか)は-19.8 dBまで低下し、未処理の雑音入力の8.4 dBをはるかに下回った。

この現象は1本の論文に限らない。2025年に発表された、PESQ損失で学習した1ステップ拡散モデルは、PESQ 3.99に達した一方でSI-SDRは0.40 dBにすぎず、著者らのバランス版はPESQ 3.49、SI-SDR 17.8 dBだった。正当な手法でさえ数値を動かす。対象特徴のコントラストを知覚上の重要度に応じて高める知覚的コントラスト拡張は、SEMambaのPESQを0.14押し上げた(3.55から3.69、当社の引き算)。購入者や査読者への教訓は単純だ。対応する聴取テストのないPESQの最高記録は、見出しではなく警告サインである。出典:PESQetarian論文、ROSE-CD論文。

指標値出典
PESQ:雑音入力 vs 通常のMSE学習モデル vs PESQetarian1.97 vs 2.78 vs 3.82de Oliveiraら、PESQetarian論文、Interspeech 2024
POLQA(ITU-TにおけるPESQの後継):雑音入力 vs MSEモデル vs PESQetarian3.11 vs 3.87 vs 1.46de Oliveiraら、PESQetarian論文、Interspeech 2024
DNSMOSの総合スコア:雑音入力 vs MSEモデル vs PESQetarian2.69 vs 3.13 vs 2.06de Oliveiraら、PESQetarian論文、Interspeech 2024
ノイズ除去なしで、雑音を含む各テストファイルに固定クリック音を1つ加えた後のPESQ3.46de Oliveiraら、PESQetarian論文、Interspeech 2024
6ファイルでの直接最適化:PESQの前後、およびPOLQAの前後1.91から3.76;3.46から2.73de Oliveiraら、PESQetarian論文、Interspeech 2024
PESQ損失で学習したROSE-CD vs 最終版ROSE-CD:PESQ、SI-SDR、WV-MOS(ニューラルな聴取者スコア予測器)3.99、0.40 dB、2.31 vs 3.49、17.8 dB、4.41Xuら、ROSE-CD論文、WASPAA 2025
SEMambaにおける知覚的コントラスト拡張によるPESQの向上+0.14(3.55から3.69)Chaoら、SEMamba論文、IEEE SLT 2024

補足:PESQetarianの聴取テストでは、音響の専門家10人が10件のランダムなテストサンプルを0から100の尺度で評価しており、論文はシステムごとの結果を図としてのみ報告している。PESQetarianは意図的なストレステストであり、製品ではない。

6. ベンチマークから実際の録音へ:汎化ギャップ

テスト話者2人で勝つモデルが、あなたの話者に対応できることを証明したことにはならない。2023年の研究では、5つの音声データベース、5つの雑音データベース、5つの室内音響データベースにわたって、アーキテクチャごとに40のモデルを学習し、各モデルを、テスト条件そのもので学習した参照モデルと比較して測定した。テスト音声が未知のコーパスに由来する場合、Conv-TasNetはその参照に対してESTOI汎化ギャップ-68%を示し、どのモデルでも、音声のミスマッチは雑音や部屋のミスマッチより大きな打撃となった。

心強い知見は、雑音の汎化はデータで解決できることだ。4つの雑音データベースで学習すると、SNR改善のギャップは-5%以内(それよりも良好)に保たれた。2025年の論文のドメイン外テストは、新しい生成モデルもやはり精度を落とすことを示している。出典:Gonzalezら、汎化ギャップ論文、ROSE-CD論文、ICASSP 2021 DNSチャレンジ論文。

指標値出典
音声コーパスのミスマッチ下でのESTOI汎化ギャップ、音声データベース1つで学習したConv-TasNet-68%Gonzalezら、IEEE/ACM TASLP 2023
音声コーパスのミスマッチ下でのPESQ汎化ギャップ:データベース1つで学習したMANNER vs 4つで学習したConv-TasNet-50% vs -35%Gonzalezら、IEEE/ACM TASLP 2023
学習用雑音データベース4つでの、雑音ミスマッチ下のSNR改善ギャップ(Conv-TasNet、DCCRN、MANNER)-5%以内(それよりも良好)Gonzalezら、IEEE/ACM TASLP 2023
学習用データベース1つでの室内音響のミスマッチ:順伝播型ネットワークのPESQギャップ vs Conv-TasNetのESTOIギャップ-10% vs -17%Gonzalezら、IEEE/ACM TASLP 2023
ROSE-CDのPESQ:VoiceBank-DEMAND vs ドメイン外のTIMIT+NOISE923.49 vs 2.62Xuら、ROSE-CD論文、WASPAA 2025
SGMSE+(拡散モデル)のPESQ:VoiceBank-DEMAND vs ドメイン外のTIMIT+NOISE922.93 vs 2.08Xuら、ROSE-CD論文、WASPAA 2025
ICASSP 2021 DNSチャレンジのトラック1のブラインドテスト:実録音 vs 合成クリップ実録音650 vs 合成50(700クリップ)Microsoft、ICASSP 2021 DNSチャレンジ論文

補足:汎化ギャップは、テスト条件で学習した参照モデルとの比較で測られるため、相対的な数値であり、ESTOIやPESQスコアの絶対的な低下ではない。一方、ROSE-CDとSGMSE+の生の低下幅は、未知のデータとタスクの難しさという、参照モデル方式が切り分けるために設計された2つの効果を混在させている。DNSの主催者は、ブラインドテストを主に実録音から構成し、聴取者で評価した。その際、PESQ、SDR、POLQAなどの客観指標は、背景雑音がある場合に主観品質とよく相関しないことが示されていると指摘している。

7. チャレンジと標準が評価をどう変えているか

指標のゲーム化に対する現在の答えは、より幅広いスコアカードである。URGENT 2024では、DNSMOS(3.26)で1位だったチームが聴取者MOS(3.05)では18位となり、単語正解率はわずか40.73%だった。一方、トップのチームはMOS 3.52と単語正解率73.57%を両立した。ここでの単語正解率とは、強調後に音声認識器がなお正しく認識できる語の割合を指し、モデルが音声を作り出したり消したりしていないかを直接確かめるものだ。当社の音声認識のハルシネーション統計は、この失敗を認識器の側から扱っている。

ハイブリッド型や生成型の強調器は、問題をより鋭くする。2025年の音声復元チャレンジでは、ハイブリッド系システムについて、広く使われている参照なし指標と聴取者MOSとの順位相関が-0.8と測定され、指標の順位が人間の順位とほぼ逆を向いていたことを意味する。標準化団体も動いた。PESQはもはやITU-Tの勧告ではない。出典:CCF AATC 2025回顧、URGENT 2025概要、ICASSP 2026 URGENT概要、ITU-T P.862のページ、ITU-T P.863のページ。

指標値出典
URGENT 2024のブラインドテストと聴取サブセット模擬録音500と実録音500;300サンプルのMOSサブセット、サンプルごとに聴取者8人;21チームZhang、Saijoら、URGENT 2024の教訓論文、Interspeech 2025
宣言された帯域幅と実効帯域幅が一致しないURGENT 2024の学習データLibriTTSの約25%;DNS5のLibriVoxとCommonVoice 11.0の約100%Zhang、Saijoら、URGENT 2024の教訓論文、Interspeech 2025
CCF AATC 2025:ハイブリッド系システムにおける、参照なし指標と聴取者MOSの順位相関-0.8(チャレンジで分析された25システム)Zhangら、CCF AATC 2025回顧、arXiv 2025
URGENT 2025の評価スイート5カテゴリの14指標;7種類の歪み;5つの学習言語Saijoら、URGENT 2025概要、Interspeech 2025
ICASSP 2026 URGENTトラック1の学習データ2,500時間のURGENT 2025セットから選別した700時間のサブセットICASSP 2026 URGENTチャレンジ概要
ITU-TにおけるPESQの位置付けP.862およびP.862.1からP.862.3の各部分は2024年1月5日に削除ITU-T P.862勧告ページ
ITU-TにおけるPOLQAの位置付けP.863(2018年3月)が有効、修正1(2020年4月)ありITU-T P.863勧告ページ

補足:URGENT 2024は、「高品質」とされた学習コーパス内の約2,000件の音声ラベルが、ブラインドなSNR推定値であるWADA-SNRで負の値を示すことも指摘しており、PESQのような侵襲型指標が比較対象とするクリーンな参照の中にも、ラベルノイズが含まれている。

まとめ:数字で見る音声強調のPESQ・STOIベンチマーク

指標値出典
VoiceBank-DEMANDのPESQ:SEGAN(2017年) vs CMGAN(2022年)2.16 vs 3.41Caoら、CMGAN論文、Interspeech 2022
VoiceBank-DEMANDのPESQ:SEMamba、知覚的コントラスト拡張なし vs あり3.55 vs 3.69Chaoら、IEEE SLT 2024
VoiceBank-DEMANDでのPrimeK-NetのPESQとサイズ3.61;1.41MパラメータPrimeK-Net論文、ICASSP 2025
STOI:雑音入力 vs CMGAN出力0.91 vs 0.96Caoら、CMGAN論文、Interspeech 2022
PESQetarian:PESQ、SI-SDR、POLQA(括弧内は雑音入力)3.82、-19.8 dB、1.46(1.97、8.4 dB、3.11)de Oliveiraら、Interspeech 2024
ROSE-CDのPESQ損失版:PESQ vs SI-SDR3.99 vs 0.40 dBXuら、WASPAA 2025
STOIと実測了解度の相関:13データセットの平均(括弧内はeSTOIの平均) vs 変調雑音データセット0.62(0.88) vs -0.77Edrakiら、IEEE/ACM TASLP 2020
DNSMOS P.835の音声スコアのPCC:モデルごと vs クリップごと0.94 vs 0.71Reddyら、Microsoft、DNSMOS P.835論文 2021年
未知の音声コーパスでのESTOI汎化ギャップ(Conv-TasNet)-68%Gonzalezら、IEEE/ACM TASLP 2023
未知の音声コーパスでのPESQ汎化ギャップ(MANNER、学習データベース1つ)-50%Gonzalezら、IEEE/ACM TASLP 2023
ROSE-CDのPESQ:ドメイン内 vs ドメイン外3.49 vs 2.62Xuら、WASPAA 2025
URGENT 2024:同一チームのDNSMOS順位 vs 聴取者MOS順位1位 vs 18位Zhang、Saijoら、Interspeech 2025
ノイズ除去なしで、雑音を含む各テストファイルに固定クリック音を1つ加えた後のPESQ3.46de Oliveiraら、Interspeech 2024
ハイブリッド系システムにおける参照なし指標と聴取者MOS(順位相関)-0.8Zhangら、CCF AATC 2025回顧
ITU-TによるPESQの削除2024年1月5日ITU-T P.862勧告ページ

方法論と出典

最終更新日:2026年10月31日。当社はこのまとめを四半期ごとに更新しており、次回の更新は、ICASSP 2026 URGENTチャレンジの論文集がトラック2の品質予測器の相関を公開する時期を予定している。

VoxBoosterを試す — 3日間無料。

リアルタイム音声クローン、サウンドボード、エフェクト — 会話するすべての場所で。

  • カード不要
  • ~30msのレイテンシ
  • Discord · Teams · OBS
3日間無料で試す