ニューラルノイズ抑制とAI音声アイソレーションの遅延統計(2026年):遅延予算、モデルの計算量、DNSMOS品質スコアに関する50以上のデータポイント

ニューラルノイズ抑制とAI音声アイソレーションの遅延統計2026:DNS Challengeの規則はアルゴリズム遅延の上限を40 msとし、研究モデルは1.25 msに到達した。

2021年のDeep Noise Suppression(DNS)Challengeは総アルゴリズム遅延の上限を40 msと定めたが、2025年のヒアラブルに関する研究は、低消費電力DSP上でニューラルノイズ抑制をアルゴリズム遅延1.25 ms、エンドツーエンド遅延3.35 msで動作させた(Microsoft Research、Interspeech 2021 DNS Challenge論文;Dementyevら、arXiv 2025)。モデルサイズは3桁以上の幅に広がる。RNNoiseは87,503個の重みを使い、GTCRNは23.7Kパラメータと報告している一方、Interspeech 2025のURGENTで首位のシステムは約102Mを使った。聴取テストは、実験室の指標が見落とすものを明らかにし続けている。完全版のPercepNetはポストフィルタなしの派生版よりPESQが低かった(2.54対2.73)が、聴取者MOSは高かった(4.05対3.91)。ノイズ抑制は音声アイソレーションの半分にすぎない。残りの半分、つまり1人の話者を他の話者から分離する話題は、当社の音声分離とカクテルパーティー問題の統計で扱っており、これらのツールのビジネス面は当社の企業向けノイズキャンセリングソフトウェア統計で扱っている。データは、Microsoft ResearchのDNS Challenge論文、ITU-T、MozillaとXiph.OrgのRNNoiseに関する成果、DeepFilterNetの論文、URGENTチャレンジの主催者、NVIDIAのMaxineドキュメント、そして大学や産業界の独立した研究者から集約した。

要点

  • 1.25 msのニューラル抑制は、低消費電力DSP上でエンドツーエンド遅延3.35 msで動作した(Dementyevら、ヒアラブルのサブミリ秒論文、arXiv 2025)。
  • RNNoiseは87,503個の重みで動作し、これはx86の1コアの約1.3%に相当する(Mozilla、RNNoise論文、MMSP 2018)。
  • GTCRNは23.7Kパラメータ、毎秒39.6 MMACsと報告している(Rongら、GTCRN、ICASSP 2024)。
  • DeepFilterNet2は2.306 Mパラメータで、Raspberry Pi 4上でもリアルタイムファクターは0.42だ(Schröterら、DeepFilterNet2論文 2022)。
  • GPUデノイザーは、ノートPC用GPUで10 msのフレームを処理するのに0.410 ms(p95)を要する(NVIDIA、Maxine AFX SDK性能ガイド、ベンダー主張)。
  • PercepNetはVCTKで、ノイズ入力の3.40に対して聴取者MOS 4.05を記録した(Valinら、PercepNet論文、Interspeech 2020)。
  • Interspeech 2025のURGENT優勝システムは約102Mパラメータを使い、これは8.5Mのベースラインの約12倍だ(Saijoら、URGENT 2025 Challenge論文)。
  • 0 msの遅延に到達するために先を予測すると、SI-SDRは2.8341 dBから-3.6493 dBに低下した(Wangら、IEEE/ACM TASLP 2022)。
  • ノイズ抑制向けの3項目評価テストであるITU-T P.835には、新版のP.835 (07/26)がある(ITU-T勧告P.835ページ、2026年)。
  • ICASSP 2026のURGENT Challengeには、Track 1に80件の登録があり、29チームから有効な提出があった(Liら、ICASSP 2026 URGENT Challenge論文)。

1. 遅延予算:リアルタイムのノイズ抑制に許される遅れ

アルゴリズム遅延とは、手法そのものに組み込まれた遅れ(分析フレームの長さに、先の音声への先読みを加えたもの)のことで、CPUを速くしても取り除けない。処理時間は別の問題だ。リアルタイムシステムは、次のフレームが届く前に各フレームの処理を終えさえすればよい。2021年のDNS Challengeは総アルゴリズム遅延の上限を40 msとした。これは補聴器の基準では余裕があるが、先の音声を見たいモデルにとっては厳しい。

この40 msは、音声がコンピューターを出る前にすでに使われている。通話では、抑制処理の遅延がエコーキャンセル、コーデック、ネットワークの遅延と積み重なる。エコー制御には独自の予算とベンチマークがあり、当社の音響エコーキャンセルの統計で扱っている。この規則はInterspeech 2021 DNS Challenge論文に明記されており、設計上の数値はPercepNet論文とDeepFilterNet3論文から得ている。

指標値出典
DNS Challengeのリアルタイム規則:総アルゴリズム遅延(フレーム + ストライド + 先読み)とフレームあたりの処理時間40 ms以下;2.4 GHzのIntel Core i5クアッドコアでストライド時間未満(32 msのフレームと16 msのストライド、つまり48 msは不合格)Microsoft Research、ICASSP 2021およびInterspeech 2021 DNS Challenge論文
RNNoiseの分析窓、ホップ、先読み20 msの窓、10 msのオフセット;先読み10 msMozilla、RNNoise論文、MMSP 2018;Xiph.Org RNNoiseデモページ 2017
PercepNetのフレームサイズと先読み10 msのフレーム、先読み40 msValinら、PercepNet論文、Interspeech 2020
DeepFilterNet3のアルゴリズム遅延40 ms(20 msの窓、10 msのホップ、2フレームの先読み)Schröterら、DeepFilterNet3論文、Interspeech 2023
超低遅延STFT設計:窓サイズと結果のアルゴリズム遅延入力窓16 ms、出力窓4 ms、ホップ2 ms;遅延4 ms、1フレーム先を予測する場合は2 msWangら(CMU、MERL)、IEEE/ACM TASLP 2022
機械学習による音声強調の一般的なアルゴリズム遅延とヒアラブルの目標の比較16〜32 msに対してエンドツーエンドで2 ms未満(アルゴリズム遅延では約1 ms以下)Dementyevら、ヒアラブルのサブミリ秒論文、arXiv 2025
Denoiser v2のGPU効果:フレームサイズとフレームごとの完了しきい値(ベンダー自身のテスト)10 msのフレーム(16 kHzで160サンプル);p95のフレーム時間は10 msの予算を下回る必要があるNVIDIA、Maxine AFX SDK Windows性能ガイド(ベンダー主張)

チャレンジ規則に関する入手可能な最新データ:2021年。以降のDNS各回では、ミリ秒の定義はチャレンジのウェブサイトに委ねられている。RNNoiseとPercepNetに関する入手可能な最新データ:2018年と2020年の論文。

2. 計算量とモデルサイズ:23.7Kパラメータから800万まで

GTCRNは23.7Kパラメータと報告しているのに対し、PercepNetは8Mの重みと約800 MMACSを使う。重みの数で約340倍(8,000,000 / 23,700)の差があり、それでもPercepNetもリアルタイムで動作する。リアルタイムファクター(RTF)とは、処理時間を音声の長さで割った値で、RTFが1未満であれば、モデルはライブ音声に追従できることを意味する。

実務的な読み方はこうだ。ノートPCでニューラル抑制を妨げているのは、もはや計算量ではない。RNNoiseはHaswell世代のノートPC用CPUで1コアの約1.3%を必要とし、PercepNetは1コアの5%未満だった。未解決なのはスマートフォン、イヤホン、DSPで、Raspberry Pi 4でのRTF 0.42では余裕がほとんど残らない。数値はRNNoise論文、DeepFilterNet2論文、GTCRN論文ページから得ている。

指標値出典
RNNoiseのサイズとCPU負荷87,503個の重み;約40 MFLOPS;Intel i7-4800MQの1コアの約1.3%、Raspberry Pi 3の1コアの約14%Mozilla、RNNoise論文、MMSP 2018
8ビット重みと32ビット浮動小数点のRNNoiseモデルファイル、および速度85 kB対340 kB;x86でリアルタイムの約60倍、Raspberry Pi 3で約7倍の速さXiph.Org、RNNoiseデモページ 2017
PercepNetのサイズとCPU負荷8Mの重み;約800 MMACS;Intel i7-8565Uの1コアの5.2%(10 msのフレーム)、4.1%(40 msのフレーム)Valinら、PercepNet論文、Interspeech 2020
DeepFilterNetとDeepFilterNet2の比較:Core i5-8250U上のパラメータ、計算量、RTF1.778 M対2.306 M;0.348対0.356 GMACs;RTF 0.11対0.04(Raspberry Pi 4では0.42)Schröterら、DeepFilterNet2論文 2022
GTCRNのサイズと計算量23.7Kパラメータ;毎秒39.6 MMACsRongら、GTCRN、ICASSP 2024
UL-UNASのサイズと計算量169kパラメータ;毎秒34M MACs;先読み0 msRongら、UL-UNAS、Neural Networks 2025
RTX 3500 AdaノートPC用GPU上のDenoiser v2(ベンダー自身の測定)10 msのフレームあたりp95で0.410 ms;p50スループットはリアルタイムの26.74倍;GPUメモリ215 MiBNVIDIA、Maxine AFX SDK Windows性能ガイド(ベンダー主張)

NVIDIAのデノイザーのドキュメントには独自の注意書きがある。SNRが5 dB未満の入力では、歪んだ出力になる場合がある。

3. ベンチマークの品質スコア:名前の付いたモデルのPESQとDNSMOS

PESQは処理後の音声をクリーンな基準音声と比較する。DNSMOSは、基準音声を必要とせずに聴取者の評価を予測するニューラルモデルだ。一般的なVoiceBank+DEMANDのテストセットでは、PESQは未処理のノイズ入り音声の1.97からDeepFilterNet3の3.17へと上昇し、RNNoiseはニューラル勢の中で下位に位置した。

より有用な警告は、DNSMOSの行にある。DNS4ブラインドテストセットでは、RNNoiseは予測された音声(SIG)スコアをノイズ入力より下げる一方で、総合スコアは引き上げた。これは典型的なトレードオフで、ノイズは減るが声はわずかに損なわれる。PercepNet自身の論文は、PESQについて逆の問題を示している。聴取者が最も好んだバージョンのPESQは、より低かった。データはDeepFilterNet3論文とUL-UNAS論文による。

指標値出典
VoiceBank+DEMANDのPESQ:ノイズ入力対RNNoise対DeepFilterNet2(ポストフィルタあり)1.97対2.33対3.03Schröterら、DeepFilterNet2論文 2022
DeepFilterNet3のVoiceBank+DEMANDにおけるPESQとSTOI3.17と0.944Schröterら、DeepFilterNet3論文、Interspeech 2023
DNS4ブラインドセットのDNSMOS、音声(SIG)と総合(OVRL):ノイズ入力対RNNoise対DeepFilterNet2SIG 4.144対3.884対4.196;OVRL 3.291対3.378対3.882Schröterら、DeepFilterNet2論文 2022
VCTK-DEMANDのPESQ:GTCRN対PESQ損失で学習したUL-UNAS2.87対3.09Rongら、UL-UNAS、Neural Networks 2025
DNS3ブラインドセットのPESQと先読み:GTCRN対LiSenNet対UL-UNAS2.10(0 ms)対2.23(32 ms)対2.28(0 ms)Rongら、UL-UNAS、Neural Networks 2025
PercepNetのPESQ-WB、ポストフィルタありとなし2.54対2.73Valinら、PercepNet論文、Interspeech 2020
VCTK 48 kHzにおけるP.808の聴取者MOS:ノイズ入力対RNNoise対PercepNet3.40対3.70対4.05Valinら、PercepNet論文、Interspeech 2020

補足:VoiceBank+DEMANDは小規模でほぼ合成のテストセットなので、これらの順位は実際の通話よりも相対的な進歩について多くを語る。遅延に関心のある読者が注目すべきはDNS3の行で、先読みゼロのモデル(2.28)が、先読み32 msのモデル(2.23)よりPESQで上回った。

4. チャレンジの結果:DNS 2021〜2023とURGENT 2025〜2026

2020年から2026年までのチャレンジ結果は、優勝者であってもノイズ入力に対する測定上の改善幅が小さいことを示している。ICASSP 2021では、最良のモデルでもノイズ入力を0.53 DMOS(平均オピニオン評点の差)上回っただけで、主催者はこのノイズ入力を絶対MOS 3.38と見積もり、ベースラインを上回った提出はわずか半数だった。Teamsが音声アイソレーションとして提供するパーソナライズ抑制は、ユーザーの声のサンプルを登録し、他の話者も除去する。ICASSP 2022のパーソナライズ部門では、音声スコアを改善したチームはなかった。Teamsでは、音声アイソレーションは管理者ポリシーで既定で有効になっており、音声プロファイルはユーザーのデバイスに保存される(Microsoft Learn、Teams音声アイソレーション管理者ページ、2026年更新)。

URGENT(「ユニバーサル」な音声強調)はノイズ抑制より幅広く、残響、クリッピング、コーデック損失、パケット損失、風切り音を加え、8〜48 kHzの入力を受け付ける。2025年の結果は、モデルサイズがセクション2とは逆方向に動いていることを示している。出典:ICASSP 2021 DNS論文、ICASSP 2022 DNS論文、ICASSP 2023 DNS論文、URGENT 2025論文、URGENT 2026論文。

指標値出典
Interspeech 2020 DNSリアルタイム部門:PercepNetの順位と、ノイズ入力およびベースラインとのP.808 MOS比較2位;3.52対3.01対3.03Valinら、PercepNet論文、Interspeech 2020
ICASSP 2021 DNS Track 1:チーム数と、ノイズ入力に対する最良の結果16チーム;最良モデルはノイズ入力より0.53 DMOS良好(絶対MOS 3.38);提出の半数がベースラインを上回ったMicrosoft Research、ICASSP 2021 DNS Challenge論文
Interspeech 2021 DNS:最良の総合MOSと、完全なノイズ除去を行った場合の上限;音声スコア約3.78対3.92;上位2チーム以外の大半は、音声MOSがノイズ入力を下回ったMicrosoft Research、Interspeech 2021 DNS Challenge論文
ICASSP 2022パーソナライズ(音声アイソレーション)部門:登録の長さと、ノイズ入力に対する結果話者あたり2.5分;SIGを改善したチームなし;単語正解率は2%悪化Microsoft Research、ICASSP 2022 DNS Challenge論文
ICASSP 2023 DNS:提出数と、ノイズ入りブラインドセットに対する優勝Scoreの向上幅、ヘッドセット対スピーカーフォン11件と11件;0.145対0.141Microsoft Research、ICASSP 2023 DNS Challenge論文
Interspeech 2025 URGENT:提出数と、優勝システムのサイズとベースラインの比較32件の提出;約102M対約8.5MパラメータSaijoら、Interspeech 2025 URGENT Challenge論文
Interspeech 2025 URGENT:純粋な生成系システムのMOS、総合順位、中国語と日本語の文字正解率最高のMOS(3.69)だが13位;20.1%と36.8%Saijoら、Interspeech 2025 URGENT Challenge論文
ICASSP 2026 URGENT:Track 1の登録数、有効チーム数、ブラインドテストの規模80件の登録;両部門で有効な提出があったのは29チーム;未学習の5言語を含む840サンプルLiら、ICASSP 2026 URGENT Challenge論文

Interspeech 2021の行にある上限3.92は主催者自身の計算だ。ノイズが完璧な5と評価され、音声がノイズ入りクリップと同じ品質のままだと仮定すると、総合MOSはそこで頭打ちになる。2021年までに優勝者はノイズの大半を除去しており、残された差は音声品質にあった。ICASSP 2023のScoreは0.5 × [WAcc + 0.25 × (OVRL - 1)]であり、単語正解率と聴取者の品質を同じ重みで評価している。

5. 品質の測定:ITU-T P.835、P.808、DNSMOS

ITU-T P.835は、聴取者に音声信号(SIG)、背景ノイズ(BAK)、総合品質(OVRL)の3つを別々に評価させる。この分割はノイズ抑制にとって重要だ。同じクリップの中で、モデルがノイズでは勝ち、声では負けることがあるからである。DNSMOSはモデルごとのPCC 0.93で人間の評価に追従し、PESQの0.78、SDRのわずか0.23を上回った。DNSの主催者がPESQに頼らず、聴取者評価で指標を学習させたのはこのためだ。

問題は粒度にある。DNSMOSのP.835版は、モデル全体で平均した場合と比べて、単一クリップではずっと弱い。したがって、単一クリップのDNSMOS値は判決ではなく目安として扱うべきだ。同じ論理は合成音声にも当てはまり、当社の合成音声の自然さMOS統計で扱っている。出典:ITU-T P.835ページ、ITU-T P.808ページ、DNSMOS論文、DNSMOS P.835論文。

指標値出典
ITU-T P.835の版P.835 (07/26)が有効、事前公開;P.835 (11/03)は廃止ITU-T勧告P.835ページ、2026年10月閲覧
ITU-T P.808の版P.808 (06/21)が有効;P.808 (06/18)は廃止ITU-T勧告P.808ページ、2026年10月閲覧
モデルごとのDNSMOSと聴取者の相関(PCC)とPESQ、POLQA、SDRの比較;DNSMOS P.835の総合、モデル単位対単一クリップ0.93対0.78、0.79、0.23;0.98対0.82Reddyら、Microsoft、DNSMOS(2020)およびDNSMOS P.835(2021)論文
PercepNetの聴取テスト:VCTKのサンプル数とサンプルあたりの聴取者数;DNSテストのクリップあたりの聴取者数824サンプル、各8人の聴取者(95%信頼区間0.04);各10人の聴取者(95%信頼区間0.02)Valinら、PercepNet論文、Interspeech 2020
URGENT 2025の主観評価の方法と範囲Amazon Mechanical Turk上のITU-T P.808絶対カテゴリ評価;英語データのみSaijoら、Interspeech 2025 URGENT Challenge論文
ICASSP 2026 URGENTの聴取テストとMOS予測データ上位6システムをP.808のACRとCCRで評価;16システムからMOSを付与した8,000サンプルLiら、ICASSP 2026 URGENT Challenge論文

P.835の改訂はここで最も新しい項目だ。2003年版はP.835 (07/26)に置き換えられ、その表題は「ノイズ抑制機能を備えた」端末を対象とするようになった。確認した時点では全文がまだ公開されていなかったため、手法の変更点は上記の数値に反映されていない。

6. 遅延と品質のトレードオフ

遅延を削ると、品質と計算量の両方が犠牲になる。2025年のヒアラブル研究では、1 msのモデルは840 MIPSを必要とし、16 msのオーバーラップアドモデルは105 MIPSで済んだうえ、16 msのモデルのほうが高いスコアを記録した(CHiME-2でDNSMOS OVRLが2.35対2.13)。以前のCMUとMERLの研究はPESQで同じ傾向を見いだし、0 msに到達するために音声の先を予測しようとするとSI-SDRが崩壊することも示した。

ヒアラブル研究の答えは、窓を縮めるのではなく出力フィルタを変えることだった。最小位相のFIR設計は、SI-SDRを0.32〜1.25 msの範囲でほぼ横ばいに保ち、エンドツーエンド遅延を7.1 msから3.35 msに削減した。ライブチャットはヒアラブルよりはるかに遅延に寛容だが、抑制処理の遅延は他のあらゆる段に加算される。たとえば、Discordボイスチェンジャーのチェーンでエフェクトを重ねる場合がそうだ。データはヒアラブル論文と超低遅延STFT論文による。

指標値出典
CHiME-2のDNSMOS OVRL:未処理対1 ms対2 ms対4 ms対16 msモデル1.3対2.13対2.25対2.28対2.35Dementyevら、ヒアラブルのサブミリ秒論文、arXiv 2025
CHiME-2のSI-SDR:1 ms対2 ms対16 msモデル8.0 dB対11.10 dB対12.98 dBDementyevら、ヒアラブルのサブミリ秒論文、arXiv 2025
1 msモデルと16 msオーバーラップアドモデルの計算量840 MIPS対105 MIPSDementyevら、ヒアラブルのサブミリ秒論文、arXiv 2025
提案された1.25 msのDeep FIRモデル:NXP i.MX RT600上のパラメータ、計算量、エンドツーエンド遅延626kパラメータ;376 MIPS;3.35 msDementyevら、ヒアラブルのサブミリ秒論文、arXiv 2025
シングルマイクのPESQ、矩形窓システム:未処理対4 ms対2 ms対0 ms(先を予測)1.44対1.8997対1.84575対1.7138Wangら(CMU、MERL)、IEEE/ACM TASLP 2022
シングルマイクのSI-SDR、矩形窓システム、4 ms対0 ms(先を予測)2.8341 dB対-3.6493 dBWangら(CMU、MERL)、IEEE/ACM TASLP 2022
6マイクのPESQ、4 ms対2 ms(同じ2段システム)2.698490対2.47482Wangら(CMU、MERL)、IEEE/ACM TASLP 2022
DeepFilterNetの窓サイズテスト:複素比マスクの品質が低下し始める点20 ms以下のFFT窓(ディープフィルタリングは5〜30 msで安定)Schröterら、DeepFilterNet論文、ICASSP 2022

外れ値に関する注記:ヒアラブル研究の1 ms以下のモデルは、対象のDSP上でリアルタイム動作できなかったため、そのエンドツーエンドの数値は著者らによる推定値である。

数字で見るニューラルノイズ抑制とAI音声アイソレーションの遅延(まとめ)

指標値出典
低消費電力DSP上でリアルタイム動作するヒアラブル向けDeep FIRモデルアルゴリズム遅延1.25 ms、エンドツーエンド3.35 msDementyevら、arXiv 2025
ICASSP 2026 URGENTのブラインドテストの規模未学習の5言語を含む840サンプルLiら、ICASSP 2026 URGENT Challenge論文
RNNoiseの重み87,503Mozilla、RNNoise論文、MMSP 2018
GTCRNのパラメータと計算量23.7K;毎秒39.6 MMACsRongら、GTCRN、ICASSP 2024
UL-UNASのパラメータと先読み169k;0 msRongら、UL-UNAS、Neural Networks 2025
VoiceBank+DEMANDのPESQ、ノイズ入力対DeepFilterNet31.97対3.17Schröterら、DeepFilterNet2およびDeepFilterNet3論文
ノートPC用GPUでの10 msフレームあたりのDenoiser v2 p95時間(ベンダー主張)0.410 msNVIDIA、Maxine AFX SDK性能ガイド
VCTKにおけるPercepNetの聴取者MOS対ノイズ入力4.05対3.40Valinら、PercepNet論文、Interspeech 2020
URGENT 2025優勝システム対ベースラインのサイズ約102M対8.5MパラメータSaijoら、URGENT 2025 Challenge論文
URGENT 2025の生成系システム:聴取者MOS対総合順位3.69(最高)対13位Saijoら、URGENT 2025 Challenge論文
ICASSP 2026 URGENTの有効チーム数29Liら、ICASSP 2026 URGENT Challenge論文
遅延4 ms対0 msでのシングルマイクPESQ1.8997対1.7138Wangら、IEEE/ACM TASLP 2022
ITU-T P.835の最新版P.835 (07/26)、有効(事前公開)ITU-T勧告P.835ページ
有効なITU-T P.808の版P.808 (06/21)ITU-T勧告P.808ページ
8ビット重みを用いたRNNoiseのモデルサイズ85 kBXiph.Org、RNNoiseデモページ 2017
x86でのRNNoiseの速度リアルタイムの約60倍の速さXiph.Org、RNNoiseデモページ 2017

方法論と出典

最終更新日:2026年10月25日。当社はこのまとめを四半期ごとに更新しており、次回の更新は、ICASSP 2026 URGENT Challengeの論文集とITU-T P.835 (07/26)の公開テキストが入手可能になった時点を予定している。

VoxBoosterを試す — 3日間無料。

リアルタイム音声クローン、サウンドボード、エフェクト — 会話するすべての場所で。

  • カード不要
  • ~30msのレイテンシ
  • Discord · Teams · OBS
3日間無料で試す