公式のDIHARD IIIベースライン検出器は、評価コアセットで発話の4.97%を見逃した一方、非音声を音声と誤って判定した割合は15.07%に達し、自らの見逃し率の3倍に上った。 この差こそ音声区間検出(VAD)の本質だ。あらゆる検出器は、見逃し(取りこぼした実際の音声)と誤検出(通してしまった無音・音楽・ノイズ)のトレードオフを抱えており、どちらの誤りを重視するかはベンチマークによって決まる。NASAのApolloの音声を使ったFearless Steps Phase-3チャレンジでは、最良のシステムがベースラインの検出コスト15.16%を1.47%まで引き下げたが、信号対雑音比0 dBでのWebRTC VADの平均F1スコアはわずか0.581だった。あらゆる処理の上流では、ノイズが最大の敵であり、そのためVADとニューラルノイズ抑制の遅延は通常セットで調整される。本稿では、NISTのOpenSAT評価、DIHARD IIIとFearless Stepsのチャレンジ、GoogleのAVA-Speechと2026年のウィンドウサイズ研究、3GPPとITU-Tのコーデック仕様、CiscoとAvayaの電話に関するガイダンス、そして十数本以上の査読済み論文とプレプリントのデータを集計した。
主なポイント
- NISTは音声区間検出を0.75 × 見逃し率 + 0.25 × 誤検出率で採点しており、見逃しのコストは3倍だった(NIST IR 8242、OpenSAT 2017パイロット)。
- DIHARD IIIのベースラインは、評価コアセットで見逃し4.97%、誤検出15.07%だった(The Third DIHARD Diarization Challenge論文、arXiv 2020)。
- Fearless Steps Phase-3で最良のシステムは、評価データで検出コスト1.47%を達成し、ベースラインの15.16%を大きく下回った(Joglekarら、Interspeech 2021)。
- DIHARD 3の音声では、pyannote 2.0の誤検出は3.9%、見逃しは3.3%で、2021年時点のSilero VADの17.0%と4.0%を下回った(Bredin、Laurent、arXiv 2021)。
- 環境音データセットESC-50では、WebRTC VADの正解率は0、Silero v5は0.61、Silero v6は0.87だった(Silero VAD Quality Metrics、プロジェクト側の主張)。
- 50 msウィンドウでのマシューズ相関係数は、Sileroが0.72、WebRTCが0.41、単純な音量(RMS)検出器が0.11だった(McKinnonら、Google、arXiv 2026)。
- 0 dB SNRでは、WebRTC VADの平均AUCは0.691で、22.7KパラメータのMagicNetの0.956を下回った(Jiaら、arXiv 2024)。
- 1回の判定にかかる時間は、WebRTC VADが0.06 ms、大型ResNet VADが265 msだった(Chaudhuriら、AVA-Speech、Interspeech 2018)。
- CiscoはVADが音声帯域を最大35パーセント節約すると見込んでいるが、それは24通話超の平均に限られる(Cisco、Per Call Bandwidth Consumption)。
- ノイズを付け足した音声でのWhisperの単語誤り率は、WebRTC VADの後段で68.3%、Silero VADの後段で8.0%だった(Barańskiら、arXiv 2025)。
1. VADの誤りの採点方法:見逃しと誤検出
2つのVADの数値を比べる前に、採点ルールを確認しよう。「誤検出(フォールスアラーム)」とは非音声を音声とラベル付けすること、「見逃し」とは音声を非音声とラベル付けすることだ。そのうえで評価者は、各誤りのコストと、セグメント境界の周辺でどれだけ猶予を与えるかを決める。この猶予は「コラー(許容幅)」と呼ばれ、実際の発話境界の周囲にある、誤りを数えない短いウィンドウを指す。NISTは見逃しに0.75、誤検出に0.25の重みを付けた。その理由は「見逃された検出は、誤検出よりも重大とみなされる」からだ(NIST IR 8242、OpenSAT 2017パイロット)。
それ以降は、より厳格な採点へ向かう傾向にある。許容幅はFearless Stepsで0.5 sから0.25 sに縮小し、DIHARD IIIでは完全になくなった。そのため、許容幅なしで採点された2026年の数値を、許容幅ありで採点された2017年の数値と比較することはできない。NISTのシリーズ自体も終了している。OpenSATプログラムのページは、状況を「完了」とし、2020年以降の評価はないと記している。
| 指標 | 値 | 出典 |
|---|---|---|
| 音声区間検出の採点に使われる検出コスト関数の重み | DCF = 0.75 × P_Miss + 0.25 × P_FA | NIST IR 8242、OpenSAT 2017パイロット |
| 各基準発話セグメントの周囲の採点対象外ウィンドウ(許容幅)、OpenSAT 2017パイロット | 0.5 s | NIST IR 8242、OpenSAT 2017パイロット |
| OpenSAT 2017パイロットに結果を提出したチーム数と登録した拠点数 | 22対33 | NIST IR 8242、OpenSAT 2017パイロット |
| 最後のOpenSAT評価とその領域 | OpenSAT20(2020年)、英語の公共安全通信のみ | NIST OpenSAT評価シリーズのページ |
| 採点の許容幅、Fearless Steps Phase-3とPhase-2の比較 | 0.25 s対0.5 s | Joglekarら、Fearless Steps Phase-3、Interspeech 2021 |
| DIHARD IIIで使われた採点の許容幅 | なし(「許容幅を用いずに」)、重複発話も採点対象 | The Third DIHARD Diarization Challenge論文、arXiv 2020 |
| AVA-Speechの各クリップにラベルを付けた3人の人間の評価者間の一致度 | フライスのカッパ0.74(「かなりの一致」) | Chaudhuriら、AVA-Speech、Interspeech 2018 |
| Sileroおよび競合VADの採点に使われるセグメント長 | 31.25 ms、しきい値は17時間のマルチドメイン検証セットで調整 | Silero VAD Quality Metricsのウィキ(プロジェクト側の主張) |
補足:正解データ自体にもノイズがある。Amazonによる映画とテレビ番組450時間の研究では、ラベルとして使われる高品質な字幕ファイルに、最大15%のラベルノイズが含まれることが分かった(Sharmaら、Neurocomputing 2022)。NISTとAVAの採点ルールに関する入手可能な最新データ:2017年から2019年、および2018年。
2. チャレンジの結果:難しい音声での見逃し率と誤検出率
公開チャレンジは、VADが誰も想定していなかった音声に出会う場だ。DIHARD IIIの数値は核心的な問題を示している。ベースラインの誤検出率は、開発データでの3.98%から評価コアセットでは15.07%へと跳ね上がった一方、見逃し率の変動ははるかに小さかった。検出器は学習時の背景ノイズに過剰適合し、新しいノイズが幻の音声に変わってしまう。
Fearless Stepsの結果はその対極を示している。NASAのApollo計画の音声はノイズが多く、マルチチャンネルで、数十年前のものだが、それでも最良のPhase-3システムは検出コストを1.47%、すなわちベースラインの約10分の1まで下げた。Fearless Steps Phase-3の概要は限界も示している。Phase-3はPhase-2の最良値1.07%を上回れず、Apollo-13のサブセットはApollo-11よりも難しいままだった。
| 指標 | 値 | 出典 |
|---|---|---|
| DIHARD IIIベースライン、開発コアセット:見逃し/誤検出/全体の誤り | 1.84% / 3.98% / 2.30% | The Third DIHARD Diarization Challenge論文、arXiv 2020 |
| DIHARD IIIベースライン、評価コアセット:見逃し/誤検出/全体の誤り | 4.97% / 15.07% / 7.26% | The Third DIHARD Diarization Challenge論文、arXiv 2020 |
| DIHARD IIIベースライン、評価フルセット:見逃し/誤検出/全体の誤り | 4.35% / 14.65% / 6.51% | The Third DIHARD Diarization Challenge論文、arXiv 2020 |
| DIHARD III評価コアセットの規模と発話の割合 | 184録音、22.73時間、発話77.35%、11領域 | The Third DIHARD Diarization Challenge論文、arXiv 2020 |
| Fearless Steps Phase-3の参加状況(全トラック) | 9組織、14のタスク別チーム、235件のシステム提出 | Joglekarら、Interspeech 2021 |
| Fearless Steps Phase-3ベースラインの検出コスト、開発対評価 | 12.84%対15.16% | Joglekarら、Interspeech 2021 |
| Fearless Steps Phase-3の最良の検出コスト:評価全体/Apollo-13サブセット/未知チャンネルサブセット | 1.47% / 2.37% / 1.67% | Joglekarら、Interspeech 2021 |
| Fearless Steps Phase-2の最良の検出コスト(Phase-3後も最先端) | 1.07% | Joglekarら、Interspeech 2021 |
外れ値に関する注記:DIHARD IIIの論文は、音声区間検出が「対象とした一部の領域では依然として難しい問題」であり、正確なセグメンテーションがなければ、オーディオブックを除き、ダイアライゼーションが「一部で壊滅的に」悪化したと述べている。完全な表はDIHARD IIIチャレンジ論文に載っている。入手可能な最新データ:DIHARD III(2020年から2021年)とFearless Steps Phase-3(2021年)。どちらのチャレンジも、より新しい音声区間検出トラックは実施していない。
3. オープンモデルの直接対決:pyannote、Silero、WebRTC
多くの製品は、3つのオープンな検出器のいずれかを採用している。GoogleのWebRTCプロジェクトの信号処理ベースのVAD、SileroのニューラルVAD、またはpyannoteのセグメンテーションモデルだ。独立したデータは順位について一致しており、製品が失敗するまさにその場面、つまりノイズだけの音声で差が最も大きくなる。環境ノイズのクリップを集めたESC-50では、WebRTC VADの正解率は0で、すべてのノイズクリップを音声と判定した。一方、Silero v6は0.87を正しく判定した(Silero VAD Quality Metrics、プロジェクト自身の主張)。
誤検出と見逃しの内訳については、pyannote 2.0の論文のほうが優れた参照元だ。3つの公開データセットで両者を別々に報告しているからだ(Bredin、Laurent、arXiv 2021)。そのチューニングは両者の合計を最小化するため、バランスの取れた値に落ち着く(DIHARD 3で3.9%対3.3%)。同じ表にある2021年当時のSileroモデルは、見逃しが少なく誤検出が多いという典型的な偏りのあるプロファイルを示している。以下で使うROC-AUCは、あらゆるしきい値を通して検出器が音声と非音声をどれだけうまく分離できるかを示す0から1のスコアで、マシューズ相関係数(MCC)は、一方のクラスが優勢なときでも公正さを保つ-1から1のスコアだ。
| 指標 | 値 | 出典 |
|---|---|---|
| DIHARD 3:誤検出/見逃し/検出誤り合計、pyannote 2.0対Silero VAD(2021年版) | 3.9% / 3.3% / 7.3%対17.0% / 4.0% / 21.0% | Bredin、Laurent、arXiv 2021 |
| AMI会議:誤検出/見逃し、pyannote 2.0対Silero VAD(2021年版) | 3.6% / 3.2%対9.4% / 1.7% | Bredin、Laurent、arXiv 2021 |
| VoxConverse:誤検出/見逃し、pyannote 2.0対Silero VAD(2021年版) | 1.8% / 0.8%対3.0% / 1.1% | Bredin、Laurent、arXiv 2021 |
| 17時間のマルチドメイン検証セットでのROC-AUC:WebRTC / Silero v5 / Silero v6 | 0.73 / 0.96 / 0.97 | Silero VAD Quality Metricsのウィキ(プロジェクト側の主張) |
| ノイズの多いMSDWildの音声80時間でのROC-AUC:WebRTC対Silero v6 | 0.62対0.79 | Silero VAD Quality Metricsのウィキ(プロジェクト側の主張) |
| 正しく棄却されたESC-50ノイズクリップの割合:WebRTC / Silero v5 / Silero v6 | 0 / 0.61 / 0.87 | Silero VAD Quality Metricsのウィキ(プロジェクト側の主張) |
| ESC-50におけるSilero VAD v5の発話単位の正解率(独立検証) | 61% | Wangら、Calm-Whisper、arXiv 2025 |
| ポッドキャスト、映画、音楽1.1時間の50 msウィンドウでのMCC:RMS / WebRTC / Silero | 0.11 / 0.41 / 0.72 | McKinnonら、Google、arXiv 2026 |
補足:Googleのチームは、ヒステリシス(証拠が明確に変わるまで現在の音声または非音声の状態を維持する規則)を追加すると、WebRTCのMCCは0.41から0.47に上がったが、Sileroには有益な効果がなかったと報告している(McKinnonら、arXiv 2026)。Silero自身のv6.0リリースノートは、v5と比べてノイズの多い実世界データで誤りが16%、マルチドメイン検証で11%少ないと主張しているが、これは独立した再現がまだないプロジェクト側の主張だ。
4. ノイズとSNR:検出が崩れるところ
信号対雑音比(SNR)は、背景に対する音声のレベルをデシベルで表したもので、0 dBは音声とノイズが同じ大きさであることを意味する。ここで扱うどのデータセットでも同じパターンが見られる。クリーンな音声は解決済みの問題であり、音楽とノイズはそうではない。GoogleのAVA-Speech映画データセットでは、クリーンな音声の推定SNRは40.8 dBだったが、音楽が重なった音声では11.7 dBにすぎず、大型のResNet検出器でさえ、真陽性率がクリーンな音声での0.992から音楽付きの音声での0.787に低下した(Chaudhuriら、AVA-Speech)。
ノイズ下の音声の再現率を改善すると、たいてい誤検出が増える。Huaweiの2025年の小型VADは、前処理段階の追加によってMS-SNSDでのノイズ下の音声の正解率を15.9%から89.9%に引き上げたが、同じデータセットでの非音声の正解率は99.1%から87.7%に低下した(Jafarzadeh Aslら、arXiv 2025)。うまい話はない。動作点がトレードオフ曲線上を動くだけだ。
| 指標 | 値 | 出典 |
|---|---|---|
| AVA-Speechの推定SNR:クリーンな音声/ノイズ付きの音声/音楽付きの音声 | 40.8 dB / 16.2 dB / 11.7 dB | Chaudhuriら、AVA-Speech、Interspeech 2018 |
| 偽陽性率を0.315に固定した場合のAVA-Speechの真陽性率、WebRTC VAD:クリーン/ノイズ/音楽 | 0.786 / 0.706 / 0.733 | Chaudhuriら、AVA-Speech、Interspeech 2018 |
| 同じ偽陽性率でのAVA-Speechの真陽性率、ResNet-960モデル:クリーン/ノイズ/音楽 | 0.992 / 0.944 / 0.787 | Chaudhuriら、AVA-Speech、Interspeech 2018 |
| 0 dB(雑踏、車、機械のノイズ)での平均F1とAUC、WebRTC VAD対MagicNet | F1 0.581対0.859、AUC 0.691対0.956 | Jiaら、arXiv 2024 |
| MS-SNSDのノイズ下の音声の正解率、SG-VADベースライン対前処理付きHuawei VAD | 15.9%対89.9% | Jafarzadeh Aslら、arXiv 2025 |
| MS-SNSDの非音声の正解率、SG-VADベースライン対前処理付きHuawei VAD | 99.1%対87.7% | Jafarzadeh Aslら、arXiv 2025 |
| 音声の99%を捉えるために必要な偽陽性率、SG-VAD対前処理付きHuawei VAD | 58%対28% | Jafarzadeh Aslら、arXiv 2025 |
| パーソナル(ターゲット話者)VADの平均適合率(mAP)、ベースライン対最良モデル:クリーンなテストセット対ノイズと残響を加えたテストセット | クリーン0.900対0.969、ノイズ付き0.801対0.928 | Dingら、Google、Personal VAD、arXiv 2019 |
補足:2025年12月の研究では、-18 dBから+30 dBまでのノイズを混ぜたカザフ語の音声でハイブリッドCNN検出器を学習させた。最良のモデルはF1スコア99.6%に達し、-12 dBを上回る範囲で頑健だったが、単一のノイズレベルで学習したモデルは汎化が弱かった(Kulakayevaら、ETASR 2025)。Amazonの映画とテレビ番組のレビューでも、約2Mパラメータのモデルは約0.5Mのモデルよりノイズに弱いことが分かった。AVA-SpeechとPersonal VADに関する入手可能な最新データ:2018年と2019年。
5. フレームサイズ、遅延、計算予算
VADはほかのあらゆる処理より前に動くため、軽量でなければならない。文献上の予算は非常に小さい。WebRTC VADは10、20、30 msのフレームで判定を行い(py-webrtcvadのドキュメント)、AVA-Speechのベンチマークでは1回の判定に0.06 msしか要さなかったのに対し、最も精度の高いResNetモデルは265 msを要した。その代わり、後者は全音声での真陽性率を0.722から0.917に引き上げた。
2024年から2026年の研究は、モデル側からこの差を埋めている。MagicNetは22.7Kパラメータでリアルタイム係数(処理時間を音声の長さで割った値)0.034で動作し、WebRTCの0.015に近い。一方Sileroは、約2 MBのモデルが30 ms以上のチャンクをCPU単一スレッドで1 ms未満で処理できるとしている(Silero VAD README、プロジェクト側の主張)。パーソナルVADは、小さく保つべきもう一つの理由を示している。Googleは、登録済みユーザーのときだけ認識器が起動するよう、デバイス上の音声認識を制御するためにこれを作り、計算量とバッテリー消費を減らした。
| 指標 | 値 | 出典 |
|---|---|---|
| WebRTC VADのフレーム長、アグレッシブネスモード、サンプリングレート | 10、20、30 ms、モード0〜3、8、16、32、48 kHz、16ビットモノラルPCM | py-webrtcvadのドキュメント |
| 1回の判定にかかる遅延、AVA-Speechのベンチマーク:WebRTC / CNN tiny_320 / CNN ResNet-960 | 0.06 ms / 2.23 ms / 265 ms | Chaudhuriら、AVA-Speech、Interspeech 2018 |
| Intel Xeon CPUでのリアルタイム係数:WebRTC / MagicNet / MarbleNet | 0.015 / 0.034 / 0.038 | Jiaら、arXiv 2024 |
| パラメータ数:MagicNet / CRNN / MarbleNet | 22.7K / 36.8K / 85.2K | Jiaら、arXiv 2024 |
| Silero VADの処理時間とモデルサイズ | CPU単一スレッドで30 ms以上のチャンクあたり1 ms未満、約2 MB、ONNXは最大4-5倍高速 | Silero VAD README(プロジェクト側の主張) |
| pyannote 2.0セグメンテーションモデルのフレームステップと入力チャンク | 約16 ms、5 sのチャンク | Bredin、Laurent、arXiv 2021 |
| EMLオンラインSADの判定間隔と、CPU1基でのリアルタイム係数(Apolloの音声) | 約0.1 sごと、約0.002 | Ghahabi、Fischer、arXiv 2021 |
| パーソナルVADのサイズ、埋め込みのみのモデル対話者検証ベースのパイプライン | 0.13M対4.88M + 0.06Mパラメータ、10 msごとに1回判定 | Dingら、Google、Personal VAD、arXiv 2019 |
補足:フレームサイズは精度を左右する要素でもある。Googleの2026年のウィンドウ研究は、10 msから10 sまでのウィンドウにわたって予測を平均し、100 ms設定ではSileroがWebRTCを明確に上回ることを見いだした。長いウィンドウはちらつきを平滑化するが遅延を加えるため、リアルタイムの音声ツールはネイティブのフレームを短く保ち、その後で平滑化している。
6. 電話のDTX:無音を送らないことで節約される帯域
電話では、VADは不連続送信(DTX)によって元が取れる。検出器が音声を検知しないとき、電話は音声パケットの送信を止め、受信側は回線が途切れたように聞こえないよう、合成の「コンフォートノイズ」を再生する。Avayaの文書は、会話の伝送の40%超が無音であると述べている。通常は片方の話者しか同時に話さないからだ(Avaya Auraのドキュメント、ベンダーのガイダンス)。
設計上の数値は、無音の割合から想像されるよりも控えめだ。Ciscoは技術者に対し、VADによる節約は同時通話が多数ある場合にのみ見込むよう指示している(Ciscoの通話あたり帯域ガイド、ベンダーのガイダンス)。1通話がずっと会話だけで占められることもあり、保留音やファクスは検出器を無力化するからだ。Avayaは誤りのトレードオフを直接指摘している。積極的すぎると語頭や語尾が切れ(見逃し)、積極性が足りないと帯域が節約できない(誤検出)。パケットのタイミングが通話品質をその後どう左右するかについては、当社のVoIPのジッタバッファとPOLQAの統計をご覧ください。
| 指標 | 値 | 出典 |
|---|---|---|
| VADによる帯域節約、24通話超の平均として | 最大35パーセント、個々の通話ごとに実現するわけではない | Cisco、Voice Over IP Per Call Bandwidth Consumption(ベンダーのガイダンス) |
| VADによる節約を見込んではならないとCiscoが述べているリンク | 同時音声通話が24未満のリンク | Cisco、Voice Over IP Per Call Bandwidth Consumption(ベンダーのガイダンス) |
| 既定のペイロードサイズでの通話あたりのEthernet帯域、G.711対G.729 | 87.2 kbps対31.2 kbps | Cisco、Voice Over IP Per Call Bandwidth Consumption(ベンダーのガイダンス) |
| 会話の伝送に占める無音の割合 | 40%超 | Avaya Aura 10.2.xのドキュメント(ベンダーのガイダンス) |
| Avaya Communication Managerにおける無音抑圧の既定状態 | 無効、ただしG.729Bでは組み込み済み | Avaya Aura 10.2.xのドキュメント(ベンダーのガイダンス) |
| ITU-T G.729の基本ビットレート、Annex Bの役割 | 8 kbit/s、Annex BはVAD、DTX、コンフォートノイズを追加し、回線向けに調整されている。VoIP向けにはAppendices IIとIIIがある | ITU-T Rec. G.729(06/2012)の要約 |
| EVSコーデックのコンフォートノイズ更新間隔:既定/固定レート範囲/適応レート範囲 | 8フレームごと / 1〜100フレーム / 8〜50フレーム | 3GPP TS 26.449、EVSのコンフォートノイズ生成 |
補足:3GPPのEVS概要は、DTXが必要な平均ビットレートを下げ、「負荷が減って効率的な伝送につながり、ひいては容量が増える」と述べているが、単一の割合は示していない(3GPP TS 26.441の概要)。ITU-T G.729の要約は2012年6月のもので、このコーデックファミリーについて入手可能な最新の文書である。
7. 下流への被害:VADの誤りはASRやダイアライゼーションにどう波及するか
VADの誤りが最終的な誤りになることはまれだ。誤検出は音声認識器に書き起こすべきノイズを与え、見逃しは後段のどの処理でも取り戻せない単語を消してしまう。最も明確な統制実験の結果は、クラクフのAGH科学技術大学によるものだ。SNR 9 dBで非音声を付け足したCommon Voiceの音声では、Whisperの単語誤り率は、前段がWebRTC VADの場合68.3%、Silero VADの場合8.0%だった(Barańskiら、arXiv 2025)。検出器の選択だけで、誤りが約8倍も変わった。挿入として数えられる捏造された単語があるため、ここでは100%を超える率もあり得る。認識器側のこの失敗については、当社の音声認識のハルシネーション統計で詳しく扱っている。
優れたVADは、速度とタイミング精度ももたらす。WhisperXはpyannote VADで音声を発話のみのチャンクに切り分けてバッチ処理しており、これによって通常のWhisperより11.8倍高速になり、AMI会議での単語タイミングの精度も向上した(Bainら、WhisperX、arXiv 2023)。ダイアライゼーション側では、2025年のETH Zurichによる196.6時間のベンチマークが、「見逃された音声が、すべてのダイアライゼーションモデルで最も主要な失敗要因である」ことを見いだした(Lanzendörferら、arXiv 2025)。当社の話者ダイアライゼーション誤り率の統計では、誤り全体の内訳を追っている。
| 指標 | 値 | 出典 |
|---|---|---|
| 前後に非音声がある音声でのWhisperの単語誤り率、WebRTC VAD対Silero VAD | 68.3%対8.0% | Barańskiら、arXiv 2025 |
| ノイズが音声に重なる場合の同じ比較、WebRTC VAD対Silero VAD | 75.4%対10.8% | Barańskiら、arXiv 2025 |
| VADベースのバッチ処理による書き起こし速度、WhisperX対Whisper | 11.8倍対1.0倍 | Bainら、WhisperX、arXiv 2023 |
| AMI会議(許容幅200 ms)での単語タイミングの適合率/再現率、WhisperX対Whisper | 84.1 / 60.3対78.9 / 52.1 | Bainら、WhisperX、arXiv 2023 |
| 録音あたりの平均非発声時間、失語症の話者対対照群の話者(pyannoteで測定、Sileroで確認) | 6.8 s対1.3 s(p < 2.2e-16) | Koeneckeら、Careless Whisper、ACM FAccT 2024 |
| 平均非発声時間、Whisperがハルシネーションを起こした録音対起こさなかった録音 | 5.3 s対3.5 s | Koeneckeら、Careless Whisper、ACM FAccT 2024 |
| システムが基準の発話領域を受け取る場合(トラック1)ではなく、自力で音声を見つけなければならない場合(トラック2)に追加されるダイアライゼーションの難しさ | DERとJERのどちらも「5%程度」 | The Third DIHARD Diarization Challenge論文、arXiv 2020 |
| 見逃された音声に関する知見の根拠となるダイアライゼーションのベンチマークの範囲 | 196.6時間、4データセット、5言語 | Lanzendörferら、ETH Zurich、arXiv 2025 |
外れ値に関する注記:同じクラクフの表は、VADが必要条件ではあっても十分条件ではないことを示している。Silero VADに、ループ除去のステップと既知のハルシネーションフレーズの一覧を加えたものは、Silero単体より良い結果になった(重複のない音声での単語誤り率が6.5%対8.0%)。WhisperXに関する入手可能な最新データ:2023年。
まとめ:数字で見る音声区間検出
| 指標 | 値 | 出典 |
|---|---|---|
| NISTの音声区間コスト関数 | 0.75 × 見逃し率 + 0.25 × 誤検出率 | NIST IR 8242、OpenSAT 2017パイロット |
| DIHARD IIIベースライン、評価コア:見逃し/誤検出 | 4.97% / 15.07% | The Third DIHARD Diarization Challenge論文、arXiv 2020 |
| Fearless Steps Phase-3の検出コスト、ベースライン対最良(評価) | 15.16%対1.47% | Joglekarら、Interspeech 2021 |
| Fearless Stepsの採点の許容幅、Phase-3対Phase-2 | 0.25 s対0.5 s | Joglekarら、Interspeech 2021 |
| DIHARD 3の誤検出/見逃し、pyannote 2.0 | 3.9% / 3.3% | Bredin、Laurent、arXiv 2021 |
| DIHARD 3の誤検出/見逃し、Silero VAD(2021年版) | 17.0% / 4.0% | Bredin、Laurent、arXiv 2021 |
| 正しく棄却されたESC-50ノイズクリップ、WebRTC対Silero v6 | 0対0.87 | Silero VAD Quality Metricsのウィキ(プロジェクト側の主張) |
| 50 msウィンドウでのMCC、WebRTC対Silero | 0.41対0.72 | McKinnonら、Google、arXiv 2026 |
| 0 dB SNRでの平均AUC、WebRTC対MagicNet | 0.691対0.956 | Jiaら、arXiv 2024 |
| AVA-SpeechのResNetの真陽性率、クリーン対音楽付きの音声 | 0.992対0.787 | Chaudhuriら、AVA-Speech、Interspeech 2018 |
| MS-SNSDのノイズ下の音声の正解率、ベースライン対前処理付きHuawei VAD | 15.9%対89.9% | Jafarzadeh Aslら、arXiv 2025 |
| 1回の判定にかかる遅延、WebRTC対ResNet-960 | 0.06 ms対265 ms | Chaudhuriら、AVA-Speech、Interspeech 2018 |
| VADによる帯域節約、24通話超の平均 | 最大35パーセント | Cisco、Per Call Bandwidth Consumption(ベンダーのガイダンス) |
| 会話の伝送に占める無音の割合 | 40%超 | Avaya Aura 10.2.xのドキュメント(ベンダーのガイダンス) |
| EVSの既定のコンフォートノイズ更新間隔 | 8フレームごと | 3GPP TS 26.449 |
| WebRTC VAD対Silero VADの後段でのWhisperの単語誤り率 | 68.3%対8.0% | Barańskiら、arXiv 2025 |
| VADベースのバッチ処理によるWhisperXの高速化 | 11.8倍 | Bainら、WhisperX、arXiv 2023 |
方法論と出典
- NIST IR 8242、OpenSAT 2017パイロット評価レポート:コスト関数、許容幅、参加状況。
- NIST OpenSAT評価シリーズのページ:評価年、領域、プログラムの状況。
- The Third DIHARD Diarization Challenge論文(arXiv 2012.01477):ベースラインの音声区間検出の見逃し率と誤検出率、データセットの規模、トラック1とトラック2の知見。
- Joglekarら、Fearless Steps Challenge Phase-3、Interspeech 2021:Apolloの音声の検出コスト結果と許容幅。
- Ghahabi、Fischer、EML online SAD for Fearless Steps Phase-III、arXiv 2021:判定間隔とリアルタイム係数。
- Bredin、Laurent、End-to-end speaker segmentation for overlap-aware resegmentation、arXiv 2021:AMI、DIHARD 3、VoxConverseでの誤検出率と見逃し率。
- Silero VAD Quality Metricsのウィキ、Silero VAD README、Silero VADのリリース:プロジェクトが報告する精度、速度、リリースに関する主張。
- McKinnonら、Window Size Versus Accuracy Experiments in Voice Activity Detectors、Google、arXiv 2026:RMS、WebRTC、SileroのMCC比較。
- py-webrtcvadのドキュメント:WebRTC VADのフレームサイズ、モード、サンプリングレート。
- Chaudhuriら、AVA-Speech、Interspeech 2018:ラベルの割合、推定SNR、条件別の真陽性率、遅延。
- Jiaら、A Real-Time Voice Activity Detection Based on Lightweight Neural Network、arXiv 2024:0 dBでのF1とAUC、パラメータ数、リアルタイム係数。
- Jafarzadeh Aslら、Tiny Noise-Robust Voice Activity Detector for Voice Assistants、Huawei、arXiv 2025:ノイズ下の音声と非音声の正解率のトレードオフ。
- Kulakayevaら、Robust Neural Network-Based VAD under Low SNR、ETASR 2025:SNRの範囲と頑健性のしきい値。
- Sharmaら、Empirical review of VAD for movies and TV shows、Neurocomputing 2022:ラベルノイズとモデルサイズに関する知見。
- Dingら、Personal VAD、Google、arXiv 2019:ターゲット話者VADの適合率、サイズ、フレームレート。
- Cisco、Voice Over IP Per Call Bandwidth Consumption:VADによる節約のガイダンスと通話あたりの帯域。
- Avaya Aura 10.2.x、Silence suppression or voice activity detection:無音の割合と既定値。
- ITU-T Rec. G.729(06/2012)の要約、3GPP TS 26.449 EVSのコンフォートノイズ生成、3GPP TS 26.441 EVSの概要:DTXとコンフォートノイズの仕組み(3GPPの文書はiTecSpecのミラー経由で閲覧)。
- Barańskiら、Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio、arXiv 2025:WebRTC VAD対Silero VADの後段での単語誤り率。
- Bainら、WhisperX、arXiv 2023:VADベースのバッチ処理による高速化と単語タイミングの結果。
- Wangら、Calm-Whisper、arXiv 2025:ESC-50におけるSilero v5の正解率の独立検証。
- Koeneckeら、Careless Whisper、ACM FAccT 2024:非発声時間とハルシネーション。
- Lanzendörferら、Benchmarking Diarization Models、ETH Zurich、arXiv 2025:ダイアライゼーションの最も主要な失敗要因としての見逃された音声。
- データウォッチ:ベンチマークの土台の多くは3年以上前のものである(OpenSAT 2017、AVA-Speech 2018、Personal VAD 2019、DIHARD III 2020年から2021年、Fearless Steps Phase-3 2021、WhisperX 2023)。それ以降、公開の音声区間検出チャレンジが行われていないためで、これらは入手可能な最新データとして扱ってほしい。pyannote論文のDIHARD 3ベースラインの行(誤検出4.0%、見逃し4.2%)は、DIHARD III論文自身の評価数値(コアセットで15.07%と4.97%)と一致しない。おそらく分割や設定が異なるためで、それぞれを自らの出典とともにのみ引用している。2021年のpyannoteの表にあるSileroモデルは、Silero v5およびv6より前のものだ。Googleの2026年の論文はSileroのネイティブウィンドウを16 msとしているが、Silero READMEは30 ms以上のチャンクについて述べている。AVA-Speechは自らを「45時間」とも「約46時間」とも記述している。Personal VADの論文は、ノイズ付きテストのモデルが異なる方法で学習されたかどうかを完全には説明していない。Silero、Cisco、Avayaの数値は、各発行元自身の主張またはガイダンスである。Ciscoの35パーセントは平均的なケースを想定した設計値であり、特定のネットワークの実測値ではない。
- 最終更新日:2026年10月31日。当社はこのまとめを四半期ごとに更新しており、次回の更新は、ICASSP 2027の論文が公開され、Silero VADプロジェクトが次にQuality Metricsのページを更新した時点を予定している。