VoxCeleb1テストにおける話者照合の誤りは、2017年の8.8%(Nagraniら、VoxCeleb論文、2017年)から、2025年の論文では0.12%(Li、Cheng、Li、w2v-BERT 2.0論文、2025年)へと、73分の1に減少した(8.8 / 0.12)。 話者照合は「同じ人物か?」を確認する作業であり、等価エラー率(EER)はその標準的な指標である。この記録は、YouTubeから取った有名人の音声の固定リストによるものだ。同じ分野では、雑踏の話し声が声と同じ大きさのときに9.30%(Guら、Noise-Conditioned Mixture-of-Experts論文、2025年)、同じ人物を大きな年齢差で比較したときに10.419%(Qinら、Interspeech 2022)という値も報告されている。当社は、VoxSRCチャレンジの主催者、NIST話者認識評価、InterspeechとOdysseyの論文、VoxBlink2とCN-Celebのコーパスチーム、FAccTの公平性研究からデータを集めた。この技術の商用面については当社の音声バイオメトリクス統計を、隣接する「誰がいつ話したか」という問題については当社の話者ダイアライゼーション誤り率のまとめをご覧ください。
主なポイント
- 一次論文で確認できたVoxCeleb1-Oの最低EER:0.12%。約600百万個のパラメータを持つモデルによる(Li、Cheng、Li、w2v-BERT 2.0論文、2025年)。
- 111,284人の話者を含むコーパスが、単一のResNetをEER 0.17%、minDCF 0.006に押し上げる一助となった(Linら、VoxBlink2、Interspeech 2024)。
- ReDimNet2-B6は12.3MパラメータでEER 0.29%に達する(YakovlevとOkhotnikov、ReDimNet2論文、2026年)。
- 2019年のVoxSRC固定テストセットにおけるトラック2の1位のEERは、2019年の1.26%から2023年の0.47%に低下した(Huhら、VoxSRC回顧、2024年)。
- 2秒の試行は、ERes2NetV2のEERを0.61%から1.48%に押し上げる(Chenら、ERes2NetV2論文、2024年)。
- 0 dBのバブルノイズは、ベースラインのResNet34のEERを1.98%から9.30%に押し上げる(Guら、2025年)。
- 年齢差の大きいペアは、ベースラインのEERを1.939%から10.419%に押し上げる(Qinら、Interspeech 2022)。
- 40年の年齢差により、フィンランドのコーパスでは男性のEERが51.61%に達し、コイン投げの50%ラインを超えた(Singhら、Interspeech 2023)。
- VoxCelebで学習したx-vectorシステムは、SITWで3.48%、CN-Celeb.Eで16.59%だった(Liら、CN-Celeb論文、2020年)。
- SRE24電話チャレンジのリーダーボードの首位はEER 2.37%だった(NIST SRE24-CTSチャレンジのリーダーボード、2024年10月24日)。
- VoxCeleb 1のテストセットでは、女性は話者の38%だが発話の29.5%だった(HutiriとDing、FAccT 2022)。
1. 物差し:EERが測るものとVoxCelebの中身
照合システムは「試行」(トライアル)と呼ばれる2つの録音を受け取り、それらが同じ話者のものかを判定する。受け入れしきい値を上げると本人をより多く拒否し、下げると詐称者をより多く受け入れる。EERは、その2つの誤り率が一致する点である。付随する指標minDCF(最小検出コスト)は、選んだ動作点で同じ2つの誤りに重みを付けたもので、これも低いほど良い。どちらの指標も合成音声や再生音声は対象としておらず、ここでの「詐称者」は単に別の実在の人物である。
従来のテストリストは小さく、40人の話者による37,720試行である(Guら、Noise-Conditioned Mixture-of-Experts論文、2025年)。そのリストの名称であるVoxCeleb1-Oは、より難しい兄弟リストと比べると易しい。あるモデルの誤りは、Vox1-OからVox1-Hに移ると4倍になる(0.17%から0.68%)。一方で学習データは大幅に増えており、それがアーキテクチャの変更の大半よりも重要である理由を第3節で示す。
| 指標 | 値 | 出典 |
|---|---|---|
| VoxCeleb1の規模:話者、発話、動画、時間、国籍 | 1,251 / 153,516 / 22,496 / 352 / 36 | Chungら、VoxCeleb2論文、2018年 |
| VoxCeleb2の学習部分:話者、発話、時間、1発話あたりの平均秒数 | 5,994 / 1,092,009 / 2,442 / 7.8 | Linら、VoxBlink2、Interspeech 2024 |
| VoxBlink2の規模:話者、発話、時間、1発話あたりの平均秒数 | 111,284 / 9,904,382 / 16,672 / 6.0 | Linら、VoxBlink2、Interspeech 2024 |
| CN-Celebの規模:話者、録音ジャンル、CN-Celeb1とCN-Celeb2の時間 | 3,000 / 11 / 274と1,090 | Liら、CN-Celeb論文、2020年 |
| VoxCeleb1-Oのテストリスト:試行、話者 | 37,720 / 40 | Guら、Noise-Conditioned Mixture-of-Experts論文、2025年 |
| あるモデルのEER、Vox1-O(易しいリスト)対Vox1-E(拡張リスト)対Vox1-H(難しいリスト) | 0.17%対0.37%対0.68% | Linら、VoxBlink2、Interspeech 2024 |
元のコーパスの数値に関する入手可能な最新データ:VoxCeleb2論文、2018年。
2. VoxSRCチャレンジの記録、2019年から2023年
VoxCeleb話者認識チャレンジは2019年から2023年まで毎年開催され、その最良の設計判断は、2019年のテストセットを以降のすべてのテストセットに含め続けたことだった。これにより、この分野に固定された物差しが1つできた。その上で、トラック1の1位のEERは2019年の1.42%から2021年の0.57%まで低下し、その後は下がらなくなった。 主催者は、優勝システムが2020年以降1%を下回っており、「これを性能の飽和と考える」と述べている。各年の新しいテストセットは難しいままで、トラック1の優勝システムは2020年から2023年に、自らのセットでそれぞれ3.73%、1.85%、1.49%、1.59%を記録した。このテストは、2019年の208,008ペア・745人の話者から、2023年の825,437ペア・2,532人の話者へと拡大していた(Huhら、VoxSRC回顧、2024年)。
飽和には測定可能な下限がある。その2019年セットでは、95%ブートストラップ信頼区間の幅がEER自体の18.6%から31.2%であり、優勝システム間の小さな差は雑音かもしれない。2022年と2023年の優勝システムがすべて誤った232ペアのうち、16ペアは同一話者のペアで、その16ペアのうち12ペアはテストリストのラベルの誤りだった。難しいケースも実在する。2022年のトラック1の優勝システムは、標準ペアで0.90%、すべてのペアが難しいペア(異なる年齢の同一話者、または同じ録音環境の異なる話者)の場合に2.07%を記録した。
| 指標 | 値 | 出典 |
|---|---|---|
| 2019年の固定テストセットにおけるトラック1(閉じた学習データ)の1位のEER、2019 / 2020 / 2021 / 2022 / 2023年 | 1.42% / 0.83% / 0.57% / 0.90% / 0.58% | Huhら、VoxSRC回顧、2024年 |
| 2019年の固定テストセットにおけるトラック2(開いた学習データ)の1位のEER、2019 / 2020 / 2021 / 2022 / 2023年 | 1.26% / 0.80% / 0.57% / 0.69% / 0.47% | Huhら、VoxSRC回顧、2024年 |
| UNISOUNDの2023年提出、チーム報告によるトラック1首位:2023年テストセットでのEER、minDCF | 1.5880%、0.0855 | Zhengら、UNISOUNDシステム報告、2023年 |
| ID R&Dの2023年提出、トラック2の公開リーダーボードで首位:P_target 0.05でのEER、minDCF | 1.30%、0.0762 | Torgashovら、ID R&Dシステム報告、2023年 |
| ChinaTelecomの2023年トラック1の融合提出、自己申告:EER、minDCF | 1.980%、0.1066 | Duら、ChinaTelecomシステム報告、2023年 |
背景:最終回は2023年に開催されたため、このチャレンジで入手可能な最新データは2024年の回顧論文である。EERは順位付けの指標でないことが多く、そのため2位のチームが優勝チームより低いEERを示すことがある。
3. VoxCeleb1-Oの記録、8.8%から0.12%へ
試行数を使うと、改善が具体的に分かる。動作点では2つの誤り率がどちらもEERに等しいため、誤りの総数はおおよそEERに試行数を掛けた値になる。37,720の8.8%は約3,319件の誤判定で、0.12%は約45件である。2025年のシステムは、2017年のベースラインが約3,319件誤っていたところを約45件しか誤らない(Li、Cheng、Li、w2v-BERT 2.0論文、2025年)。この水準では、ラベルの誤った数件の試行が記録を左右しうる。
今ではアーキテクチャよりもデータのほうがスコアを大きく動かす。W2V-BERT 2.0は、VoxCeleb2のみで学習すると0.38%、VoxBlink2を加えると0.14%と記載されており、どちらの行も同じ587Mパラメータのモデルである(YakovlevとOkhotnikov、ReDimNet2論文、2026年)。学習手順も重要で、ResNet34は引用された元の論文の1.31%から、WeSpeakerツールキットでの再実装では0.723%になった。これらの同じ埋め込みは声質変換の研究で審判としても使われており、当社の声質変換における話者類似度のまとめで取り上げている。
| 指標 | 値 | 出典 |
|---|---|---|
| 2017年:VoxCeleb1テストでのi-vectorとPLDAのベースライン、EERと最小検出コスト | 8.8%、0.73 | Nagraniら、VoxCeleb論文、2017年 |
| 2018年:VoxCeleb2で学習したResNet-50、EERと最小検出コスト | 3.95%、0.429 | Chungら、VoxCeleb2論文、2018年 |
| 2020年:1,024チャネルのECAPA-TDNN、EERとminDCF | 0.87%、0.1066 | Desplanquesら、Interspeech 2020 |
| 2022年:WeSpeakerツールキットのResNet293、EERとminDCF | 0.447%、0.043 | Wangら、WeSpeaker論文、2022年 |
| 2024年:VoxBlink2で事前学習し品質校正を加えたSimAM-ResNet293、EERとminDCF | 0.17%、0.006 | Linら、VoxBlink2、Interspeech 2024 |
| 2025年:Vox1-O対Vox1-Hでのw2v-BERT 2.0、EER | 0.12%対0.55% | Li、Cheng、Li、w2v-BERT 2.0論文、2025年 |
| 2026年:ReDimNet2-B6、2秒の入力に対するEER、パラメータ数、GMAC(積和演算の十億回単位) | 0.29%、12.3M、13.05 | YakovlevとOkhotnikov、ReDimNet2論文、2026年 |
| 2026年:ファミリー最小のモデルReDimNet2-B0、EERとパラメータ数 | 1.04%、1.1M | YakovlevとOkhotnikov、ReDimNet2論文、2026年 |
外れ値に関する注記:w2v-BERT 2.0の著者らは、枝刈りによりモデルサイズが80%縮小し、EERの劣化は0.04%にとどまったと報告しており、最大級のモデルは大きいままである必要がないかもしれない。
4. 短い音声と雑音の多い音声
テストクリップを2秒に切り詰めると、先頭グループのモデルの誤りは2倍を超え、0.61%から1.48%になる(Chenら、ERes2NetV2論文、2024年)。1%を下回る見出しの数値は全長のクリップに関するものなので、短い発話フレーズに基づく製品にとっては重要である。逆もまた成り立つ。8秒より長いVoxSRCのペアでは、2023年のトラック2の優勝システムはほとんど誤りがなくなった。
雑音は直線ではなく急な曲線を描く。「バブルノイズ」とは背景の雑踏の話し声のことで、SN比(信号対雑音比、SNR)は声を雑音と比べて測るため、0 dBは両者が同じ大きさであることを意味する。ベースラインのResNet34は20 dBではほとんど変化せず、0 dBでは誤りが4倍以上に跳ね上がる(Guら、Noise-Conditioned Mixture-of-Experts論文、2025年)。雑踏の話し声は音楽よりも悪影響が大きかったが、これはおそらく、モデルが識別するよう学習した信号と同じ種類だからである。
| 指標 | 値 | 出典 |
|---|---|---|
| VoxCeleb1-OでのERes2NetV2のEER:全長対3秒対2秒の試行 | 0.61%対0.98%対1.48% | Chenら、ERes2NetV2論文、2024年 |
| VoxCeleb1-OでのECAPA-TDNNのEER:3秒対2秒の試行 | 1.27%対1.95% | Chenら、ERes2NetV2論文、2024年 |
| VoxCeleb1-OでのResNet34のEER:3秒対2秒の試行 | 1.47%対2.12% | Chenら、ERes2NetV2論文、2024年 |
| 2019年テストセットでの2023年VoxSRCトラック2優勝システムのEER:全ペア対6秒超のペア対8秒超のペア | 0.47%対0.26%対0.03% | Huhら、VoxSRC回顧、2024年 |
| システムが最も苦戦したSRE24のテストセグメントと、それを超えると向上幅が縮むポイント | 4.5〜13秒、22.6秒を超えると向上幅は小さくなる | Singerら、Odyssey 2026 |
| VoxCeleb1テストでのベースラインResNet34のEER:クリーン対20 dBのバブルノイズ対0 dBのバブルノイズ | 1.98%対2.18%対9.30% | Guら、Noise-Conditioned Mixture-of-Experts論文、2025年 |
| 同じベースラインの0 dBでの値:音楽対一般雑音 | 5.82%対7.3% | Guら、Noise-Conditioned Mixture-of-Experts論文、2025年 |
| 同じベースラインの0 dBでのNonspeech100雑音の値と、0 dBのバブルノイズでの雑音条件付きモデルの値 | 10.17%、8.10% | Guら、Noise-Conditioned Mixture-of-Experts論文、2025年 |
背景:雑音に関する結果は論文間で比較できない。ソウル市立大学の研究では、ECAPA-TDNNがクリーンで3.46%、0 dBのバブルノイズで13.01%と測定された(Kimら、PAS論文、2023年)が、これは学習設定が異なるため、絶対値ではなく各研究内での上昇幅を比較してほしい。
5. 年齢、コーパス、ドメインの不一致
VoxCeleb1-Oでの記録は、何年も離れて録音された声や別の環境で録音された声についてはほとんど何も語らない。年齢差の大きい同一話者のペアを選ぶと、ベースラインのEERは1.939%から10.419%に上昇した(Qinら、Interspeech 2022)。フィンランドの縦断コーパスは、この曲線の遠い側を示している。年齢差40年では、男性のEER 51.61%は当て推量よりも悪い(Singhら、Interspeech 2023)。このコーパスは前処理後の話者が109人と小規模で、VoxCelebの年齢は記録されたものではなく推定されたものなので、正確な値よりも向きのほうを信頼して読んでほしい。
ドメインシフトは、静かに起きるため商業上のより大きなリスクである。CN-Celeb論文でVoxCelebで学習したx-vectorは、中国語のマルチジャンル音声で誤りがほぼ5倍に増えた(16.59 / 3.48 = 4.8)。新しいドメインでの再学習は助けになるが、差を埋めきれない。同じECAPA-TDNNの手順でも、CN-CelebではVoxCelebの9倍を超える誤りが残った(8.877 / 0.936 = 9.5)。
| 指標 | 値 | 出典 |
|---|---|---|
| ベースラインのEER、Vox-Hテスト対年齢差の大きいペアのテストVox-CA20 | 1.939%対10.419% | Qinら、Interspeech 2022 |
| VoxCeleb1-Age-Enriched(米国)でのECAPA-TDNNのEER、年齢差3 / 6 / 9年、男性話者 | 2.31% / 2.84% / 3.63% | Singhら、Interspeech 2023 |
| 同じテストでの年齢差3 / 6 / 9年、女性話者 | 2.70% / 3.12% / 3.87% | Singhら、Interspeech 2023 |
| フィンランドの縦断コーパス(LCFSH)のEER、年齢差0 / 20 / 40年、男性話者 | 5.12% / 18.68% / 51.61% | Singhら、Interspeech 2023 |
| 同じコーパスでの年齢差0 / 20 / 40年、女性話者 | 10.04% / 21.67% / 40.61% | Singhら、Interspeech 2023 |
| VoxCelebで学習したx-vectorのEER、SITWテストセット対CN-Celeb.E(CN-Celebの評価セット) | 3.48%対16.59% | Liら、CN-Celeb論文、2020年 |
| AM-Softmax損失のECAPA-TDNN:VoxCeleb1テスト対CN-Celeb評価、それぞれ自ドメインで学習 | 0.936%対8.877% | Wangら、DASA論文、2023年 |
| CNCelebでのVoxSRC 2023ドメイン適応トラック:ベースライン対1位、EER | 13.11%対4.95% | Huhら、VoxSRC回顧、2024年 |
長期的な加齢に関する入手可能な最新データ:Singhら、Interspeech 2023。
6. NIST SRE:見出しの数値がない、より難しいベンチマーク
NISTは1996年からこれらの評価を実施しており、YouTubeのインタビューとは似ても似つかない。SRE24では、北米以外で収集した新しいコーパス、電話音声と動画からの音声、そしてチュニジア・アラビア語、英語、フランス語が使われた。SRE24電話チャレンジの首位はEER 2.37%で、VoxCeleb1-Oの記録の約20倍だった(2.37 / 0.12 = 19.8)(NIST SRE24のサイト)。ただし2つのテストは違いが大きすぎて、この比率は難しさ以外のものを測っていない。
提出された91のSRE24システムの分析では、条件の一致した電話の試行が、条件の一致した動画由来音声の試行を一貫して上回り、言語の不一致よりも音源の種類のほうが重要だった。登録セグメントは、総発話量が同じでも3つのほうが1つより概ね良好で、ほとんどのシステムは同性の試行で性別による差が限定的だった(Singerら、Odyssey 2026)。学習データの制限をなくすと大きな向上が得られ、単一モデルが融合システムと競り合った(Greenbergら、Interspeech 2025)。以下の表の数値は、もう1つの教訓を示している。自分でしきい値を設定できないシステムは、最小コストがどれほど良くても準備ができていない。
| 指標 | 値 | 出典 |
|---|---|---|
| SRE19電話チャレンジ:組織、チーム、有効なシステム出力 | 67 / 51 / 1,347 | Sadjadiら、NIST SRE19 CTS Challenge、Odyssey 2020 |
| SRE21音声テスト:ターゲット試行対非ターゲット試行 | 132,038対5,899,731 | Sadjadiら、NIST SRE21、2022年 |
| SRE24:チーム、組織、提出システム | 11 / 26 / 91 | Singerら、Odyssey 2026 |
| 2024年10月24日時点のSRE24-CTSリーダーボード首位行:EER、最小コスト、実コスト | 2.37%、0.102、0.106 | NIST SRE24-CTSチャレンジのリーダーボード、2024年 |
| 同じリーダーボードの別の提出:EER、最小コスト、実コスト(自明なシステムは1になる) | 3.00%、0.080、1.000 | NIST SRE24-CTSチャレンジのリーダーボード、2024年 |
| HCCLが提出したSRE21システム、開発セット対評価セット:EER | 2.27%対3.05% | Liら、HCCLシステム、Interspeech 2022 |
| 同じシステム、開発セット対評価セット:実コスト | 0.170対0.560 | Liら、HCCLシステム、Interspeech 2022 |
背景:SRE24の概要論文と分析論文は結果をグラフで示しており、EERの値は印刷されていないため、リーダーボードがこのサイクルの数値を見る窓口となる。公式の数値結果に関する入手可能な最新データ:NIST SRE24-CTSチャレンジのリーダーボード、2024年。
7. 公平性:ベンチマークが測るのは誰か
単一のベンチマークスコアは、ある集団の誤受入率が全体の13倍に達していることを隠すことがある。 VoxCeleb話者認識チャレンジのワークフローを調べた研究では、全体の最小コストしきい値において、インド人女性話者の誤受入率が全体の13.0387倍だった(HutiriとDing、FAccT 2022)。データの構成がこれを説明する一助となる。VoxCeleb 1のテストセットは62.5%が米国の話者で、女性は話者の38%だが発話の29.5%である。
性別による差の向きは固定されておらず、これこそが有用な発見である。VoxSRCの優勝システムは男性のほうが良好で、Amazonの研究は女性のほうが良好で、統制実験は学習データの構成が独自の差を生み出しうることを示している。同じパターンは単語レベルの音声ツールにも現れており、当社の音声認識のアクセントバイアスのまとめで記録している。
| 指標 | 値 | 出典 |
|---|---|---|
| VoxCeleb 1のテストセット:話者に占める米国の割合、話者に占める女性の割合、発話に占める女性の割合 | 62.5%、38%、29.5% | HutiriとDing、FAccT 2022 |
| VoxCeleb 2の学習セット:男性の割合、米国の割合 | 61%、29% | HutiriとDing、FAccT 2022 |
| 全体の率に対するインド人女性話者:誤受入の比、誤拒否の比 | 13.0387倍、1.2497倍 | HutiriとDing、FAccT 2022 |
| 2019年テストセットでの2023年VoxSRC優勝システム、男性対女性のEER:トラック1、トラック2 | 0.57%対0.69%、0.43%対0.59% | Huhら、VoxSRC回顧、2024年 |
| 敵対的再重み付けシステム、男性対女性のEER | 1.25%対0.67% | Jinら、Interspeech 2022 |
| 同じ研究、再重み付け前対後の性別グループ間の差 | 0.70%対0.58% | Jinら、Interspeech 2022 |
| 同じ研究、米国対英国対その他すべての国籍のEER | 1.04%対0.76%対1.22% | Jinら、Interspeech 2022 |
| 女性対男性が9:1の比率で学習したResNet-34ベースライン(4分の1チャネル)、女性対男性のEER | 3.52%対7.22% | Shenら、ICASSP 2022 |
サブグループの誤り比率に関する入手可能な最新データ:HutiriとDing、FAccT 2022。これとは別に、EstevezとFerrerは、学習データで過少代表のグループでは性能が「著しく低下」し、単純なデータのバランス調整で多数派グループを損なわずにバイアスを減らせることを見いだした(Study on the Fairness of Speaker Verification Systems)。
数字で見るVoxCeleb話者照合の等価エラー率(まとめ)
| 指標 | 値 | 出典 |
|---|---|---|
| 一次論文で確認できたVoxCeleb1-Oの最低EER | 0.12% | Li、Cheng、Li、w2v-BERT 2.0論文、2025年 |
| 同じシステムの難しいVox1-Hリストでの値 | 0.55% | Li、Cheng、Li、w2v-BERT 2.0論文、2025年 |
| VoxBlink2で事前学習し品質校正を加えたSimAM-ResNet293のVoxCeleb1-Oでの値、EERとminDCF | 0.17%、0.006 | Linら、VoxBlink2、Interspeech 2024 |
| VoxBlink2の話者対VoxCeleb2の話者 | 111,284対5,994 | Linら、VoxBlink2、Interspeech 2024 |
| ReDimNet2-B6のEERとパラメータ数 | 0.29%、12.3M | YakovlevとOkhotnikov、ReDimNet2論文、2026年 |
| 1,024チャネルのECAPA-TDNNのEER | 0.87% | Desplanquesら、Interspeech 2020 |
| 2019年の固定テストセットでのVoxSRCトラック2の1位のEER、2019年対2023年 | 1.26%対0.47% | Huhら、VoxSRC回顧、2024年 |
| ERes2NetV2のEER、全長対2秒の試行 | 0.61%対1.48% | Chenら、ERes2NetV2論文、2024年 |
| ベースラインResNet34のEER、クリーン対0 dBのバブルノイズ | 1.98%対9.30% | Guら、Noise-Conditioned Mixture-of-Experts論文、2025年 |
| ベースラインのEER、Vox-H対Vox-CA20(年齢差が大きい) | 1.939%対10.419% | Qinら、Interspeech 2022 |
| 男性のEER、年齢差0年対40年、フィンランドのコーパス | 5.12%対51.61% | Singhら、Interspeech 2023 |
| VoxCelebで学習したx-vectorのEER、SITW対CN-Celeb.E | 3.48%対16.59% | Liら、CN-Celeb論文、2020年 |
| ECAPA-TDNNのEER、VoxCeleb1対CN-Celeb評価、それぞれ自ドメインで学習 | 0.936%対8.877% | Wangら、DASA論文、2023年 |
| SRE24-CTSリーダーボード首位行、EER | 2.37% | NIST SRE24-CTSチャレンジのリーダーボード、2024年 |
| HCCLのSRE21実コスト、開発セット対評価セット | 0.170対0.560 | Liら、HCCLシステム、Interspeech 2022 |
| VoxCeleb 1のテストセット、話者と発話に占める女性の割合 | 38%対29.5% | HutiriとDing、FAccT 2022 |
| インド人女性の誤受入率対全体の率 | 13.0387倍 | HutiriとDing、FAccT 2022 |
| 敵対的再重み付けシステム、男性対女性のEER | 1.25%対0.67% | Jinら、Interspeech 2022 |
方法論と出典
すべての数値は、この調査の中で一次論文、チャレンジ報告書、またはNISTのページで確認した。EERとコストの数値は、各出典に印刷されたとおりに引用している。比率と誤判定件数は当社独自の計算であり、計算式を示している。VoxBoosterのデータは使用していない。
- Huhら、The VoxCeleb Speaker Recognition Challenge: A Retrospective、2024年
- Nagrani、Chung、Zisserman、VoxCeleb: a large-scale speaker identification dataset、Interspeech 2017
- Chung、Nagrani、Zisserman、VoxCeleb2: Deep Speaker Recognition、Interspeech 2018
- Desplanques、Thienpondt、Demuynck、ECAPA-TDNN、Interspeech 2020
- Wangら、WeSpeakerツールキット論文、2022年
- Linら、VoxBlink2、Interspeech 2024
- Li、Cheng、Li、w2v-BERT 2.0と構造化枝刈り、2025年
- YakovlevとOkhotnikov、ReDimNet2、2026年
- Zhengら、VoxSRC 2023向けUNISOUNDシステム
- Torgashovら、VoxSRC 2023向けID R&Dシステム
- Du、Fang、Li、VoxSRC 2023向けChinaTelecomシステム
- Chenら、ERes2NetV2、2024年
- Guら、Noise-Conditioned Mixture-of-Experts Framework、2025年
- Kimら、PAS拡張論文、2023年
- Qinら、Cross-Age Speaker Verification、Interspeech 2022
- Singh、Sahidullah、Kinnunen、Speaker Verification Across Ages、Interspeech 2023
- Liら、CN-Celeb: multi-genre speaker recognition、2020年
- Wangら、DASA論文、2023年
- NIST話者認識評価のサイトとSRE24-CTSチャレンジのリーダーボード
- Greenbergら、The 2024 NIST Speaker Recognition Evaluation、Interspeech 2025
- Singerら、Analysis of the NIST 2024 Speaker Recognition Evaluation、Odyssey 2026
- Sadjadiら、The 2021 NIST Speaker Recognition Evaluation、2022年
- Sadjadiら、The 2019 NIST SRE CTS Challenge、Odyssey 2020
- Liら、The HCCL System for the NIST SRE21、Interspeech 2022
- HutiriとDing、Bias in Automated Speaker Recognition、FAccT 2022
- Jinら、Adversarial Reweighting for Speaker Verification Fairness、Interspeech 2022
- Shenら、Group-adapted Fusion Network、ICASSP 2022
- EstevezとFerrer、Study on the Fairness of Speaker Verification Systems Across Accent and Gender Groups
- Quら、Fair-Gate、2026年
- データウォッチ:VoxCeleb1-Oの記録は完全には比較できない。論文によってはプロトコルの整理済み版を使い、スコア正規化や品質校正を加えているものもあるためだ。ECAPA-TDNNの数値だけでも論文ごとに異なり、元論文で0.87%、WeSpeakerで0.728%、ReDimNet2の表で0.94%、2026年のFair-Gate論文で1.12%である。w2v-BERT 2.0の著者らは0.12%と報告している一方、ReDimNet2の比較表にはVoxBlink2とVoxCeleb2で学習したw2v-BERT 2.0モデルとして0.14%が掲載されており、この2つの項目を正確には対応づけられなかった。VoxBlink2論文が述べるEER 43.4%の削減は、同論文の表と一致しない(0.606%から0.340%は43.9%)ため、引用しない。同論文の要旨はminDCFを0.006%と印刷しているが、表では0.006である。CN-Celeb論文は、CN-Celeb.Eについて序論で15.52%、表で16.59%としており、当社は表の値を使う。ここでの古い結果(2017年から2023年半ば)は、より新しい同等の結果がない場合、入手可能な最新データと明記している。次の評価サイクルのNISTの結果が出れば、最初に変わるのは第6節だろう。ここでのEERの値はすべて、他の実在の人物を詐称者とするものであり、合成音声への耐性については何も語っていない。
最終更新日:2026年10月31日。当社はこのまとめを四半期ごとに更新しており、次回の更新は、NISTが次の話者認識評価の数値結果を公表する時期を予定している。