音声スプーフィング対策ASVspoofの等価エラー率統計(2026年):チャレンジ各回、EERとt-DCFの結果、汎化に関する40以上のデータポイント

ASVspoofの等価エラー率統計2026:最良のエラー率は2019年の0.22%から、試験自体がはるかに難しくなった2021年のディープフェイクでは15.64%に上昇した。

ASVspoofにおける最良の等価エラー率(EER)は、2019年の0.22%から2021年のディープフェイクタスクでは15.64%となり、ASVspoof 5のクローズド条件では8.61%となった(Todiscoほか, Interspeech 2019;Yamagishiほか, ASVspoof 2021ワークショップ;Wangほか, ASVspoofワークショップ 2024)。EERは、受け入れられた偽造の割合と拒否された本物の音声の割合が等しくなる点であり、低いほど良い。この右肩上がりの線は、検出器が弱くなったことではなく、試験が難しくなったことを記録している。ここでのスプーフィングとは、偽造音声や再生音声を音声システムに与えて本人であるかのように通過させることを指し、その脅威は測定できる。再生攻撃だけで、ベースラインの話者認証システムのEERは1.76%から31.46%に跳ね上がった(Kinnunenほか, Interspeech 2017)。本稿では、ISCA InterspeechとOdysseyのアーカイブ、IEEE/ACM TASLP、IEEE T-BIOM、IEEE JSTSP、Computer Speech and Language、そして主催者自身の評価レポートからデータを集約した。同じ問題の商用面については、当社の音声バイオメトリクス統計をご覧ください。

主なポイント

  • ASVspoof 2019には63の研究チームが参加し、これがシリーズ全体の参加数のピークだった(Todiscoほか, Interspeech 2019)。
  • ASVspoof 5は、以前の回の約100人に対し、32の攻撃アルゴリズムと約2,000人の話者を使用した(Wangほか, Computer Speech and Language 2025)。
  • ASVspoof 2015の最良システムの平均EERは1.211%だったが、単独で最も難しい攻撃S10では8.49%だった(Wuほか, IEEE JSTSP 2017)。
  • 2017年、再生攻撃によりベースラインの話者認証システムのEERは1.76%から31.46%に上昇した(Kinnunenほか, Interspeech 2017)。
  • ASVspoof 2021の物理アクセス(physical access)は難しいままで、最良システムは24.25%のEERと0.6824のmin t-DCFに達した(Yamagishiほか, ASVspoof 2021ワークショップ)。
  • ASVspoof 5のクローズド条件は8.61%のEERでトップとなり、最良のベースラインは29.12%だった(Wangほか, ASVspoofワークショップ 2024)。
  • ASVspoof 2021のディープフェイクでは、33システム中23システムがプログレスデータで10%未満のEERを記録したが、評価データでは全システムが15%を超えた(Liuほか, IEEE/ACM TASLP 2023)。
  • 2019年に優勝した論理アクセスのアンサンブルは、最良の単独システムに比べてt-DCFを56%削減したが、物理アクセスの改善は約2%にとどまった(Nautschほか, IEEE T-BIOM 2021)。
  • 初のスプーフィング対応話者認証チャレンジにより、従来型システムのEERは23.83%から0.13%に低下した(Jungほか, Interspeech 2022)。
  • チャレンジ後の研究は、その後ASVspoof 2021の論理アクセスで0.82%、ディープフェイクで2.85%のEERに到達した(Takほか, Odyssey 2022)。

1. チャレンジの各回と参加状況

ASVspoofは9年間で5回開催され、各回で異なる弱点が取り上げられた。2015年は音声合成と声質変換、2017年は再生攻撃を試し、2019年は論理アクセス(logical access、システムの音声経路に偽造音声を直接注入する方式)と物理アクセス(physical access、偽造音声をスピーカーからマイクへ再生する方式)に分かれた。2021年には独立したディープフェイクタスクが続き、ASVspoof 5は単独の検出と、スプーフィングに強い話者認証に分かれた。

参加は2019年に63の研究チームでピークに達し(Todiscoほか, Interspeech 2019)、その後の2回でも50を上回っている。この安定は重要だ。偽造の評価試行は2015年の184,000件から2024年の542,086件に増えた(セクション2を参照)にもかかわらず、分野の参加は途切れなかった。より弱いのは情報公開であり、2021年に有効なスコアを持つ54チームのうち、システム説明を提出したのは34チームで、20チーム(54引く34)は説明が記録に残っていない(Liuほか, IEEE/ACM TASLP 2023)。

指標値出典
ASVspoof 2015:データベースを請求したチーム16か国の28チームWuほか, Interspeech 2015
ASVspoof 2015:主要提出を返送したチーム16Wuほか, Interspeech 2015
ASVspoof 2017:再生攻撃検出器を提出したチーム49Kinnunenほか, Interspeech 2017
ASVspoof 2019:研究チームの合計63(論理アクセス48、物理アクセス50)Todiscoほか, Interspeech 2019
ASVspoof 2021:有効な評価スコアを持つチーム登録参加者72のうち54Liuほか, IEEE/ACM TASLP 2023
ASVspoof 2021:システム説明を提出したチーム34Liuほか, IEEE/ACM TASLP 2023
ASVspoof 5(2024):結果論文に登場する参加チーム53Wangほか, IEEE TASLP 2026
SASV 2022、スプーフィング検出と話者確認を結ぶ併設チャレンジ:登録数対提出数53対23Jungほか, Interspeech 2022

チーム数は論文によって異なる。2019年の結果論文は62チームとし、2024年のワークショップ論文は54参加者としており、この食い違いはデータウォッチで扱う。

2. 100人から2,000人へ:各回の背後にあるデータ

ASVspoofで最も重要な変化は、モデルではなくデータである。以前のデータベースはそれぞれ約100人の話者を収録し、本物の音声はスタジオ品質の録音から得ていた。ASVspoof 5は、約2,000人の話者によるクラウドソーシングの音声に移行し、さまざまな部屋でさまざまな機器を使って録音された(Wangほか, Computer Speech and Language 2025)。

この一つの決定が、セクション3で見るエラー率の上昇を説明する一因となっている。検出器は、一つの録音環境の音を学習するだけでは成功できなくなった。攻撃側も変化した。ASVspoof 5は初めて敵対的攻撃、つまり検出器を欺くために特別に改変された偽造を追加し、圧縮なしからニューラルコーデックまで12のコーデック条件を試験した(Wangほか, ASVspoofワークショップ 2024)。

指標値出典
ASVspoof 2015評価セット:本物対偽造の試行9,404対184,000Wuほか, Interspeech 2015
ASVspoof 2017評価セット:固有の再生構成110Kinnunenほか, Interspeech 2017
ASVspoof 2019論理アクセスのサブセット:発話の総数121,461Wangほか, Computer Speech and Language 2020
ASVspoof 2019物理アクセス:模擬評価条件243(27の部屋と距離×9種類の再生)Wangほか, Computer Speech and Language 2020
ASVspoof 2021物理アクセス評価:本物対偽造の試行94,068対627,264Liuほか, IEEE/ACM TASLP 2023
ASVspoof 2021ディープフェイク評価:本物対偽造の試行14,869対519,059、100を超える攻撃アルゴリズムからLiuほか, IEEE/ACM TASLP 2023
ASVspoof 5トラック1評価:本物対偽造の試行138,688対542,086Wangほか, IEEE TASLP 2026
ASVspoof 5評価の攻撃:合計と敵対的なもの32のプールから16攻撃、うち7が敵対的Wangほか, Computer Speech and Language 2025

3. 回ごとの代表的なEER結果

これらの行を一本の傾向線として読むのは典型的な誤りである。2019年の0.22%の優勝者と2024年の8.61%の優勝者は、異なる試験を受けたのであり、主催者はそれぞれを意図的に難しくした。有益な比較は各行の内側、つまり最良のチームと、それが上回らなければならなかったベースラインの間にある。

その尺度で見ると、分野は着実に前進している。ASVspoof 5では、クローズド条件の27チームが最良のベースラインを上回り(Wangほか, IEEE TASLP 2026)、トップシステムのEERはそのベースラインの3分の1未満だった。例外は2021年の物理アクセスで、ジャーナルの分析はこれを3つのタスクの中で最も困難とし、最良システムは24.25%で足踏みしている(Yamagishiほか, ASVspoof 2021ワークショップ)。

指標値出典
ASVspoof 2015の最良システム:既知の攻撃、未知の攻撃、平均0.408%、2.013%、1.211%のEERWuほか, Interspeech 2015
ASVspoof 2017の最良の再生攻撃検出器対ベースライン6.73%対24.77%のEERKinnunenほか, Interspeech 2017
ASVspoof 2019の最良対最良のベースライン、論理アクセスと物理アクセス0.22%対8.09%のEER;0.39%対11.04%のEERTodiscoほか, Interspeech 2019
ASVspoof 2021論理アクセスの最良対最良のベースライン1.32%対9.26%のEERYamagishiほか, ASVspoof 2021ワークショップ
ASVspoof 2021物理アクセスの最良24.25%のEERYamagishiほか, ASVspoof 2021ワークショップ
ASVspoof 2021ディープフェイクタスクの最良対最良のベースライン15.64%対22.38%のEERYamagishiほか, ASVspoof 2021ワークショップ
ASVspoof 5トラック1の最良のクローズド条件、最良のオープン条件、最良のベースライン8.61%、2.59%、29.12%のEERWangほか, ASVspoofワークショップ 2024

クローズド条件は外部データを禁じ、オープン条件は外部データと事前学習済みモデルを認めている。同じ年に非常に異なる2つの優勝結果が並ぶのはそのためである。

4. スプーフィングが話者認証に与える影響と最も難しい攻撃

検出器がなければ、話者認証はほとんど抵抗できない。2015年の攻撃S10のもとでは、EER 0.42%のシステムが45.79%に崩れた(Wuほか, Interspeech 2015)。その後の回もあらゆる規模で同じパターンを繰り返しており、ASVspoof 5では16の評価攻撃のうち14で、話者認証のEERが20%を超えた(Wangほか, Computer Speech and Language 2025)。

より意外なのは、最も手強い攻撃者が誰かという点である。ASVspoof 5のクローズド条件ではA19で、これは録音された音声をつなぎ合わせる古い連結型の合成器MaryTTSをベースにしており、データベース論文は、旧来の生成技術も現代の生成技術も依然として重大な脅威だと結論づけている。機械と人間では失敗の仕方も異なる。2019年には攻撃A17がベースライン検出器を欺いたが、人間の聴取者には簡単に見破られ、A10は知覚的に本物の音声と区別がつかないと評された(Wangほか, Computer Speech and Language 2020)。この差の聴取者側については、当社の合成音声のMOS統計で扱っている。

指標値出典
話者認証のEER、通常の詐称者対攻撃S10(2015年)0.42%対45.79%Wuほか, Interspeech 2015
話者認証のEER、通常の詐称者対再生攻撃(2017年)1.76%対31.46%Kinnunenほか, Interspeech 2017
話者認証のEER、通常の詐称者対2019年最悪の論理アクセス攻撃2.48%対64.52%(攻撃A16)Wangほか, Computer Speech and Language 2020
従来型ECAPA-TDNN話者認証のEER、スプーフィングなし対偽造試行を追加した場合1.63%対23.83%Jungほか, Interspeech 2022
ASVspoof 5話者認証のEER、攻撃A26対同じ攻撃にMalacopula敵対的ステップを加えたもの(A27)15.77%対34.68%Wangほか, Computer Speech and Language 2025
ASVspoof 2015の検出器が最も難しい攻撃S10で達成した最良のEER8.49%Wuほか, IEEE JSTSP 2017
ASVspoof 5ベースライン検出器のA19でのEER、RawNet2対AASIST49.80%対63.75%Wangほか, Computer Speech and Language 2025

S10は2015年のチャレンジ後も手強いままだった。2015年の回のジャーナルレビューは、これに対する結果は後続の研究の大半で低調なままで、例外が1件(1.065%)あっただけだとしている。

5. EERを超えて:t-DCF、a-DCFとキャリブレーションの問題

EERは検出器単体を、事後に選んだ一つのしきい値で記述する。2019年以降、ASVspoofのタスクの大半は、代わりにコストで順位づけされてきた。タンデム検出コスト関数(t-DCF)は、連携して動く検出器と話者確認のコストを、ASVの下限を持つ尺度で評価する。その下限とは、検出器が完璧でも残るコストのことで、話者確認自体がなお誤りを犯すためである。2019年に最良の論理アクセスシステムは下限0.0627に対して0.0692に達し、検出器にとってほぼ最良に近い値だった(Nautschほか, IEEE T-BIOM 2021)。

ASVspoof 5は次の問題、つまりキャリブレーション(較正)を浮き彫りにする。これは、システムのスコアを固定された現実のしきい値で使えるかどうかを問うものだ。minDCFは事後に選んだ最良のしきい値でのコストであり、actDCFは実運用のシステムが実際に使うしきい値でのコストである。クローズド条件でminDCFの優勝者はactDCFで0.9956を記録した一方、3位のチームは両者の間でほとんど何も失わなかった。クローズド条件の31件の提出のうち11件、オープン条件の34件の提出のうち14件が、actDCFがちょうど1.0000と記載されていることを確認した(Wangほか, ASVspoofワークショップ 2024)。主催者はactDCFが1.0になる値を確率に似たスコアと結びつけており、低いminDCFと高いactDCFが一つのシステムの中で併存しうること、そして今後の回ではキャリブレーションに敏感な指標が主要指標の候補になりうることを指摘している(Wangほか, IEEE TASLP 2026)。

指標値出典
ASVspoof 2019:ASVの下限対最良のmin t-DCF、論理アクセスと物理アクセス0.0627対0.0692;0.1354対0.1437Nautschほか, IEEE T-BIOM 2021
ASVspoof 2021物理アクセス:ASVの下限対最良のmin t-DCF0.12対0.6824Liuほか, IEEE/ACM TASLP 2023;Yamagishiほか, ASVspoof 2021ワークショップ
ASVspoof 5トラック1クローズド条件:minDCF対actDCF、1位と3位0.2436対0.9956;0.2975対0.2976Wangほか, ASVspoofワークショップ 2024
ASVspoof 5トラック2:最良のクローズド条件、最良のオープン条件、最良のクローズド条件ベースライン、min a-DCF0.2814、0.0756、0.5741Wangほか, ASVspoofワークショップ 2024

a-DCF(アーキテクチャ非依存の検出コスト関数)はトラック2の主要指標であり、トラック2は検出器と話者確認を組み合わせたものだ。t-DCFの値は論文間で比較できない。データウォッチを参照されたい。

6. 勝つもの:ニューラルモデル、アンサンブル、事前学習済みフロントエンド

このシリーズは手法について明快な物語を語っている。2019年までにニューラルネットワークが順位表の上位を占め、アンサンブル、つまり複数のサブシステムを組み合わせる手法が勝つための標準的な方法となった。2019年に優勝した論理アクセスのアンサンブルは、t-DCFで最良の単独システムより56%優れていたが、物理アクセスの改善は約2%にとどまった(Nautschほか, IEEE T-BIOM 2021)。物理アクセスでは、最良の単独システムがすでにセクション5で述べたASVの下限に近く、アンサンブルが得られるものはほとんど残っていなかった。

2024年には、決め手は事前学習済みフロントエンドだった。ASVspoof 5の上位の提出はすべてwav2vec 2.0またはWavLMを使用していた(Wangほか, IEEE TASLP 2026)。これらは、まず大量の通常の音声で訓練された自己教師ありモデルである。クローズド条件からオープン条件への改善、すなわち8.61%から2.59%への改善の多くは、これらのモデルと、オープン条件が認める追加データによってもたらされた。同じモデルファミリーが一般的な音声タスクでどう測定されているかは、当社のSUPERBリーダーボード統計で扱っている。この手法は2021年の回の直後に実証され、あるwav2vec 2.0システムが同じデータでチャレンジのすべての結果を上回った(Takほか, Odyssey 2022)。

指標値出典
ASVspoof 2019:ニューラルネットワークを使う上位システムと、分類器のアンサンブルを使うシステム論理アクセスで上位7と9;物理アクセスで上位6と10Todiscoほか, Interspeech 2019
ASVspoof 2019:min t-DCF、最良の単独システム対最良のアンサンブル、論理アクセスと物理アクセス0.1562対0.0692;0.1470対0.1437Nautschほか, IEEE T-BIOM 2021
ASVspoof 5トラック1:融合されたサブシステム、クローズド条件対オープン条件3〜4対2〜6Wangほか, IEEE TASLP 2026
ASVspoof 5トラック1:掲載された上位5つのオープンシステムにおける事前学習済みフロントエンドwav2vec2-largeが3件、WavLM-Baseが2件Wangほか, IEEE TASLP 2026
ASVspoof 2021論理アクセスでのチャレンジ後のwav2vec 2.0システム、EERとmin t-DCF0.82%と0.2066Takほか, Odyssey 2022
ASVspoof 2021ディープフェイクタスクでのチャレンジ後のwav2vec 2.0システム、EER2.85%Takほか, Odyssey 2022

7. リーダーボードの先にある汎化ギャップ

スプーフィング対策における未解決の問題は、ベンチマークの外で何が起きるかである。最も明確な兆候はチャレンジ自体の中に現れた。ASVspoof 2021のディープフェイクでは、33システム中23システムがプログレスデータで10%未満のEERを記録したが、そのすべてが評価セットでは15%を超えた(Liuほか, IEEE/ACM TASLP 2023)。最良のプログレススコアは1%未満であり、チームが学習の基準にしたリーダーボードのフィードバックは誤解を招くものだった。

同じ結果はチャレンジの外でも成り立つ。ASVspoof 5のオープンシステム上位5件のうち4件を他のデータセットで再試験したところ、1件を除いてEERは10%を超えた(Wangほか, IEEE TASLP 2026)。インターネットから収集した音声では、ASVspoof 2019で訓練したモデルの成績は大きく落ち、ASVspoofのデータを増やしても改善しなかった(Müllerほか, Interspeech 2022)。音声強調にも似た問題があり、当社のPESQとSTOIのベンチマーク統計に記録されている。2025年のプレプリントはさらに踏み込み、検出だけに重大な判断を委ねるべきではないと主張し、多層防御の一つのシグナルとして位置づけることを勧めている(Berishaほか, arXiv 2025)。

指標値出典
ASVspoof 5オープン条件システムT36、T27、T23、T43:ASVspoof 5トラック1のサブセットでのEER対ASVspoof 2019論理アクセスでのEER3.37%、3.30%、4.23%、4.33%対16.27%、17.33%、16.73%、26.63%Wangほか, IEEE TASLP 2026
ASVspoof 2019物理アクセスの優勝者:模擬再生でのEER対非公開の実再生でのEER0.39%対19.68%Nautschほか, IEEE T-BIOM 2021
ASVspoof 2019での最良モデル対実環境(in-the-wild)の音声での最良モデル、EER約1.2%対約33.9%Müllerほか, Interspeech 2022
ASVspoof 2019の全データで再学習したRawNet2:実環境(in-the-wild)の音声でのEER33.1% ± 0.2Müllerほか, Interspeech 2022
再実装した12モデルの実環境(in-the-wild)の音声でのEER悪化約200%〜1000%Müllerほか, Interspeech 2022
WildSpoofチャレンジのチームT03、同一ドメイン内のスプーフィング検出で自ら報告したEER0.16%Farhadipourほか, arXiv 2026

T03の数値は一つのチームによる自己報告であり、その著者らは、ASVspoof 5を含む他のデータセットでの結果が、ドメイン間の汎化が依然として難しいことを示していると述べている。ドメイン内の数値は下がり続けているが、ギャップは開いたままだ。WildSpoofは、その評価計画にASVspoof 5も運営した著者が名を連ねており、音声合成トラックと、スプーフィングに強い話者認証トラックを組み合わせている(Farhadipourほか, arXiv 2026)。

数字で見る音声スプーフィング対策ASVspoofの等価エラー率(まとめ)

指標値出典
ASVspoof 2015で主要提出のあったチーム16Wuほか, Interspeech 2015
ASVspoof 2017のチーム49Kinnunenほか, Interspeech 2017
ASVspoof 5の話者数対以前の回約2,000対約100Wangほか, Computer Speech and Language 2025
話者認証のEER、通常の詐称者対攻撃S10(2015年)0.42%対45.79%Wuほか, Interspeech 2015
話者認証のEER、通常の詐称者対2019年最悪の論理アクセス攻撃2.48%対64.52%Wangほか, Computer Speech and Language 2020
ASVspoof 2015の最良の平均EER1.211%Wuほか, IEEE JSTSP 2017
ASVspoof 2015の検出器が最も難しい攻撃S10で達成した最良のEER8.49%Wuほか, IEEE JSTSP 2017
ASVspoof 2017の最良のEER6.73%Kinnunenほか, Interspeech 2017
ASVspoof 2019論理アクセスの最良のEER0.22%Todiscoほか, Interspeech 2019
ASVspoof 2021ディープフェイクタスクの最良のEER15.64%Yamagishiほか, ASVspoof 2021ワークショップ
ASVspoof 5トラック1クローズド条件の最良のEER8.61%Wangほか, ASVspoofワークショップ 2024
偽造試行を含むSASV 2022の最良のEER0.13%Jungほか, Interspeech 2022
ASVspoof 2021論理アクセスでのチャレンジ後の最良のEER0.82%Takほか, Odyssey 2022
ASVspoof 2021ディープフェイクタスクでのチャレンジ後の最良のEER2.85%Takほか, Odyssey 2022
ASVspoof 2019物理アクセスの優勝者の非公開の実再生でのEER19.68%Nautschほか, IEEE T-BIOM 2021
実環境(in-the-wild)の音声での最良モデル約33.9%のEERMüllerほか, Interspeech 2022

方法論と出典

サードパーティの要約ではなく、チャレンジの論文を直接読んだ。EERの数値は、行に別の記載がない限り、評価セットでのパーセンテージである。チャレンジはおおむね2〜3年ごとに行われるため、ここにあるデータの大半は性質上3年より古い。入手可能な最新データ:2024年の回に関する2026年のジャーナル報告。

最終更新日:2026年10月31日。当社はこのまとめを四半期ごとに更新しており、次回の更新は、ASVspoofの主催者が次回の評価計画を公表する時期を予定している。

VoxBoosterを試す — 3日間無料。

リアルタイム音声クローン、サウンドボード、エフェクト — 会話するすべての場所で。

  • カード不要
  • ~30msのレイテンシ
  • Discord · Teams · OBS
3日間無料で試す