อัตราข้อผิดพลาดเท่ากัน (EER) ที่ดีที่สุดใน ASVspoof เพิ่มจาก 0.22% ในปี 2019 เป็น 15.64% ในงานดีปเฟกปี 2021 แล้วเป็น 8.61% ในเงื่อนไขแบบปิดของ ASVspoof 5 (Todisco และคณะ, Interspeech 2019; Yamagishi และคณะ, ASVspoof 2021 Workshop; Wang และคณะ, ASVspoof Workshop 2024) EER คือจุดที่สัดส่วนเสียงปลอมที่ถูกยอมรับเท่ากับสัดส่วนเสียงจริงที่ถูกปฏิเสธ ยิ่งต่ำยิ่งดี และเส้นที่พุ่งขึ้นนั้นบันทึกข้อสอบที่ยากขึ้น ไม่ใช่ตัวตรวจจับที่อ่อนลง การปลอมแปลงเสียง (spoofing) ในที่นี้หมายถึงการป้อนเสียงพูดปลอมหรือเสียงพูดที่เล่นซ้ำให้ระบบเสียง เพื่อให้ผ่านเป็นบุคคลจริง และภัยคุกคามนี้วัดได้ กล่าวคือการโจมตีแบบเล่นซ้ำ (replay) เพียงอย่างเดียวก็ดัน EER ของระบบยืนยันตัวผู้พูดอ้างอิงจาก 1.76% เป็น 31.46% (Kinnunen และคณะ, Interspeech 2017) เรารวบรวมข้อมูลจากคลังเอกสาร ISCA Interspeech และ Odyssey, IEEE/ACM TASLP, IEEE T-BIOM, IEEE JSTSP, Computer Speech and Language และรายงานการประเมินของผู้จัดเอง สำหรับด้านการค้าของปัญหาเดียวกันนี้ ดูสถิติไบโอเมตริกซ์เสียงของเรา
สรุปโดยย่อ
- 63 ทีมวิจัยเข้าร่วม ASVspoof 2019 ซึ่งเป็นจุดสูงสุดของการเข้าร่วมในซีรีส์นี้ (Todisco และคณะ, Interspeech 2019)
- ASVspoof 5 ใช้อัลกอริทึมโจมตี 32 แบบและผู้พูดราว 2,000 คน เทียบกับผู้พูดราว 100 คนในรุ่นก่อนหน้า (Wang และคณะ, Computer Speech and Language 2025)
- ระบบที่ดีที่สุดของ ASVspoof 2015 ได้ EER เฉลี่ย 1.211% แต่ได้ 8.49% กับการโจมตีเดี่ยวที่ยากที่สุดคือ S10 (Wu และคณะ, IEEE JSTSP 2017)
- การโจมตีแบบเล่นซ้ำดันระบบยืนยันตัวผู้พูดอ้างอิงจาก 1.76% เป็น 31.46% EER ในปี 2017 (Kinnunen และคณะ, Interspeech 2017)
- การเข้าถึงเชิงกายภาพของ ASVspoof 2021 ยังคงยาก ระบบที่ดีที่สุดทำได้ 24.25% EER และ 0.6824 min t-DCF (Yamagishi และคณะ, ASVspoof 2021 Workshop)
- เงื่อนไขแบบปิดของ ASVspoof 5 ผู้นำอยู่ที่ 8.61% EER เทียบกับ 29.12% ของระบบอ้างอิงที่ดีที่สุด (Wang และคณะ, ASVspoof Workshop 2024)
- บนดีปเฟกของ ASVspoof 2021 มี 23 จาก 33 ระบบที่ได้ EER ต่ำกว่า 10% บนข้อมูลช่วงความคืบหน้า และทุกระบบเกิน 15% บนข้อมูลประเมินผล (Liu และคณะ, IEEE/ACM TASLP 2023)
- ชุดรวมระบบ (ensemble) ที่ชนะด้านการเข้าถึงเชิงตรรกะปี 2019 ลด t-DCF ได้ 56% เมื่อเทียบกับระบบเดี่ยวที่ดีที่สุด ขณะที่การเข้าถึงเชิงกายภาพได้เพียงราว 2% (Nautsch และคณะ, IEEE T-BIOM 2021)
- การแข่งขันยืนยันตัวผู้พูดที่รับรู้การปลอมแปลงครั้งแรกดันระบบแบบดั้งเดิมจาก 23.83% เหลือ 0.13% EER (Jung และคณะ, Interspeech 2022)
- งานหลังการแข่งขันในเวลาต่อมาทำได้ 0.82% EER บนการเข้าถึงเชิงตรรกะของ ASVspoof 2021 และ 2.85% บนดีปเฟก (Tak และคณะ, Odyssey 2022)
1. รุ่นของการแข่งขันและการเข้าร่วม
ASVspoof จัดมาแล้วห้าครั้งในเก้าปี และแต่ละรุ่นเลือกจุดอ่อนที่ต่างกัน รุ่นปี 2015 ทดสอบการแปลงข้อความเป็นเสียงพูดและการแปลงเสียง ปี 2017 ทดสอบการเล่นซ้ำ ส่วนปี 2019 แบ่งสนามเป็นการเข้าถึงเชิงตรรกะ (logical access: เสียงปลอมถูกฉีดเข้าเส้นทางเสียงของระบบโดยตรง) และการเข้าถึงเชิงกายภาพ (physical access: เสียงปลอมถูกเล่นผ่านลำโพงเข้าไมโครโฟน) ในปี 2021 มีงานดีปเฟกแยกออกมาต่างหาก และ ASVspoof 5 แบ่งเป็นการตรวจจับแบบอิสระกับการยืนยันตัวผู้พูดที่ทนต่อการปลอมแปลง
การเข้าร่วมสูงสุดที่ 63 ทีมวิจัยในปี 2019 (Todisco และคณะ, Interspeech 2019) และคงอยู่เหนือ 50 ทีมในสองรุ่นหลังจากนั้น ความคงที่นี้สำคัญ เพราะการทดสอบประเมินผลที่เป็นเสียงปลอมเพิ่มจาก 184,000 รายการในปี 2015 เป็น 542,086 รายการในปี 2024 (ดูส่วนที่ 2) แต่วงการก็ยังคงมาร่วมงานอย่างต่อเนื่อง ส่วนความโปร่งใสเป็นจุดที่อ่อนกว่า เพราะ 34 จาก 54 ทีมที่มีคะแนนปี 2021 ที่ถูกต้องส่งคำอธิบายระบบ ทำให้มี 20 ทีม (54 ลบ 34) ที่ไม่มีเอกสารอยู่ในแฟ้ม (Liu และคณะ, IEEE/ACM TASLP 2023)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ASVspoof 2015: ทีมที่ขอฐานข้อมูล | 28 ทีมจาก 16 ประเทศ | Wu และคณะ, Interspeech 2015 |
| ASVspoof 2015: ทีมที่ส่งผลงานหลัก | 16 | Wu และคณะ, Interspeech 2015 |
| ASVspoof 2017: ทีมที่ส่งตัวตรวจจับการเล่นซ้ำ | 49 | Kinnunen และคณะ, Interspeech 2017 |
| ASVspoof 2019: ทีมวิจัยทั้งหมด | 63 (48 ทีมด้านการเข้าถึงเชิงตรรกะ, 50 ทีมด้านการเข้าถึงเชิงกายภาพ) | Todisco และคณะ, Interspeech 2019 |
| ASVspoof 2021: ทีมที่มีคะแนนประเมินผลที่ถูกต้อง | 54 จากผู้เข้าร่วมที่ลงทะเบียน 72 ราย | Liu และคณะ, IEEE/ACM TASLP 2023 |
| ASVspoof 2021: ทีมที่ส่งคำอธิบายระบบ | 34 | Liu และคณะ, IEEE/ACM TASLP 2023 |
| ASVspoof 5 (2024): ทีมที่เข้าร่วมในรายงานผล | 53 | Wang และคณะ, IEEE TASLP 2026 |
| SASV 2022 การแข่งขันเสริมที่รวมการตรวจจับการปลอมแปลงกับการตรวจสอบผู้พูด: จำนวนลงทะเบียนเทียบกับจำนวนที่ส่งผลงาน | 53 เทียบกับ 23 | Jung และคณะ, Interspeech 2022 |
จำนวนทีมขึ้นอยู่กับแต่ละรายงาน รายงานผลปี 2019 ระบุ 62 ทีม ส่วนรายงานเวิร์กช็อปปี 2024 ระบุผู้เข้าร่วม 54 ราย ซึ่งความต่างนี้อธิบายไว้ในข้อสังเกตเกี่ยวกับข้อมูล
2. จากผู้พูด 100 คนสู่ 2,000 คน: ข้อมูลเบื้องหลังแต่ละรุ่น
การเปลี่ยนแปลงที่สำคัญที่สุดใน ASVspoof ไม่ใช่โมเดล แต่คือข้อมูล ฐานข้อมูลรุ่นก่อนมีผู้พูดราว 100 คนต่อฐาน และเสียงจริงมาจากการบันทึกคุณภาพระดับสตูดิโอ ASVspoof 5 เปลี่ยนไปใช้เสียงพูดที่รวบรวมจากอาสาสมัครจำนวนมากจากผู้พูดราว 2,000 คน บันทึกในห้องที่หลากหลายด้วยอุปกรณ์ที่หลากหลาย (Wang และคณะ, Computer Speech and Language 2025)
การตัดสินใจครั้งเดียวนี้ช่วยอธิบายอัตราข้อผิดพลาดที่สูงขึ้นในส่วนที่ 3 ตัวตรวจจับไม่สามารถประสบความสำเร็จได้อีกต่อไปด้วยการเรียนรู้ว่าการบันทึกเพียงแบบเดียวมีเสียงเป็นอย่างไร ฝั่งการโจมตีก็เปลี่ยนไปเช่นกัน ASVspoof 5 เพิ่มการโจมตีเชิงปรปักษ์เป็นครั้งแรก คือเสียงปลอมที่ถูกดัดแปลงโดยเฉพาะเพื่อหลอกตัวตรวจจับ และทดสอบเงื่อนไขตัวเข้ารหัสเสียง 12 แบบ ตั้งแต่ไม่บีบอัดไปจนถึงตัวเข้ารหัสเสียงแบบนิวรอล (Wang และคณะ, ASVspoof Workshop 2024)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ชุดประเมินผล ASVspoof 2015: การทดสอบของจริงเทียบกับของปลอม | 9,404 เทียบกับ 184,000 | Wu และคณะ, Interspeech 2015 |
| ชุดประเมินผล ASVspoof 2017: รูปแบบการเล่นซ้ำที่ไม่ซ้ำกัน | 110 | Kinnunen และคณะ, Interspeech 2017 |
| ชุดย่อยการเข้าถึงเชิงตรรกะของ ASVspoof 2019: จำนวนประโยคทั้งหมด | 121,461 | Wang และคณะ, Computer Speech and Language 2020 |
| การเข้าถึงเชิงกายภาพของ ASVspoof 2019: เงื่อนไขประเมินผลจำลอง | 243 (27 ห้องและระยะ คูณ 9 รูปแบบการเล่นซ้ำ) | Wang และคณะ, Computer Speech and Language 2020 |
| การประเมินการเข้าถึงเชิงกายภาพของ ASVspoof 2021: การทดสอบของจริงเทียบกับของปลอม | 94,068 เทียบกับ 627,264 | Liu และคณะ, IEEE/ACM TASLP 2023 |
| การประเมินดีปเฟกของ ASVspoof 2021: การทดสอบของจริงเทียบกับของปลอม | 14,869 เทียบกับ 519,059 จากอัลกอริทึมโจมตีมากกว่า 100 แบบ | Liu และคณะ, IEEE/ACM TASLP 2023 |
| การประเมินแทร็ก 1 ของ ASVspoof 5: การทดสอบของจริงเทียบกับของปลอม | 138,688 เทียบกับ 542,086 | Wang และคณะ, IEEE TASLP 2026 |
| การโจมตีในการประเมินผลของ ASVspoof 5: ทั้งหมดและเชิงปรปักษ์ | 16 การโจมตี โดย 7 แบบเป็นเชิงปรปักษ์ จากกลุ่มทั้งหมด 32 แบบ | Wang และคณะ, Computer Speech and Language 2025 |
3. ผล EER หลักแยกตามรุ่น
การอ่านแถวเหล่านี้เป็นเส้นแนวโน้มเส้นเดียวคือความผิดพลาดแบบคลาสสิก ผู้ชนะ 0.22% ในปี 2019 กับผู้ชนะ 8.61% ในปี 2024 ทำข้อสอบคนละชุด และผู้จัดตั้งใจทำให้แต่ละชุดยากขึ้น การเปรียบเทียบที่เป็นประโยชน์อยู่ภายในแต่ละแถว ระหว่างทีมที่ดีที่สุดกับระบบอ้างอิงที่ต้องเอาชนะให้ได้
ตามเกณฑ์นั้น วงการยังคงก้าวหน้าต่อไป ใน ASVspoof 5 มี 27 ทีมในเงื่อนไขแบบปิดที่เอาชนะระบบอ้างอิงที่ดีที่สุด (Wang และคณะ, IEEE TASLP 2026) และ EER ของระบบอันดับหนึ่งต่ำกว่าหนึ่งในสามของระบบอ้างอิงนั้น ข้อยกเว้นคือการเข้าถึงเชิงกายภาพในปี 2021 ซึ่งการวิเคราะห์ในวารสารเรียกว่าเป็นงานที่ท้าทายที่สุดในสามงาน โดยระบบที่ดีที่สุดติดอยู่ที่ 24.25% (Yamagishi และคณะ, ASVspoof 2021 Workshop)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ASVspoof 2015 ระบบที่ดีที่สุด: การโจมตีที่รู้จัก การโจมตีที่ไม่รู้จัก ค่าเฉลี่ย | 0.408%, 2.013%, 1.211% EER | Wu และคณะ, Interspeech 2015 |
| ASVspoof 2017 ตัวตรวจจับการเล่นซ้ำที่ดีที่สุดเทียบกับระบบอ้างอิง | 6.73% เทียบกับ 24.77% EER | Kinnunen และคณะ, Interspeech 2017 |
| ASVspoof 2019 ที่ดีที่สุดเทียบกับระบบอ้างอิงที่ดีที่สุด การเข้าถึงเชิงตรรกะและการเข้าถึงเชิงกายภาพ | 0.22% เทียบกับ 8.09% EER; 0.39% เทียบกับ 11.04% EER | Todisco และคณะ, Interspeech 2019 |
| ASVspoof 2021 การเข้าถึงเชิงตรรกะ ที่ดีที่สุดเทียบกับระบบอ้างอิงที่ดีที่สุด | 1.32% เทียบกับ 9.26% EER | Yamagishi และคณะ, ASVspoof 2021 Workshop |
| ASVspoof 2021 การเข้าถึงเชิงกายภาพ ที่ดีที่สุด | 24.25% EER | Yamagishi และคณะ, ASVspoof 2021 Workshop |
| ASVspoof 2021 งานดีปเฟก ที่ดีที่สุดเทียบกับระบบอ้างอิงที่ดีที่สุด | 15.64% เทียบกับ 22.38% EER | Yamagishi และคณะ, ASVspoof 2021 Workshop |
| ASVspoof 5 แทร็ก 1 ที่ดีที่สุดในเงื่อนไขแบบปิด ที่ดีที่สุดในเงื่อนไขแบบเปิด ระบบอ้างอิงที่ดีที่สุด | 8.61%, 2.59%, 29.12% EER | Wang และคณะ, ASVspoof Workshop 2024 |
เงื่อนไขแบบปิดห้ามใช้ข้อมูลภายนอก ส่วนเงื่อนไขแบบเปิดอนุญาตให้ใช้ข้อมูลภายนอกและโมเดลที่ฝึกไว้ล่วงหน้า จึงเป็นเหตุผลที่ปีเดียวกันมีผู้ชนะสองรายที่ต่างกันมาก
4. การปลอมแปลงทำอะไรกับการยืนยันตัวผู้พูด และการโจมตีที่ยากที่สุด
หากไม่มีตัวตรวจจับ การยืนยันตัวผู้พูดแทบไม่มีแรงต้านทาน ภายใต้การโจมตี S10 ในปี 2015 ระบบที่มี EER 0.42% พังลงเป็น 45.79% (Wu และคณะ, Interspeech 2015) รุ่นต่อมาซ้ำรูปแบบเดิมในทุกระดับ รวมถึง ASVspoof 5 ซึ่ง 14 จาก 16 การโจมตีในการประเมินผลดัน EER ของการยืนยันตัวผู้พูดให้เกิน 20% (Wang และคณะ, Computer Speech and Language 2025)
ข้อค้นพบที่น่าประหลาดใจกว่าคือผู้โจมตีที่ยากที่สุดคือใคร ในเงื่อนไขแบบปิดของ ASVspoof 5 คือ A19 ซึ่งสร้างบน MaryTTS ตัวสังเคราะห์เสียงแบบต่อเชื่อมชิ้นเสียงรุ่นเก่าที่เย็บเสียงพูดที่บันทึกไว้เข้าด้วยกัน และรายงานฐานข้อมูลสรุปว่าเทคโนโลยีการสร้างเสียงทั้งแบบเก่าและแบบร่วมสมัยยังคงเป็นภัยคุกคามร้ายแรง เครื่องจักรกับมนุษย์ยังพลาดต่างกันด้วย ในปี 2019 การโจมตี A17 หลอกตัวตรวจจับอ้างอิงได้แต่ผู้ฟังที่เป็นมนุษย์จับได้ง่าย ขณะที่ A10 ถูกอธิบายว่าแยกจากเสียงจริงไม่ได้ในเชิงการรับรู้ (Wang และคณะ, Computer Speech and Language 2020) สถิติ MOS ของเสียงพูดสังเคราะห์ของเราครอบคลุมด้านผู้ฟังของช่องว่างนั้น
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| EER ของการยืนยันตัวผู้พูด ผู้แอบอ้างทั่วไปเทียบกับการโจมตี S10 (2015) | 0.42% เทียบกับ 45.79% | Wu และคณะ, Interspeech 2015 |
| EER ของการยืนยันตัวผู้พูด ผู้แอบอ้างทั่วไปเทียบกับการเล่นซ้ำ (2017) | 1.76% เทียบกับ 31.46% | Kinnunen และคณะ, Interspeech 2017 |
| EER ของการยืนยันตัวผู้พูด ผู้แอบอ้างทั่วไปเทียบกับการโจมตีการเข้าถึงเชิงตรรกะที่แย่ที่สุดของปี 2019 | 2.48% เทียบกับ 64.52% (การโจมตี A16) | Wang และคณะ, Computer Speech and Language 2020 |
| EER ของการยืนยันตัวผู้พูด ECAPA-TDNN แบบดั้งเดิม ไม่มีการปลอมแปลงเทียบกับเมื่อเพิ่มการทดสอบที่เป็นของปลอม | 1.63% เทียบกับ 23.83% | Jung และคณะ, Interspeech 2022 |
| EER ของการยืนยันตัวผู้พูด ASVspoof 5 การโจมตี A26 เทียบกับการโจมตีเดียวกันที่เพิ่มขั้นตอนเชิงปรปักษ์ Malacopula (A27) | 15.77% เทียบกับ 34.68% | Wang และคณะ, Computer Speech and Language 2025 |
| EER ของตัวตรวจจับ ASVspoof 2015 ที่ดีที่สุดกับการโจมตีที่ยากที่สุด S10 | 8.49% | Wu และคณะ, IEEE JSTSP 2017 |
| EER ของตัวตรวจจับอ้างอิง ASVspoof 5 กับ A19 RawNet2 เทียบกับ AASIST | 49.80% เทียบกับ 63.75% | Wang และคณะ, Computer Speech and Language 2025 |
S10 ยังคงแข็งแกร่งหลังการแข่งขันปี 2015 ด้วย บทความทบทวนในวารสารของรุ่นปี 2015 พบว่าผลสำหรับการโจมตีนี้ยังแย่ในงานติดตามผลส่วนใหญ่ ยกเว้นหนึ่งงานที่ 1.065%
5. เหนือกว่า EER: t-DCF, a-DCF และปัญหาการปรับเทียบ
EER อธิบายตัวตรวจจับเพียงอย่างเดียว ณ เกณฑ์ตัดสินค่าเดียวที่เลือกหลังรู้ผลแล้ว ตั้งแต่ปี 2019 งาน ASVspoof ส่วนใหญ่จัดอันดับด้วยต้นทุนแทน ฟังก์ชันต้นทุนการตรวจจับแบบทำงานร่วมกัน (t-DCF) ตีราคาตัวตรวจจับและการตรวจสอบผู้พูดที่ทำงานด้วยกัน บนสเกลที่มีค่าพื้นของ ASV คือต้นทุนที่ยังเหลืออยู่แม้มีตัวตรวจจับสมบูรณ์แบบ เพราะการตรวจสอบผู้พูดยังทำผิดพลาดได้ ในปี 2019 ระบบการเข้าถึงเชิงตรรกะที่ดีที่สุดได้ 0.0692 เทียบกับค่าพื้น 0.0627 ซึ่งเกือบดีเท่าที่ตัวตรวจจับจะทำได้ (Nautsch และคณะ, IEEE T-BIOM 2021)
ASVspoof 5 เผยให้เห็นปัญหาถัดไปคือการปรับเทียบ ซึ่งถามว่าคะแนนของระบบนำไปใช้ที่เกณฑ์ตัดสินจริงที่ตายตัวได้หรือไม่ minDCF คือต้นทุน ณ เกณฑ์ตัดสินที่ดีที่สุดซึ่งเลือกหลังรู้ผลแล้ว และ actDCF คือต้นทุน ณ เกณฑ์ตัดสินที่ระบบที่ใช้งานจริงจะใช้ ผู้ชนะในเงื่อนไขแบบปิดตาม minDCF ได้ 0.9956 บน actDCF ขณะที่ทีมอันดับสามแทบไม่เสียอะไรระหว่างสองค่า เรานับได้ 11 จาก 31 ผลงานในเงื่อนไขแบบปิด และ 14 จาก 34 ผลงานในเงื่อนไขแบบเปิด ที่ระบุ actDCF เท่ากับ 1.0000 พอดี (Wang และคณะ, ASVspoof Workshop 2024) ผู้จัดเชื่อมโยงค่า actDCF ที่ 1.0 กับคะแนนที่คล้ายความน่าจะเป็น ดังนั้น minDCF ต่ำและ actDCF สูงจึงอยู่ในระบบเดียวกันได้ และผู้จัดเสนอตัวชี้วัดที่ไวต่อการปรับเทียบเป็นตัวชี้วัดหลักที่เป็นไปได้ในรุ่นถัดไป (Wang และคณะ, IEEE TASLP 2026)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ASVspoof 2019: ค่าพื้นของ ASV เทียบกับ min t-DCF ที่ดีที่สุด การเข้าถึงเชิงตรรกะและการเข้าถึงเชิงกายภาพ | 0.0627 เทียบกับ 0.0692; 0.1354 เทียบกับ 0.1437 | Nautsch และคณะ, IEEE T-BIOM 2021 |
| ASVspoof 2021 การเข้าถึงเชิงกายภาพ: ค่าพื้นของ ASV เทียบกับ min t-DCF ที่ดีที่สุด | 0.12 เทียบกับ 0.6824 | Liu และคณะ, IEEE/ACM TASLP 2023; Yamagishi และคณะ, ASVspoof 2021 Workshop |
| ASVspoof 5 แทร็ก 1 เงื่อนไขแบบปิด: minDCF เทียบกับ actDCF อันดับหนึ่งและอันดับสาม | 0.2436 เทียบกับ 0.9956; 0.2975 เทียบกับ 0.2976 | Wang และคณะ, ASVspoof Workshop 2024 |
| ASVspoof 5 แทร็ก 2: ที่ดีที่สุดในเงื่อนไขแบบปิด ที่ดีที่สุดในเงื่อนไขแบบเปิด และระบบอ้างอิงเงื่อนไขแบบปิดที่ดีที่สุด min a-DCF | 0.2814, 0.0756, 0.5741 | Wang และคณะ, ASVspoof Workshop 2024 |
a-DCF (ฟังก์ชันต้นทุนการตรวจจับที่ไม่ขึ้นกับสถาปัตยกรรม) เป็นตัวชี้วัดหลักของแทร็ก 2 และแทร็ก 2 รวมตัวตรวจจับเข้ากับการตรวจสอบผู้พูด ค่า t-DCF เทียบข้ามรายงานไม่ได้ ดูข้อสังเกตเกี่ยวกับข้อมูล
6. อะไรที่ชนะ: โมเดลนิวรอล ชุดรวมระบบ และส่วนหน้าที่ฝึกไว้ล่วงหน้า
ซีรีส์นี้เล่าเรื่องวิธีการได้อย่างชัดเจน ภายในปี 2019 โครงข่ายประสาทเทียมครองอันดับต้นของตาราง และชุดรวมระบบ (ensemble) คือการรวมระบบย่อยหลายตัวเข้าด้วยกัน กลายเป็นวิธีชนะมาตรฐาน ชุดรวมระบบที่ชนะด้านการเข้าถึงเชิงตรรกะปี 2019 ดีกว่าระบบเดี่ยวที่ดีที่สุด 56% บน t-DCF ขณะที่การเข้าถึงเชิงกายภาพได้เพียงราว 2% (Nautsch และคณะ, IEEE T-BIOM 2021) ชุดรวมระบบเหลือพื้นที่ให้ได้เปรียบน้อยมากในการเข้าถึงเชิงกายภาพ เพราะระบบเดี่ยวที่ดีที่สุดอยู่ใกล้ค่าพื้นของ ASV ที่อธิบายไว้ในส่วนที่ 5 อยู่แล้ว
ภายในปี 2024 ปัจจัยตัดสินคือส่วนหน้า (front-end) ที่ฝึกไว้ล่วงหน้า ผลงานอันดับต้นทั้งหมดของ ASVspoof 5 ใช้ wav2vec 2.0 หรือ WavLM (Wang และคณะ, IEEE TASLP 2026) ซึ่งเป็นโมเดลเรียนรู้ด้วยตนเองที่ฝึกก่อนบนเสียงพูดทั่วไปปริมาณมาก ผลดีที่เพิ่มขึ้นจากเงื่อนไขแบบปิดเป็นแบบเปิด จาก 8.61% เป็น 2.59% ส่วนใหญ่มาพร้อมโมเดลเหล่านี้และข้อมูลเพิ่มเติมที่เงื่อนไขแบบเปิดอนุญาต โมเดลตระกูลเดียวกันนี้ถูกวัดบนงานเสียงพูดทั่วไปในสถิติตารางอันดับ SUPERBของเรา เทคนิคนี้ได้รับการพิสูจน์ไม่นานหลังรุ่นปี 2021 เมื่อระบบ wav2vec 2.0 ระบบเดียวเอาชนะผลการแข่งขันทุกรายการบนข้อมูลชุดเดียวกัน (Tak และคณะ, Odyssey 2022)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ASVspoof 2019: ระบบอันดับต้นที่ใช้โครงข่ายประสาทเทียม และระบบที่ใช้ชุดรวมตัวจำแนก | 7 และ 9 อันดับแรกด้านการเข้าถึงเชิงตรรกะ; 6 และ 10 อันดับแรกด้านการเข้าถึงเชิงกายภาพ | Todisco และคณะ, Interspeech 2019 |
| ASVspoof 2019: min t-DCF ระบบเดี่ยวที่ดีที่สุดเทียบกับชุดรวมระบบที่ดีที่สุด การเข้าถึงเชิงตรรกะและการเข้าถึงเชิงกายภาพ | 0.1562 เทียบกับ 0.0692; 0.1470 เทียบกับ 0.1437 | Nautsch และคณะ, IEEE T-BIOM 2021 |
| ASVspoof 5 แทร็ก 1: ระบบย่อยที่นำมารวม เงื่อนไขแบบปิดเทียบกับแบบเปิด | 3 ถึง 4 เทียบกับ 2 ถึง 6 | Wang และคณะ, IEEE TASLP 2026 |
| ASVspoof 5 แทร็ก 1: ส่วนหน้าที่ฝึกไว้ล่วงหน้าในห้าระบบเงื่อนไขแบบเปิดอันดับต้นที่ระบุไว้ | wav2vec2-large ใน 3 ระบบ, WavLM-Base ใน 2 ระบบ | Wang และคณะ, IEEE TASLP 2026 |
| ระบบ wav2vec 2.0 หลังการแข่งขันบนการเข้าถึงเชิงตรรกะของ ASVspoof 2021, EER และ min t-DCF | 0.82% และ 0.2066 | Tak และคณะ, Odyssey 2022 |
| ระบบ wav2vec 2.0 หลังการแข่งขันบนงานดีปเฟกของ ASVspoof 2021, EER | 2.85% | Tak และคณะ, Odyssey 2022 |
7. ช่องว่างด้านการสรุปความทั่วไปหลังตารางอันดับ
ปัญหาที่ยังไม่ได้รับการแก้ไขในการต่อต้านการปลอมแปลงคือสิ่งที่เกิดขึ้นนอกชุดทดสอบมาตรฐาน สัญญาณที่ชัดที่สุดเกิดขึ้นภายในการแข่งขันเอง บนดีปเฟกของ ASVspoof 2021 มี 23 จาก 33 ระบบที่ได้ EER ต่ำกว่า 10% บนข้อมูลช่วงความคืบหน้า และทุกระบบนั้นเกิน 15% บนชุดประเมินผล (Liu และคณะ, IEEE/ACM TASLP 2023) คะแนนช่วงความคืบหน้าที่ดีที่สุดต่ำกว่า 1% ดังนั้นผลตอบรับจากตารางอันดับที่ทีมใช้ฝึกจึงทำให้เข้าใจผิด
ผลเดียวกันนี้เกิดขึ้นนอกการแข่งขันด้วย ระบบเงื่อนไขแบบเปิดห้าอันดับแรกของ ASVspoof 5 สี่ระบบถูกทดสอบซ้ำบนชุดข้อมูลอื่น และ EER ของระบบเหล่านั้นสูงเกิน 10% ยกเว้นหนึ่งระบบ (Wang และคณะ, IEEE TASLP 2026) บนเสียงที่รวบรวมจากอินเทอร์เน็ต โมเดลที่ฝึกบน ASVspoof 2019 ทำได้แย่กว่ามาก และข้อมูล ASVspoof ที่มากขึ้นก็ไม่ช่วย (Müller และคณะ, Interspeech 2022) การเพิ่มคุณภาพเสียงพูดก็มีปัญหาทำนองเดียวกัน ซึ่งบันทึกไว้ในสถิติเกณฑ์วัด PESQ และ STOIของเรา บทความก่อนตีพิมพ์ปี 2025 ไปไกลกว่านั้นและเสนอว่าการตรวจจับเพียงอย่างเดียวไม่ควรแบกรับการตัดสินใจที่มีความเสี่ยงสูง โดยแนะนำให้ใช้เป็นหนึ่งสัญญาณในการป้องกันหลายชั้น (Berisha และคณะ, arXiv 2025)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ระบบเงื่อนไขแบบเปิดของ ASVspoof 5 ได้แก่ T36, T27, T23, T43: EER บนชุดย่อยแทร็ก 1 ของ ASVspoof 5 เทียบกับบนการเข้าถึงเชิงตรรกะของ ASVspoof 2019 | 3.37%, 3.30%, 4.23%, 4.33% เทียบกับ 16.27%, 17.33%, 16.73%, 26.63% | Wang และคณะ, IEEE TASLP 2026 |
| ผู้ชนะการเข้าถึงเชิงกายภาพของ ASVspoof 2019: EER บนการเล่นซ้ำจำลองเทียบกับการเล่นซ้ำจริงที่ซ่อนไว้ | 0.39% เทียบกับ 19.68% | Nautsch และคณะ, IEEE T-BIOM 2021 |
| โมเดลที่ดีที่สุดบน ASVspoof 2019 เทียบกับโมเดลที่ดีที่สุดบนเสียงในสถานการณ์จริง (in-the-wild), EER | ราว 1.2% เทียบกับราว 33.9% | Müller และคณะ, Interspeech 2022 |
| RawNet2 ที่ฝึกใหม่บน ASVspoof 2019 ทั้งชุด: EER บนเสียงในสถานการณ์จริง (in-the-wild) | 33.1% ± 0.2 | Müller และคณะ, Interspeech 2022 |
| EER ที่แย่ลงของ 12 โมเดลที่นำมาสร้างใหม่ บนเสียงในสถานการณ์จริง (in-the-wild) | ราว 200% ถึง 1000% | Müller และคณะ, Interspeech 2022 |
| ทีม T03 ของ WildSpoof Challenge, EER ที่ทีมรายงานเองในการตรวจจับการปลอมแปลงภายในโดเมนเดียวกัน | 0.16% | Farhadipour และคณะ, arXiv 2026 |
ตัวเลขของ T03 เป็นรายงานของทีมเดียว และผู้เขียนระบุว่าผลบนชุดข้อมูลอื่น รวมถึง ASVspoof 5 แสดงว่าการสรุปความทั่วไปข้ามโดเมนยังคงยาก ตัวเลขภายในโดเมนเดียวกันยังคงลดลงขณะที่ช่องว่างยังเปิดอยู่ WildSpoof ซึ่งแผนการประเมินผลระบุผู้เขียนที่เคยจัด ASVspoof 5 ด้วย จับคู่แทร็กการแปลงข้อความเป็นเสียงพูดเข้ากับแทร็กการยืนยันตัวผู้พูดที่ทนต่อการปลอมแปลง (Farhadipour และคณะ, arXiv 2026)
สรุป: อัตราข้อผิดพลาดเท่ากันของ ASVspoof ด้านการต่อต้านการปลอมแปลงเสียงในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ทีม ASVspoof 2015 ที่ส่งผลงานหลัก | 16 | Wu และคณะ, Interspeech 2015 |
| ทีม ASVspoof 2017 | 49 | Kinnunen และคณะ, Interspeech 2017 |
| ผู้พูดของ ASVspoof 5 เทียบกับรุ่นก่อนหน้า | ราว 2,000 เทียบกับราว 100 | Wang และคณะ, Computer Speech and Language 2025 |
| EER ของการยืนยันตัวผู้พูด ผู้แอบอ้างทั่วไปเทียบกับการโจมตี S10 (2015) | 0.42% เทียบกับ 45.79% | Wu และคณะ, Interspeech 2015 |
| EER ของการยืนยันตัวผู้พูด ผู้แอบอ้างทั่วไปเทียบกับการโจมตีการเข้าถึงเชิงตรรกะที่แย่ที่สุดของปี 2019 | 2.48% เทียบกับ 64.52% | Wang และคณะ, Computer Speech and Language 2020 |
| EER เฉลี่ยที่ดีที่สุดของ ASVspoof 2015 | 1.211% | Wu และคณะ, IEEE JSTSP 2017 |
| EER ของตัวตรวจจับ ASVspoof 2015 ที่ดีที่สุดกับการโจมตีที่ยากที่สุด S10 | 8.49% | Wu และคณะ, IEEE JSTSP 2017 |
| EER ที่ดีที่สุดของ ASVspoof 2017 | 6.73% | Kinnunen และคณะ, Interspeech 2017 |
| EER ที่ดีที่สุดของ ASVspoof 2019 การเข้าถึงเชิงตรรกะ | 0.22% | Todisco และคณะ, Interspeech 2019 |
| EER ที่ดีที่สุดของ ASVspoof 2021 งานดีปเฟก | 15.64% | Yamagishi และคณะ, ASVspoof 2021 Workshop |
| EER ที่ดีที่สุดของ ASVspoof 5 แทร็ก 1 เงื่อนไขแบบปิด | 8.61% | Wang และคณะ, ASVspoof Workshop 2024 |
| EER ที่ดีที่สุดของ SASV 2022 เมื่อรวมการทดสอบที่เป็นของปลอม | 0.13% | Jung และคณะ, Interspeech 2022 |
| EER หลังการแข่งขันที่ดีที่สุดบนการเข้าถึงเชิงตรรกะของ ASVspoof 2021 | 0.82% | Tak และคณะ, Odyssey 2022 |
| EER หลังการแข่งขันที่ดีที่สุดบนงานดีปเฟกของ ASVspoof 2021 | 2.85% | Tak และคณะ, Odyssey 2022 |
| ผู้ชนะการเข้าถึงเชิงกายภาพของ ASVspoof 2019 บนการเล่นซ้ำจริงที่ซ่อนไว้ | 19.68% EER | Nautsch และคณะ, IEEE T-BIOM 2021 |
| โมเดลที่ดีที่สุดบนเสียงในสถานการณ์จริง (in-the-wild) | ราว 33.9% EER | Müller และคณะ, Interspeech 2022 |
ระเบียบวิธีและแหล่งที่มา
เราอ่านรายงานของการแข่งขันโดยตรง ไม่ใช่บทสรุปจากบุคคลที่สาม ตัวเลข EER เป็นเปอร์เซ็นต์บนชุดประเมินผล เว้นแต่แถวใดระบุเป็นอย่างอื่น ข้อมูลส่วนใหญ่ในที่นี้เก่ากว่าสามปีโดยธรรมชาติ เพราะการแข่งขันจัดขึ้นประมาณทุกสองถึงสามปี ข้อมูลล่าสุดที่มี: รายงานในวารสารปี 2026 เกี่ยวกับรุ่นปี 2024
- เว็บไซต์ทางการของ ASVspoof: รายชื่อรุ่น กำหนดการ และผู้จัด
- Wu และคณะ, ASVspoof 2015, Interspeech 2015: รุ่นแรก ทีม การทดสอบ และผลลัพธ์
- Wu และคณะ, IEEE Journal of Selected Topics in Signal Processing 2017: รายละเอียดของ S10 และการทบทวนหลังการประเมิน
- Kinnunen และคณะ, ASVspoof 2017, Interspeech 2017: ผลการตรวจจับการเล่นซ้ำ
- Todisco และคณะ, ASVspoof 2019, Interspeech 2019: ภาพรวมและตารางอันดับ
- Wang และคณะ, ฐานข้อมูล ASVspoof 2019, Computer Speech and Language 2020: ขนาดข้อมูล การโจมตี และการประเมินโดยมนุษย์
- Nautsch และคณะ, IEEE Transactions on Biometrics, Behavior, and Identity Science 2021: t-DCF ฉบับปรับปรุง ชุดรวมระบบ การเล่นซ้ำจริงที่ซ่อนไว้
- Yamagishi และคณะ, ASVspoof 2021 Workshop: ผลหลักของปี 2021
- Liu และคณะ, IEEE/ACM Transactions on Audio, Speech, and Language Processing 2023: การวิเคราะห์ปี 2021 ฉบับเต็ม
- Wang และคณะ, ASVspoof Workshop 2024: ตารางผลลัพธ์ของ ASVspoof 5
- Wang และคณะ, ฐานข้อมูล ASVspoof 5, Computer Speech and Language 2025: ข้อมูล การโจมตี และผลต่อระบบอ้างอิง
- Wang และคณะ, IEEE Transactions on Audio, Speech and Language Processing 2026: การวิเคราะห์ ASVspoof 5 หลังการแข่งขัน
- Jung และคณะ, SASV 2022, Interspeech 2022: การยืนยันตัวผู้พูดที่รับรู้การปลอมแปลง
- Tak และคณะ, Odyssey 2022: ผล wav2vec 2.0 หลังการแข่งขัน
- Müller และคณะ, Interspeech 2022: การทดสอบการสรุปความทั่วไปบนเสียงในสถานการณ์จริง (in-the-wild)
- Berisha และคณะ, arXiv 2025: บทความก่อนตีพิมพ์ ไม่ได้ผ่านการพิจารณาโดยผู้ทรงคุณวุฒิตามบันทึกที่เราอ่าน
- Farhadipour และคณะ, arXiv 2026 และแผนการประเมินผล WildSpoof 2025: รายงานระบบของทีมและกติกาการแข่งขัน
- ข้อสังเกตเกี่ยวกับข้อมูล: (1) EER ข้ามรุ่นไม่ใช่แนวโน้ม เพราะข้อมูล การโจมตี และตัวเข้ารหัสเสียงเปลี่ยนไปทุกครั้ง (2) สเกลของ t-DCF ต่างกัน: ภาพรวมปี 2019 พิมพ์ 0.0069 สำหรับผู้ชนะการเข้าถึงเชิงตรรกะ และ 0.0096 สำหรับผู้ชนะการเข้าถึงเชิงกายภาพ ขณะที่รายงาน T-BIOM ในเวลาต่อมาปรับสูตรและพิมพ์ 0.0692 กับ 0.1437 โดยลำดับอันดับแทบไม่เปลี่ยน เราใช้ค่าที่ปรับปรุงแล้ว (3) จำนวนทีมขัดแย้งกัน: 63 เทียบกับ 62 สำหรับปี 2019 และ 53 เทียบกับ 54 สำหรับ ASVspoof 5 (4) ข้อความในรายงานเวิร์กช็อปปี 2021 ระบุผลงานการเข้าถึงเชิงตรรกะ 42 รายการและดีปเฟก 30 รายการ แต่ตารางของรายงานเดียวกันระบุ 41 และ 33 เราอ้างเฉพาะ 33 รายการที่ใช้ในรายงานวารสาร ผู้ชนะดีปเฟกคือ 15.64% ในรายงานเวิร์กช็อป และ 15.63% ในรายงานวารสาร (5) รายงานปี 2017 ระบุ EER หลักเฉลี่ยเป็นทั้ง 26.01% และ 25.91% เราจึงไม่ใช้ตัวเลขนี้ (6) a-DCF ของแทร็ก 2 เงื่อนไขแบบเปิดที่ดีที่สุดของ ASVspoof 5 คือ 0.0756 ในตารางปี 2024 และพิมพ์เป็น 0.07 ในรายงานปี 2026 (7) จำนวน actDCF ในส่วนที่ 5 เป็นการนับของเราเองจากตารางปี 2024 โดยไม่รวมระบบอ้างอิงสองระบบในเงื่อนไขแบบปิด (8) ค่าในตารางของ ASVspoof 5 อ่านจากรายงานปี 2024 และมีหลายทีมที่ปรากฏโดยไม่มีรหัสสาธารณะ (9) ตัวเลขของ Tak และคณะเป็นผลหลังการแข่งขันที่ผู้เขียนรายงานเอง ซึ่งเราไม่ได้ทำซ้ำ (10) เราไม่พบสรุปอย่างเป็นทางการจากผู้จัดเกี่ยวกับผลสุดท้ายของ WildSpoof และไม่พบประกาศ ASVspoof 6 บนเว็บไซต์ทางการ ณ วันที่ 31 ตุลาคม 2026
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อผู้จัด ASVspoof เผยแพร่แผนการประเมินผลสำหรับรุ่นถัดไป