ข้อผิดพลาดของการยืนยันตัวผู้พูดบนชุดทดสอบ VoxCeleb1 ลดลงจาก 8.8% ในปี 2017 (Nagrani และคณะ, บทความ VoxCeleb 2017) เหลือ 0.12% ในบทความปี 2025 (Li, Cheng และ Li, บทความ w2v-BERT 2.0 2025) ซึ่งลดลง 73 เท่า (8.8 / 0.12) การยืนยันตัวผู้พูดคือการตรวจสอบว่า “นี่คือคนเดียวกันหรือไม่” และอัตราข้อผิดพลาดที่เท่ากัน (EER) คือคะแนนมาตรฐานของงานนี้ สถิติที่ดีที่สุดดังกล่าวมาจากรายการคงที่ของเสียงพูดของคนดังที่นำมาจาก YouTube สาขาเดียวกันนี้รายงานค่า 9.30% เมื่อเสียงพูดคุยจอแจดังเท่ากับเสียงพูด (Gu และคณะ, บทความ Noise-Conditioned Mixture-of-Experts 2025) และ 10.419% เมื่อเปรียบเทียบคนคนเดียวกันที่อายุห่างกันมาก (Qin และคณะ, Interspeech 2022) เรารวบรวมข้อมูลจากผู้จัดการแข่งขัน VoxSRC, การประเมินการจดจำผู้พูดของ NIST, บทความจาก Interspeech และ Odyssey, ทีมผู้สร้างคลังข้อมูล VoxBlink2 และ CN-Celeb รวมถึงงานวิจัยด้านความเป็นธรรมจาก FAccT สำหรับด้านการค้าของเทคโนโลยีนี้ ดูสถิติไบโอเมตริกซ์เสียงของเรา และสำหรับปัญหา “ใครพูดเมื่อไร” ที่อยู่ใกล้เคียงกัน ดูสรุปอัตราข้อผิดพลาดของการแยกผู้พูดของเรา
สรุปโดยย่อ
- ค่า EER บน VoxCeleb1-O ที่ต่ำที่สุดที่เราพบในบทความปฐมภูมิ: 0.12% จากโมเดลที่มีพารามิเตอร์ราว 600 ล้านตัว (Li, Cheng และ Li, บทความ w2v-BERT 2.0 2025)
- คลังข้อมูลผู้พูด 111,284 คนช่วยผลักดัน ResNet ตัวเดียวให้ได้ EER 0.17% และ minDCF 0.006 (Lin และคณะ, VoxBlink2, Interspeech 2024)
- ReDimNet2-B6 ทำ EER ได้ 0.29% ด้วยพารามิเตอร์ 12.3M ตัว (Yakovlev และ Okhotnikov, บทความ ReDimNet2 2026)
- EER ของผู้ได้อันดับหนึ่งประเภท 2 บนชุดทดสอบ VoxSRC ปี 2019 ที่คงที่ ลดจาก 1.26% ในปี 2019 เป็น 0.47% ในปี 2023 (Huh และคณะ, การทบทวนย้อนหลัง VoxSRC 2024)
- คู่ทดสอบ 2 วินาทีทำให้ ERes2NetV2 เพิ่มจาก EER 0.61% เป็น 1.48% (Chen และคณะ, บทความ ERes2NetV2 2024)
- เสียงพูดคุยจอแจรอบข้างที่ 0 dB ทำให้ระบบฐานเปรียบเทียบ ResNet34 เพิ่มจาก EER 1.98% เป็น 9.30% (Gu และคณะ 2025)
- คู่ที่อายุห่างกันมากทำให้ระบบฐานเปรียบเทียบเพิ่มจาก EER 1.939% เป็น 10.419% (Qin และคณะ, Interspeech 2022)
- ช่วงห่าง 40 ปีทำให้ EER ของผู้ชายสูงถึง 51.61% ในคลังข้อมูลของฟินแลนด์ เลยเส้นเสี่ยงโยนเหรียญที่ 50% (Singh และคณะ, Interspeech 2023)
- ระบบ x-vector ที่ฝึกบน VoxCeleb ได้ 3.48% บน SITW และ 16.59% บน CN-Celeb.E (Li และคณะ, บทความ CN-Celeb 2020)
- ตารางอันดับของการแข่งขันโทรศัพท์ SRE24 นำอยู่ที่ EER 2.37% (ตารางอันดับ NIST SRE24-CTS Challenge, 24 ตุลาคม 2024)
- ผู้หญิงคิดเป็น 38% ของผู้พูด แต่เป็นเพียง 29.5% ของท่อนเสียงพูดในชุดทดสอบ VoxCeleb 1 (Hutiri และ Ding, FAccT 2022)
1. ไม้บรรทัดวัด: EER วัดอะไร และ VoxCeleb มีอะไรบ้าง
ระบบยืนยันตัวผู้พูดรับการบันทึกเสียงสองรายการ เรียกว่า “คู่ทดสอบ” (trial) แล้วตัดสินว่าทั้งสองมาจากผู้พูดคนเดียวกันหรือไม่ การเพิ่มเกณฑ์การยอมรับจะปฏิเสธผู้พูดตัวจริงมากขึ้น และการลดเกณฑ์จะยอมรับผู้แอบอ้างมากขึ้น EER คือจุดที่อัตราข้อผิดพลาดทั้งสองแบบเท่ากัน ตัวชี้วัดคู่กันคือ minDCF (ต้นทุนการตรวจจับขั้นต่ำ) ซึ่งถ่วงน้ำหนักข้อผิดพลาดสองแบบเดียวกันสำหรับจุดดำเนินการที่เลือก และยิ่งต่ำก็ยิ่งดีเช่นกัน ตัวชี้วัดทั้งสองไม่ครอบคลุมเสียงสังเคราะห์หรือเสียงที่เปิดซ้ำ: “ผู้แอบอ้าง” ในที่นี้เป็นเพียงคนจริงคนอื่น ๆ
รายการทดสอบแบบคลาสสิกมีขนาดเล็ก: 37,720 คู่ทดสอบจากผู้พูด 40 คน (Gu และคณะ, บทความ Noise-Conditioned Mixture-of-Experts 2025) VoxCeleb1-O ซึ่งเป็นชื่อของรายการนั้น ง่ายเมื่อเทียบกับรายการพี่น้องที่ยากกว่า: ข้อผิดพลาดของโมเดลหนึ่งเพิ่มเป็นสี่เท่าเมื่อย้ายจาก Vox1-O ไป Vox1-H (0.17% เป็น 0.68%) ในทางตรงกันข้าม ข้อมูลสำหรับฝึกเติบโตขึ้นอย่างมหาศาล และหัวข้อที่ 3 แสดงว่าทำไมสิ่งนี้จึงสำคัญกว่าการเปลี่ยนสถาปัตยกรรมส่วนใหญ่
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ขนาดของ VoxCeleb1: ผู้พูด, ท่อนเสียงพูด, วิดีโอ, ชั่วโมง, สัญชาติ | 1,251 / 153,516 / 22,496 / 352 / 36 | Chung และคณะ, บทความ VoxCeleb2 2018 |
| ส่วนฝึกของ VoxCeleb2: ผู้พูด, ท่อนเสียงพูด, ชั่วโมง, วินาทีเฉลี่ยต่อท่อนเสียงพูด | 5,994 / 1,092,009 / 2,442 / 7.8 | Lin และคณะ, VoxBlink2, Interspeech 2024 |
| ขนาดของ VoxBlink2: ผู้พูด, ท่อนเสียงพูด, ชั่วโมง, วินาทีเฉลี่ยต่อท่อนเสียงพูด | 111,284 / 9,904,382 / 16,672 / 6.0 | Lin และคณะ, VoxBlink2, Interspeech 2024 |
| ขนาดของ CN-Celeb: ผู้พูด, ประเภทการบันทึก, ชั่วโมงใน CN-Celeb1 บวก CN-Celeb2 | 3,000 / 11 / 274 บวก 1,090 | Li และคณะ, บทความ CN-Celeb 2020 |
| รายการทดสอบ VoxCeleb1-O: คู่ทดสอบ, ผู้พูด | 37,720 / 40 | Gu และคณะ, บทความ Noise-Conditioned Mixture-of-Experts 2025 |
| EER ของโมเดลหนึ่งบน Vox1-O (รายการง่าย) เทียบกับ Vox1-E (รายการขยาย) เทียบกับ Vox1-H (รายการยาก) | 0.17% เทียบกับ 0.37% เทียบกับ 0.68% | Lin และคณะ, VoxBlink2, Interspeech 2024 |
ข้อมูลล่าสุดที่มีสำหรับตัวเลขของคลังข้อมูลดั้งเดิม: บทความ VoxCeleb2 ปี 2018
2. สถิติการแข่งขัน VoxSRC ปี 2019 ถึง 2023
การแข่งขัน VoxCeleb Speaker Recognition Challenge จัดขึ้นทุกปีตั้งแต่ปี 2019 ถึง 2023 และการตัดสินใจออกแบบที่ดีที่สุดคือการเก็บชุดทดสอบปี 2019 ไว้ในชุดทดสอบของทุกปีต่อมา ทำให้วงการมีไม้บรรทัดคงที่หนึ่งอัน บนไม้บรรทัดนั้น EER ของผู้ได้อันดับหนึ่งประเภท 1 ลดจาก 1.42% ในปี 2019 เป็น 0.57% ในปี 2021 แล้วก็หยุดลดลง ผู้จัดระบุว่าผู้ชนะต่ำกว่า 1% มาตั้งแต่ปี 2020 “ซึ่งเราถือว่าเป็นภาวะอิ่มตัวของประสิทธิภาพ” และชุดทดสอบใหม่ของแต่ละปียังคงยากกว่าเดิม: ผู้ชนะประเภท 1 ได้ 3.73%, 1.85%, 1.49% และ 1.59% บนชุดของตัวเองตั้งแต่ปี 2020 ถึง 2023 โดยชุดทดสอบเติบโตจาก 208,008 คู่และผู้พูด 745 คนในปี 2019 เป็น 825,437 คู่และผู้พูด 2,532 คนในปี 2023 (Huh และคณะ, การทบทวนย้อนหลัง VoxSRC 2024)
ภาวะอิ่มตัวมีพื้นล่างที่วัดได้ บนชุดปี 2019 นั้น ช่วงความเชื่อมั่นแบบบูตสแตรป 95% กว้างเป็น 18.6% ถึง 31.2% ของค่า EER เอง ดังนั้นช่องว่างเล็ก ๆ ระหว่างผู้ชนะอาจเป็นเพียงสัญญาณรบกวน จาก 232 คู่ที่ผู้ชนะปี 2022 และ 2023 ทุกรายตอบผิด มี 16 คู่เป็นคู่ผู้พูดคนเดียวกัน และ 12 จาก 16 คู่นั้นเป็นความผิดพลาดของป้ายกำกับในรายการทดสอบ กรณียากก็มีอยู่จริงเช่นกัน: ผู้ชนะประเภท 1 ปี 2022 ได้ 0.90% บนคู่มาตรฐาน และ 2.07% เมื่อทุกคู่เป็นคู่ยาก (ผู้พูดคนเดียวกันในอายุต่างกัน หรือผู้พูดต่างคนในสภาพแวดล้อมการบันทึกเดียวกัน)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| EER ของผู้ได้อันดับหนึ่งประเภท 1 (ข้อมูลฝึกแบบปิด) บนชุดทดสอบปี 2019 ที่คงที่ ปี 2019 / 2020 / 2021 / 2022 / 2023 | 1.42% / 0.83% / 0.57% / 0.90% / 0.58% | Huh และคณะ, การทบทวนย้อนหลัง VoxSRC 2024 |
| EER ของผู้ได้อันดับหนึ่งประเภท 2 (ข้อมูลฝึกแบบเปิด) บนชุดทดสอบปี 2019 ที่คงที่ ปี 2019 / 2020 / 2021 / 2022 / 2023 | 1.26% / 0.80% / 0.57% / 0.69% / 0.47% | Huh และคณะ, การทบทวนย้อนหลัง VoxSRC 2024 |
| ผลงาน UNISOUND ปี 2023 ที่ได้อันดับหนึ่งในประเภท 1 ตามรายงานของทีม: EER, minDCF บนชุดทดสอบปี 2023 | 1.5880%, 0.0855 | Zheng และคณะ, รายงานระบบ UNISOUND 2023 |
| ผลงาน ID R&D ปี 2023 ที่ได้อันดับหนึ่งบนตารางอันดับสาธารณะของประเภท 2: EER, minDCF ที่ P_target 0.05 | 1.30%, 0.0762 | Torgashov และคณะ, รายงานระบบ ID R&D 2023 |
| ผลงานแบบรวมโมเดลของ ChinaTelecom ปี 2023 ประเภท 1 ที่ทีมรายงานเอง: EER, minDCF | 1.980%, 0.1066 | Du และคณะ, รายงานระบบ ChinaTelecom 2023 |
บริบท: การแข่งขันครั้งสุดท้ายจัดขึ้นในปี 2023 ดังนั้นข้อมูลล่าสุดที่มีสำหรับการแข่งขันนี้คือการทบทวนย้อนหลังปี 2024 EER มักไม่ใช่ตัวชี้วัดที่ใช้จัดอันดับ จึงเป็นเหตุผลที่ทีมอันดับสองบางครั้งแสดงค่า EER ต่ำกว่าผู้ชนะ
3. สถิติ VoxCeleb1-O จาก 8.8% เหลือ 0.12%
จำนวนคู่ทดสอบทำให้การปรับปรุงนี้เห็นภาพชัด อัตราข้อผิดพลาดทั้งสองแบบเท่ากับ EER ที่จุดดำเนินการ ดังนั้นข้อผิดพลาดรวมจึงประมาณ EER คูณจำนวนคู่ทดสอบ: 8.8% ของ 37,720 คือการตัดสินใจผิดราว 3,319 ครั้ง และ 0.12% คือราว 45 ครั้ง ระบบปี 2025 ทำผิดราว 45 ครั้ง ในขณะที่ระบบฐานเปรียบเทียบปี 2017 ผิดราว 3,319 ครั้ง (Li, Cheng และ Li, บทความ w2v-BERT 2.0 2025) ที่ระดับนี้ คู่ทดสอบที่ติดป้ายผิดเพียงไม่กี่คู่ก็ตัดสินสถิติได้
ปัจจุบันข้อมูลทำให้คะแนนขยับมากกว่าสถาปัตยกรรม W2V-BERT 2.0 มีค่า 0.38% เมื่อฝึกด้วย VoxCeleb2 อย่างเดียว และ 0.14% เมื่อเพิ่ม VoxBlink2 โดยเป็นโมเดลพารามิเตอร์ 587M ตัวเดียวกันทั้งสองแถว (Yakovlev และ Okhotnikov, บทความ ReDimNet2 2026) สูตรการฝึกก็สำคัญเช่นกัน: ResNet34 ลดจาก 1.31% ในต้นฉบับที่อ้างอิง เป็น 0.723% ในการสร้างซ้ำด้วยชุดเครื่องมือ WeSpeaker เวกเตอร์แทนเสียง (embedding) ชุดเดียวกันนี้ยังทำหน้าที่เป็นผู้ตัดสินในงานวิจัยการแปลงเสียง ซึ่งสรุปความคล้ายคลึงของผู้พูดในการแปลงเสียงของเราตรวจสอบไว้
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| 2017: ระบบฐานเปรียบเทียบ i-vector บวก PLDA บนชุดทดสอบ VoxCeleb1, EER และต้นทุนการตรวจจับขั้นต่ำ | 8.8%, 0.73 | Nagrani และคณะ, บทความ VoxCeleb 2017 |
| 2018: ResNet-50 ที่ฝึกบน VoxCeleb2, EER และต้นทุนการตรวจจับขั้นต่ำ | 3.95%, 0.429 | Chung และคณะ, บทความ VoxCeleb2 2018 |
| 2020: ECAPA-TDNN ที่มี 1,024 ช่องสัญญาณ, EER และ minDCF | 0.87%, 0.1066 | Desplanques และคณะ, Interspeech 2020 |
| 2022: ResNet293 ในชุดเครื่องมือ WeSpeaker, EER และ minDCF | 0.447%, 0.043 | Wang และคณะ, บทความ WeSpeaker 2022 |
| 2024: SimAM-ResNet293 ที่ฝึกล่วงหน้าบน VoxBlink2 พร้อมการปรับเทียบคุณภาพ, EER และ minDCF | 0.17%, 0.006 | Lin และคณะ, VoxBlink2, Interspeech 2024 |
| 2025: w2v-BERT 2.0 บน Vox1-O เทียบกับ Vox1-H, EER | 0.12% เทียบกับ 0.55% | Li, Cheng และ Li, บทความ w2v-BERT 2.0 2025 |
| 2026: ReDimNet2-B6, EER, พารามิเตอร์, GMAC (พันล้านการดำเนินการคูณ-สะสม) สำหรับอินพุต 2 วินาที | 0.29%, 12.3M, 13.05 | Yakovlev และ Okhotnikov, บทความ ReDimNet2 2026 |
| 2026: ReDimNet2-B0 โมเดลที่เล็กที่สุดในตระกูล, EER และพารามิเตอร์ | 1.04%, 1.1M | Yakovlev และ Okhotnikov, บทความ ReDimNet2 2026 |
หมายเหตุค่าผิดปกติ: ผู้เขียน w2v-BERT 2.0 รายงานว่าการตัดแต่งโมเดลลดขนาดลง 80% โดย EER แย่ลงเพียง 0.04% ดังนั้นโมเดลที่ใหญ่ที่สุดอาจไม่จำเป็นต้องคงขนาดใหญ่ไว้
4. คลิปสั้นและเสียงที่มีสัญญาณรบกวน
การตัดคลิปทดสอบเหลือ 2 วินาทีทำให้ข้อผิดพลาดของโมเดลชั้นนำเพิ่มขึ้นมากกว่าสองเท่า จาก 0.61% เป็น 1.48% (Chen และคณะ, บทความ ERes2NetV2 2024) เรื่องนี้สำคัญสำหรับผลิตภัณฑ์ทุกชนิดที่สร้างบนวลีพูดสั้น ๆ เพราะตัวเลขหลักที่ต่ำกว่า 1% เป็นของคลิปความยาวเต็ม กลับกันก็เป็นจริงเช่นกัน: กับคู่ VoxSRC ที่ยาวกว่า 8 วินาที ผู้ชนะประเภท 2 ปี 2023 แทบไม่มีข้อผิดพลาดเหลือ
เสียงรบกวนเป็นไปตามเส้นโค้งที่ชัน ไม่ใช่เส้นตรง เสียงพูดคุยจอแจรอบข้างหมายถึงเสียงพูดคุยของฝูงชนที่อยู่เบื้องหลัง และ SNR (อัตราส่วนสัญญาณต่อสัญญาณรบกวน) วัดเสียงพูดเทียบกับเสียงรบกวน ดังนั้น 0 dB หมายความว่าทั้งสองดังเท่ากัน ระบบฐานเปรียบเทียบ ResNet34 แทบไม่ขยับที่ 20 dB แล้วข้อผิดพลาดก็พุ่งขึ้นเกินสี่เท่าที่ 0 dB (Gu และคณะ, บทความ Noise-Conditioned Mixture-of-Experts 2025) เสียงพูดคุยจอแจสร้างความเสียหายมากกว่าดนตรี น่าจะเป็นเพราะเป็นสัญญาณชนิดเดียวกับที่โมเดลถูกฝึกให้ระบุ
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| EER ของ ERes2NetV2 บน VoxCeleb1-O: คู่ทดสอบความยาวเต็ม เทียบกับ 3 วินาที เทียบกับ 2 วินาที | 0.61% เทียบกับ 0.98% เทียบกับ 1.48% | Chen และคณะ, บทความ ERes2NetV2 2024 |
| EER ของ ECAPA-TDNN บน VoxCeleb1-O: คู่ทดสอบ 3 วินาที เทียบกับ 2 วินาที | 1.27% เทียบกับ 1.95% | Chen และคณะ, บทความ ERes2NetV2 2024 |
| EER ของ ResNet34 บน VoxCeleb1-O: คู่ทดสอบ 3 วินาที เทียบกับ 2 วินาที | 1.47% เทียบกับ 2.12% | Chen และคณะ, บทความ ERes2NetV2 2024 |
| EER ของผู้ชนะประเภท 2 VoxSRC 2023 บนชุดทดสอบปี 2019: ทุกคู่ เทียบกับคู่ที่ยาวกว่า 6 วินาที เทียบกับคู่ที่ยาวกว่า 8 วินาที | 0.47% เทียบกับ 0.26% เทียบกับ 0.03% | Huh และคณะ, การทบทวนย้อนหลัง VoxSRC 2024 |
| ช่วงเสียงทดสอบ SRE24 ที่ระบบมีปัญหามากที่สุด และจุดที่เกินแล้วผลประโยชน์ลดลง | 4.5 ถึง 13 วินาที; ผลประโยชน์น้อยลงเมื่อเกิน 22.6 วินาที | Singer และคณะ, Odyssey 2026 |
| EER ของระบบฐานเปรียบเทียบ ResNet34 บนชุดทดสอบ VoxCeleb1: เสียงสะอาด เทียบกับเสียงพูดคุยจอแจที่ 20 dB เทียบกับเสียงพูดคุยจอแจที่ 0 dB | 1.98% เทียบกับ 2.18% เทียบกับ 9.30% | Gu และคณะ, บทความ Noise-Conditioned Mixture-of-Experts 2025 |
| ระบบฐานเปรียบเทียบเดียวกันที่ 0 dB: ดนตรี เทียบกับเสียงรบกวนทั่วไป | 5.82% เทียบกับ 7.3% | Gu และคณะ, บทความ Noise-Conditioned Mixture-of-Experts 2025 |
| ระบบฐานเปรียบเทียบเดียวกันที่ 0 dB กับเสียงรบกวน Nonspeech100 และโมเดลที่ปรับตามเสียงรบกวนที่เสียงพูดคุยจอแจ 0 dB | 10.17%; 8.10% | Gu และคณะ, บทความ Noise-Conditioned Mixture-of-Experts 2025 |
บริบท: ผลลัพธ์ด้านเสียงรบกวนไม่สามารถถ่ายโอนข้ามบทความได้ การศึกษาของ University of Seoul วัด ECAPA-TDNN ได้ 3.46% เมื่อเสียงสะอาด และ 13.01% เมื่อมีเสียงพูดคุยจอแจที่ 0 dB (Kim และคณะ, บทความ PAS 2023) ภายใต้การตั้งค่าการฝึกที่ต่างกัน ดังนั้นให้เปรียบเทียบการเพิ่มขึ้นภายในแต่ละการศึกษา ไม่ใช่ค่าสัมบูรณ์
5. อายุ คลังข้อมูล และความไม่ตรงกันของโดเมน
สถิติบน VoxCeleb1-O บอกเรื่องเสียงที่บันทึกห่างกันหลายปี หรือในบริบทอื่นได้น้อยมาก การเลือกคู่ผู้พูดคนเดียวกันที่อายุห่างกันมากทำให้ระบบฐานเปรียบเทียบเพิ่มจาก EER 1.939% เป็น 10.419% (Qin และคณะ, Interspeech 2022) คลังข้อมูลติดตามระยะยาวของฟินแลนด์แสดงปลายยาวของเส้นโค้งนั้น: ที่ช่วงห่าง 40 ปี EER ของผู้ชายที่ 51.61% แย่กว่าการเดา (Singh และคณะ, Interspeech 2023) คลังข้อมูลนั้นมีขนาดเล็ก มีผู้พูด 109 คนหลังการเตรียมข้อมูล และอายุใน VoxCeleb เป็นค่าประมาณไม่ใช่ค่าที่บันทึกไว้ ดังนั้นควรเชื่อทิศทางมากกว่าค่าที่แน่นอน
การเปลี่ยนโดเมนเป็นความเสี่ยงเชิงพาณิชย์ที่ใหญ่กว่า เพราะมาแบบเงียบ ๆ x-vector ที่ฝึกบน VoxCeleb ในบทความ CN-Celeb มีข้อผิดพลาดเพิ่มขึ้นเกือบห้าเท่าบนเสียงภาษาจีนหลายประเภท (16.59 / 3.48 = 4.8) การฝึกใหม่บนโดเมนใหม่ช่วยได้แต่ไม่ปิดช่องว่าง: สูตร ECAPA-TDNN เดียวกันยังแสดงข้อผิดพลาดบน CN-Celeb มากกว่าเก้าเท่าของที่แสดงบน VoxCeleb (8.877 / 0.936 = 9.5)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| EER ของระบบฐานเปรียบเทียบบนชุดทดสอบ Vox-H เทียบกับ Vox-CA20 ซึ่งเป็นชุดทดสอบของคู่ที่อายุห่างกันมาก | 1.939% เทียบกับ 10.419% | Qin และคณะ, Interspeech 2022 |
| EER ของ ECAPA-TDNN บน VoxCeleb1-Age-Enriched (สหรัฐฯ) ที่ช่วงอายุห่าง 3 / 6 / 9 ปี ผู้พูดชาย | 2.31% / 2.84% / 3.63% | Singh และคณะ, Interspeech 2023 |
| ชุดทดสอบเดียวกันที่ช่วงอายุห่าง 3 / 6 / 9 ปี ผู้พูดหญิง | 2.70% / 3.12% / 3.87% | Singh และคณะ, Interspeech 2023 |
| EER ของคลังข้อมูลติดตามระยะยาวของฟินแลนด์ (LCFSH) ที่ช่วงอายุห่าง 0 / 20 / 40 ปี ผู้พูดชาย | 5.12% / 18.68% / 51.61% | Singh และคณะ, Interspeech 2023 |
| คลังข้อมูลเดียวกันที่ช่วงอายุห่าง 0 / 20 / 40 ปี ผู้พูดหญิง | 10.04% / 21.67% / 40.61% | Singh และคณะ, Interspeech 2023 |
| EER ของ x-vector ที่ฝึกบน VoxCeleb บนชุดทดสอบ SITW เทียบกับ CN-Celeb.E (ชุดประเมินจาก CN-Celeb) | 3.48% เทียบกับ 16.59% | Li และคณะ, บทความ CN-Celeb 2020 |
| ECAPA-TDNN ที่ใช้ฟังก์ชันสูญเสีย AM-Softmax: ชุดทดสอบ VoxCeleb1 เทียบกับการประเมิน CN-Celeb โดยแต่ละอันฝึกบนโดเมนของตัวเอง | 0.936% เทียบกับ 8.877% | Wang และคณะ, บทความ DASA 2023 |
| ประเภทการปรับโดเมนของ VoxSRC 2023 บน CNCeleb: ระบบฐานเปรียบเทียบ เทียบกับอันดับหนึ่ง, EER | 13.11% เทียบกับ 4.95% | Huh และคณะ, การทบทวนย้อนหลัง VoxSRC 2024 |
ข้อมูลล่าสุดที่มีสำหรับผลของอายุในระยะยาว: Singh และคณะ, Interspeech 2023
6. NIST SRE: เกณฑ์มาตรฐานที่ยากกว่าและไม่มีตัวเลขเด่น
NIST จัดการประเมินเหล่านี้มาตั้งแต่ปี 1996 และไม่เหมือนการสัมภาษณ์บน YouTube เลย SRE24 ใช้คลังข้อมูลใหม่ที่เก็บรวบรวมนอกอเมริกาเหนือ เป็นเสียงพูดทางโทรศัพท์และเสียงจากวิดีโอ ในภาษาอาหรับตูนิเซีย อังกฤษ และฝรั่งเศส ผู้นำของการแข่งขันโทรศัพท์ SRE24 อยู่ที่ EER 2.37% ราว 20 เท่าของสถิติ VoxCeleb1-O (2.37 / 0.12 = 19.8) (เว็บไซต์ NIST SRE24) แม้ว่าการทดสอบทั้งสองจะต่างกันเกินกว่าที่อัตราส่วนนี้จะวัดอะไรได้นอกจากความยาก
การวิเคราะห์ระบบ SRE24 ที่ส่งเข้ามา 91 ระบบพบว่าคู่ทดสอบทางโทรศัพท์ที่ตรงกันชนะคู่ทดสอบเสียงจากวิดีโอที่ตรงกันอย่างสม่ำเสมอ และชนิดของแหล่งเสียงสำคัญกว่าความไม่ตรงกันของภาษา ช่วงเสียงลงทะเบียนสามช่วงโดยทั่วไปดีกว่าหนึ่งช่วง แม้ปริมาณเสียงพูดรวมจะเท่ากัน และระบบส่วนใหญ่แสดงความต่างตามเพศจำกัดบนคู่ทดสอบเพศเดียวกัน (Singer และคณะ, Odyssey 2026) ข้อมูลฝึกที่ไม่จำกัดให้ผลประโยชน์อย่างมีนัยสำคัญ และโมเดลเดี่ยวสู้กับการรวมโมเดลได้ (Greenberg และคณะ, Interspeech 2025) ตัวเลขในตารางด้านล่างแสดงบทเรียนอีกข้อ: ระบบที่ตั้งเกณฑ์ของตัวเองไม่ได้ยังไม่พร้อม ไม่ว่าต้นทุนขั้นต่ำจะดีเพียงใด
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| การแข่งขันโทรศัพท์ SRE19: องค์กร, ทีม, ผลลัพธ์ของระบบที่ใช้ได้ | 67 / 51 / 1,347 | Sadjadi และคณะ, NIST SRE19 CTS Challenge, Odyssey 2020 |
| ชุดทดสอบเสียง SRE21: คู่ทดสอบเป้าหมาย เทียบกับคู่ทดสอบที่ไม่ใช่เป้าหมาย | 132,038 เทียบกับ 5,899,731 | Sadjadi และคณะ, NIST SRE21 2022 |
| SRE24: ทีม, องค์กร, ระบบที่ส่งเข้ามา | 11 / 26 / 91 | Singer และคณะ, Odyssey 2026 |
| แถวแรกของตารางอันดับ SRE24-CTS ณ วันที่ 24 ตุลาคม 2024: EER, ต้นทุนขั้นต่ำ, ต้นทุนจริง | 2.37%, 0.102, 0.106 | ตารางอันดับ NIST SRE24-CTS Challenge 2024 |
| อีกผลงานหนึ่งบนตารางอันดับนั้น: EER, ต้นทุนขั้นต่ำ, ต้นทุนจริง (ระบบแบบไร้ประโยชน์ได้ 1) | 3.00%, 0.080, 1.000 | ตารางอันดับ NIST SRE24-CTS Challenge 2024 |
| ระบบ SRE21 ที่ HCCL ส่งเข้ามา ชุดพัฒนา เทียบกับชุดประเมิน: EER | 2.27% เทียบกับ 3.05% | Li และคณะ, ระบบ HCCL, Interspeech 2022 |
| ระบบเดียวกัน ชุดพัฒนา เทียบกับชุดประเมิน: ต้นทุนจริง | 0.170 เทียบกับ 0.560 | Li และคณะ, ระบบ HCCL, Interspeech 2022 |
บริบท: บทความภาพรวมและการวิเคราะห์ของ SRE24 นำเสนอผลลัพธ์เป็นแผนภูมิโดยไม่พิมพ์ค่า EER ดังนั้นตารางอันดับจึงเป็นช่องทางตัวเลขเดียวสู่รอบนี้ ข้อมูลล่าสุดที่มีสำหรับผลลัพธ์ตัวเลขอย่างเป็นทางการ: ตารางอันดับ NIST SRE24-CTS Challenge ปี 2024
7. ความเป็นธรรม: เกณฑ์มาตรฐานวัดใคร
คะแนนเกณฑ์มาตรฐานเพียงค่าเดียวอาจซ่อนอัตราผลบวกเท็จของกลุ่มหนึ่งที่สูงถึง 13 เท่าของอัตรารวม ที่เกณฑ์ต้นทุนขั้นต่ำรวม ผู้พูดหญิงชาวอินเดียมีอัตราผลบวกเท็จ 13.0387 เท่าของอัตรารวมในการศึกษากระบวนการของ VoxCeleb Speaker Recognition Challenge (Hutiri และ Ding, FAccT 2022) องค์ประกอบของข้อมูลช่วยอธิบายได้: ชุดทดสอบ VoxCeleb 1 เป็นผู้พูดชาวสหรัฐฯ 62.5% และผู้หญิงคิดเป็น 38% ของผู้พูด แต่เป็น 29.5% ของท่อนเสียงพูด
ทิศทางของช่องว่างระหว่างเพศไม่ตายตัว ซึ่งเป็นข้อค้นพบที่มีประโยชน์ ผู้ชนะ VoxSRC ทำได้ดีกว่ากับผู้ชาย การศึกษาของ Amazon ทำได้ดีกว่ากับผู้หญิง และการทดลองแบบควบคุมแสดงว่าสัดส่วนข้อมูลฝึกสามารถสร้างช่องว่างขึ้นเองได้ รูปแบบเดียวกันนี้ปรากฏในเครื่องมือเสียงพูดระดับคำ ดังที่สรุปอคติด้านสำเนียงของการรู้จำเสียงพูดของเราบันทึกไว้
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ชุดทดสอบ VoxCeleb 1: สัดส่วนชาวสหรัฐฯ ในผู้พูด; สัดส่วนผู้หญิงในผู้พูด; สัดส่วนผู้หญิงในท่อนเสียงพูด | 62.5%; 38%; 29.5% | Hutiri และ Ding, FAccT 2022 |
| ชุดฝึก VoxCeleb 2: สัดส่วนผู้ชาย; สัดส่วนชาวสหรัฐฯ | 61%; 29% | Hutiri และ Ding, FAccT 2022 |
| ผู้พูดหญิงชาวอินเดียเทียบกับอัตรารวม: อัตราส่วนผลบวกเท็จ; อัตราส่วนผลลบเท็จ | 13.0387 เท่า; 1.2497 เท่า | Hutiri และ Ding, FAccT 2022 |
| ผู้ชนะ VoxSRC 2023 บนชุดทดสอบปี 2019, EER ชาย เทียบกับหญิง: ประเภท 1; ประเภท 2 | 0.57% เทียบกับ 0.69%; 0.43% เทียบกับ 0.59% | Huh และคณะ, การทบทวนย้อนหลัง VoxSRC 2024 |
| ระบบถ่วงน้ำหนักใหม่แบบเชิงปรปักษ์ EER ชาย เทียบกับหญิง | 1.25% เทียบกับ 0.67% | Jin และคณะ, Interspeech 2022 |
| การศึกษาเดียวกัน ช่องว่างระหว่างกลุ่มเพศก่อน เทียบกับหลังการถ่วงน้ำหนักใหม่ | 0.70% เทียบกับ 0.58% | Jin และคณะ, Interspeech 2022 |
| การศึกษาเดียวกัน EER สำหรับสหรัฐฯ เทียบกับสหราชอาณาจักร เทียบกับสัญชาติอื่นทั้งหมด | 1.04% เทียบกับ 0.76% เทียบกับ 1.22% | Jin และคณะ, Interspeech 2022 |
| ระบบฐานเปรียบเทียบ ResNet-34 (ช่องสัญญาณหนึ่งในสี่) ที่ฝึกบนข้อมูลผสมหญิงต่อชาย 9:1, EER หญิง เทียบกับชาย | 3.52% เทียบกับ 7.22% | Shen และคณะ, ICASSP 2022 |
ข้อมูลล่าสุดที่มีสำหรับอัตราส่วนข้อผิดพลาดของกลุ่มย่อย: Hutiri และ Ding, FAccT 2022 นอกจากนี้ Estevez และ Ferrer พบว่าประสิทธิภาพ “ลดลงอย่างเห็นได้ชัด” สำหรับกลุ่มที่มีตัวแทนน้อยในข้อมูลฝึก และการปรับสมดุลข้อมูลอย่างง่ายช่วยลดอคติได้โดยไม่ทำให้กลุ่มส่วนใหญ่แย่ลง (Study on the Fairness of Speaker Verification Systems)
สรุป: อัตราข้อผิดพลาดที่เท่ากันของ VoxCeleb ในการยืนยันตัวผู้พูดในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ค่า EER บน VoxCeleb1-O ที่ต่ำที่สุดที่พบในบทความปฐมภูมิ | 0.12% | Li, Cheng และ Li, บทความ w2v-BERT 2.0 2025 |
| ระบบเดียวกันบนรายการยาก Vox1-H | 0.55% | Li, Cheng และ Li, บทความ w2v-BERT 2.0 2025 |
| SimAM-ResNet293 บน VoxCeleb1-O พร้อมการฝึกล่วงหน้าด้วย VoxBlink2 และการปรับเทียบคุณภาพ, EER และ minDCF | 0.17%, 0.006 | Lin และคณะ, VoxBlink2, Interspeech 2024 |
| ผู้พูดของ VoxBlink2 เทียบกับผู้พูดของ VoxCeleb2 | 111,284 เทียบกับ 5,994 | Lin และคณะ, VoxBlink2, Interspeech 2024 |
| EER และพารามิเตอร์ของ ReDimNet2-B6 | 0.29%, 12.3M | Yakovlev และ Okhotnikov, บทความ ReDimNet2 2026 |
| ECAPA-TDNN ที่มี 1,024 ช่องสัญญาณ, EER | 0.87% | Desplanques และคณะ, Interspeech 2020 |
| EER ของผู้ได้อันดับหนึ่งประเภท 2 ของ VoxSRC บนชุดทดสอบปี 2019 ที่คงที่ ปี 2019 เทียบกับ 2023 | 1.26% เทียบกับ 0.47% | Huh และคณะ, การทบทวนย้อนหลัง VoxSRC 2024 |
| EER ของ ERes2NetV2 บนคู่ทดสอบความยาวเต็ม เทียบกับ 2 วินาที | 0.61% เทียบกับ 1.48% | Chen และคณะ, บทความ ERes2NetV2 2024 |
| EER ของระบบฐานเปรียบเทียบ ResNet34 เสียงสะอาด เทียบกับเสียงพูดคุยจอแจที่ 0 dB | 1.98% เทียบกับ 9.30% | Gu และคณะ, บทความ Noise-Conditioned Mixture-of-Experts 2025 |
| EER ของระบบฐานเปรียบเทียบบน Vox-H เทียบกับ Vox-CA20 (อายุห่างกันมาก) | 1.939% เทียบกับ 10.419% | Qin และคณะ, Interspeech 2022 |
| EER ของผู้ชายที่ช่วงอายุห่าง 0 ปี เทียบกับ 40 ปี คลังข้อมูลฟินแลนด์ | 5.12% เทียบกับ 51.61% | Singh และคณะ, Interspeech 2023 |
| EER ของ x-vector ที่ฝึกบน VoxCeleb บน SITW เทียบกับ CN-Celeb.E | 3.48% เทียบกับ 16.59% | Li และคณะ, บทความ CN-Celeb 2020 |
| EER ของ ECAPA-TDNN บน VoxCeleb1 เทียบกับการประเมิน CN-Celeb โดยแต่ละอันฝึกบนโดเมนของตัวเอง | 0.936% เทียบกับ 8.877% | Wang และคณะ, บทความ DASA 2023 |
| แถวแรกของตารางอันดับ SRE24-CTS, EER | 2.37% | ตารางอันดับ NIST SRE24-CTS Challenge 2024 |
| ต้นทุนจริงของ HCCL SRE21 ชุดพัฒนา เทียบกับชุดประเมิน | 0.170 เทียบกับ 0.560 | Li และคณะ, ระบบ HCCL, Interspeech 2022 |
| ชุดทดสอบ VoxCeleb 1 สัดส่วนผู้หญิงในผู้พูด เทียบกับในท่อนเสียงพูด | 38% เทียบกับ 29.5% | Hutiri และ Ding, FAccT 2022 |
| อัตราผลบวกเท็จของผู้พูดหญิงชาวอินเดียเทียบกับอัตรารวม | 13.0387 เท่า | Hutiri และ Ding, FAccT 2022 |
| ระบบถ่วงน้ำหนักใหม่แบบเชิงปรปักษ์ EER ชาย เทียบกับหญิง | 1.25% เทียบกับ 0.67% | Jin และคณะ, Interspeech 2022 |
ระเบียบวิธีและแหล่งที่มา
ตัวเลขทุกตัวถูกอ่านจากบทความปฐมภูมิ รายงานการแข่งขัน หรือหน้าเว็บของ NIST ระหว่างการวิจัยนี้ ค่า EER และค่าต้นทุนอ้างตามที่แต่ละแหล่งพิมพ์ไว้ อัตราส่วนและจำนวนการตัดสินใจผิดเป็นการคำนวณของเราเอง โดยแสดงวิธีคำนวณไว้ ไม่มีการใช้ข้อมูลของ VoxBooster
- Huh และคณะ, The VoxCeleb Speaker Recognition Challenge: A Retrospective, 2024
- Nagrani, Chung และ Zisserman, VoxCeleb: a large-scale speaker identification dataset, Interspeech 2017
- Chung, Nagrani และ Zisserman, VoxCeleb2: Deep Speaker Recognition, Interspeech 2018
- Desplanques, Thienpondt และ Demuynck, ECAPA-TDNN, Interspeech 2020
- Wang และคณะ, บทความชุดเครื่องมือ WeSpeaker, 2022
- Lin และคณะ, VoxBlink2, Interspeech 2024
- Li, Cheng และ Li, w2v-BERT 2.0 และการตัดแต่งเชิงโครงสร้าง, 2025
- Yakovlev และ Okhotnikov, ReDimNet2, 2026
- Zheng และคณะ, ระบบ UNISOUND สำหรับ VoxSRC 2023
- Torgashov และคณะ, ระบบ ID R&D สำหรับ VoxSRC 2023
- Du, Fang และ Li, ระบบ ChinaTelecom สำหรับ VoxSRC 2023
- Chen และคณะ, ERes2NetV2, 2024
- Gu และคณะ, Noise-Conditioned Mixture-of-Experts Framework, 2025
- Kim และคณะ, บทความการเพิ่มข้อมูล PAS, 2023
- Qin และคณะ, Cross-Age Speaker Verification, Interspeech 2022
- Singh, Sahidullah และ Kinnunen, Speaker Verification Across Ages, Interspeech 2023
- Li และคณะ, CN-Celeb: multi-genre speaker recognition, 2020
- Wang และคณะ, บทความ DASA, 2023
- เว็บไซต์ NIST Speaker Recognition Evaluation และตารางอันดับ SRE24-CTS Challenge
- Greenberg และคณะ, The 2024 NIST Speaker Recognition Evaluation, Interspeech 2025
- Singer และคณะ, Analysis of the NIST 2024 Speaker Recognition Evaluation, Odyssey 2026
- Sadjadi และคณะ, The 2021 NIST Speaker Recognition Evaluation, 2022
- Sadjadi และคณะ, The 2019 NIST SRE CTS Challenge, Odyssey 2020
- Li และคณะ, The HCCL System for the NIST SRE21, Interspeech 2022
- Hutiri และ Ding, Bias in Automated Speaker Recognition, FAccT 2022
- Jin และคณะ, Adversarial Reweighting for Speaker Verification Fairness, Interspeech 2022
- Shen และคณะ, Group-adapted Fusion Network, ICASSP 2022
- Estevez และ Ferrer, Study on the Fairness of Speaker Verification Systems Across Accent and Gender Groups
- Qu และคณะ, Fair-Gate, 2026
- ข้อสังเกตเกี่ยวกับข้อมูล: สถิติ VoxCeleb1-O เปรียบเทียบกันได้ไม่สมบูรณ์ เพราะบางบทความใช้โปรโตคอลฉบับที่ทำความสะอาดแล้ว และบางบทความเพิ่มการทำให้คะแนนเป็นมาตรฐานหรือการปรับเทียบคุณภาพ ตัวเลขของ ECAPA-TDNN เพียงอย่างเดียวก็ต่างกันไปตามบทความ: 0.87% ในต้นฉบับ, 0.728% ใน WeSpeaker, 0.94% ในตารางของ ReDimNet2 และ 1.12% ในบทความ Fair-Gate ปี 2026 ผู้เขียน w2v-BERT 2.0 รายงาน 0.12% ขณะที่ตารางเปรียบเทียบของ ReDimNet2 ระบุ 0.14% สำหรับโมเดล w2v-BERT 2.0 ที่ฝึกบน VoxBlink2 บวก VoxCeleb2 และเราไม่สามารถจับคู่สองรายการนี้ให้ตรงกันได้ทุกประการ การลด EER 43.4% ที่บทความ VoxBlink2 ระบุไม่ตรงกับตารางของบทความเอง (0.606% เป็น 0.340% คือ 43.9%) เราจึงไม่อ้างอิงตัวเลขนี้ บทคัดย่อของบทความยังพิมพ์ minDCF เป็น 0.006% ขณะที่ตารางพิมพ์ 0.006 บทความ CN-Celeb ให้ 15.52% ในบทนำ และ 16.59% ในตารางสำหรับ CN-Celeb.E เราใช้ค่าในตาราง ผลลัพธ์รุ่นเก่าที่นี่ (ปี 2017 ถึงกลางปี 2023) ถูกระบุว่าเป็นข้อมูลล่าสุดที่มีในกรณีที่ไม่มีผลลัพธ์ที่เทียบเท่าใหม่กว่า ผลลัพธ์ของ NIST สำหรับรอบการประเมินถัดไปจะเปลี่ยนหัวข้อที่ 6 เป็นอันดับแรก ค่า EER ทั้งหมดที่นี่ถือว่าผู้แอบอ้างคือผู้พูดจริงคนอื่น จึงไม่ได้บอกอะไรเกี่ยวกับความทนทานต่อเสียงสังเคราะห์
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการอัปเดตครั้งถัดไปจะเกิดขึ้นเมื่อ NIST เผยแพร่ผลลัพธ์ตัวเลขจากการประเมินการจดจำผู้พูดครั้งถัดไป