บนเกณฑ์วัดโทรศัพท์ CALLHOME ระบบแยกผู้พูดแบบต้นทางถึงปลายทางระบบเดียวกันที่ได้ DER 8.50% ในการโทรที่มีผู้พูดสองคน ได้ถึง 40.29% ในการโทรที่มีผู้พูดหกคน (Horiguchi และคณะ, EEND-EDA, Interspeech 2020) การแยกผู้พูด (ไดอาไรเซชัน) คือขั้นตอน “ใครพูดเมื่อใด” โดยแบ่งการบันทึกเสียงออกเป็นช่วง ๆ และติดป้ายผู้พูดให้แต่ละช่วง ก่อนหรือควบคู่ไปกับการถอดความ บนเกณฑ์วัดที่คัดสรรมาแล้ว เทคโนโลยีนี้พัฒนาอย่างรวดเร็ว โดยค่ามัธยฐานของความผิดพลาดใน DIHARD Track 1 ลดจากกว่า 30% ใน DIHARD I เหลือต่ำกว่า 20% ใน DIHARD III (Ryant และคณะ, Third DIHARD Challenge 2021) แต่เสียงงานเลี้ยงอาหารค่ำยังคงทำให้ได้ DER พื้นฐานถึง 62.0% ใน CHiME-6 (Watanabe และคณะ, ภาพรวมการแข่งขัน CHiME-6 2020) เรารวบรวมข้อมูลจากผู้จัดการแข่งขัน DIHARD และ VoxSRC การแข่งขัน CHiME-6, NOTSOFAR-1 และ DISPLACE เกณฑ์วัดการแยกผู้พูดปี 2025 ของ ETH Zurich, Brno University of Technology, การ์ดโมเดลของโครงการ pyannote และงานวิจัยทางคลินิกที่ผ่านการพิจารณาโดยผู้ทรงคุณวุฒิ สำหรับด้านระดับคำของไปป์ไลน์เดียวกัน ดูสรุปของเราเรื่องอคติด้านสำเนียงในการรู้จำเสียงพูดและอัตราความผิดพลาดระดับคำ
ข้อควรทราบก่อนอ่านทุกตัวเลขด้านล่าง: DER (อัตราความผิดพลาดของการแยกผู้พูด) ยิ่งต่ำยิ่งดี และเปรียบเทียบกันได้ก็ต่อเมื่อสองผลลัพธ์ใช้เกณฑ์วัดเดียวกัน ใช้ช่วงเผื่อ (collar คือช่วงสั้น ๆ ที่ไม่นำมาให้คะแนนรอบการเปลี่ยนผู้พูดแต่ละครั้ง) เท่ากัน และใช้กฎเดียวกันกับเสียงพูดซ้อนทับ แต่ละตารางระบุการตั้งค่าไว้เมื่อแหล่งที่มาระบุไว้
สรุปโดยย่อ
- DER ของ CALLHOME เพิ่มจาก 8.50% เมื่อมี 2 ผู้พูด เป็น 40.29% เมื่อมี 6 ผู้พูด สำหรับระบบเดียวกัน (Horiguchi และคณะ, Interspeech 2020)
- ค่ามัธยฐาน DER ของ DIHARD Track 1 ลดจากกว่า 30% (DIHARD I) เหลือ 25% (DIHARD II) และต่ำกว่า 20% (DIHARD III) (Ryant และคณะ, Third DIHARD Challenge 2021)
- ผู้ชนะ VoxSRC ได้ DER 3.71% ในปี 2020 และ 4.30% ในปี 2023 บนเสียงจาก YouTube ซึ่งประมาณครึ่งหนึ่งของระบบพื้นฐานในแต่ละปี (Huh และคณะ, บทย้อนมอง VoxSRC, IEEE TASLP 2024)
- การตัดช่วงเผื่อ 0.25 วินาทีออกทำให้ DER ของ AMI เพิ่มจาก 9.8% เป็น 15.4% สำหรับระบบเดียวกัน (Han และคณะ, Brno University of Technology 2024)
- กว่า 33% ของความผิดพลาดบนข้อมูลการประชุม NIST ที่ใช้ไมโครโฟนตัวเดียวอยู่ภายใน 0.5 วินาทีจากการเปลี่ยนผู้พูด (Knox, UC Berkeley 2013)
- โดยเฉลี่ย 12% ถึง 15% ของเสียงพูดในการบันทึกการประชุมเป็นเสียงซ้อนทับ (Park และคณะ, Computer Speech and Language 2022)
- บทสนทนาระหว่างแพทย์กับผู้ป่วยมี DER เฉลี่ย 33.38% เทียบกับ 15.18% ของบทสนทนาทั่วไป จากแปดระบบ (Okocha และคณะ, 2025)
- ระบบพื้นฐานงานเลี้ยงอาหารค่ำของ CHiME-6 ได้ DER 62.0% บนชุดประเมิน (Watanabe และคณะ, ภาพรวม CHiME-6 2020)
- ระบบประชุมที่ดีที่สุดของ NOTSOFAR-1 ลดอัตราความผิดพลาดระดับคำที่ระบุผู้พูดเหลือ 10.8% จากระบบพื้นฐาน 28.3% (Abramovski และคณะ, สรุป NOTSOFAR-1 2025)
- โมเดลที่เร็วที่สุดในเกณฑ์วัดปี 2025 ประมวลผลเสียงเร็วกว่าเวลาจริง 214.3 เท่า (Lanzendoerfer และคณะ, ETH Zurich 2025)
1. DER วัดอะไร และเหตุใดวิธีให้คะแนนจึงทำให้ตัวเลขเปลี่ยน
DER รวมเวลาสามประเภทแล้วหารด้วยปริมาณเสียงพูดอ้างอิงทั้งหมด ได้แก่ เสียงพูดที่ตกหล่น (มีคนพูด แต่ระบบได้ยินเป็นความเงียบ) การแจ้งเตือนผิดพลาด (ระบบทำเครื่องหมายว่ามีเสียงพูดในที่ที่ไม่มี) และ การสับสนผู้พูด (ตรวจพบเสียงพูดแต่กำหนดให้คนผิด) การ์ดโมเดล pyannote 3.1 แสดงการคำนวณนี้ไว้ชัดเจน: บนเสียงจากหูฟังของ AMI ค่า DER 18.8% ประกอบด้วยการแจ้งเตือนผิดพลาด 3.6% บวกเสียงพูดที่ตกหล่น 9.5% บวกการสับสน 5.7%
กับดักที่ใหญ่กว่าคือช่วงเผื่อ ตั้งแต่การประเมิน NIST Rich Transcription เป็นต้นมา งานวิจัยส่วนใหญ่ไม่นับ 0.25 วินาทีทั้งสองด้านของทุกขอบเขตอ้างอิง เพราะผู้ทำป้ายกำกับที่เป็นมนุษย์ไม่ค่อยตรงกันว่าการพูดแต่ละรอบเริ่มที่มิลลิวินาทีใดกันแน่ การเลือกเพียงข้อเดียวนี้ตัดไป 5.6 จุด หรือ 36% ของตัวเลขที่ไม่มีช่วงเผื่อ: ระบบเดียวกันของ Brno University of Technology ได้ 15.4% บน AMI เมื่อไม่มีช่วงเผื่อ และ 9.8% เมื่อมีช่วงเผื่อ (Han และคณะ, 2024) ช่วงที่ถูกยกโทษให้นี้คือจุดที่ระบบพลาดมากที่สุด เพราะหนึ่งในสามหรือมากกว่าของความผิดพลาดทั้งหมดอยู่ภายในครึ่งวินาทีจากการเปลี่ยนผู้พูด (Knox, รายงานทางเทคนิคของ UC Berkeley 2013)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ช่วงเผื่อมาตรฐานที่ไม่นำมาให้คะแนนรอบขอบเขตช่วงเสียงอ้างอิงแต่ละช่วง (การให้คะแนนแบบ RT) | 0.25 วินาที ซึ่งอธิบายว่าเป็นรูปแบบที่ใช้กันแพร่หลายที่สุด | Park และคณะ, Computer Speech and Language 2022 |
| กฎการให้คะแนนของ DIHARD และ CHiME-6 | ไม่มีช่วงเผื่อ ให้คะแนนเสียงพูดซ้อนทับ | Park และคณะ, Computer Speech and Language 2022 |
| DER ของ AMI ระบบ BUT ที่ใช้ WavLM ไม่มีช่วงเผื่อ เทียบกับช่วงเผื่อ 0.25 วินาที | 15.4% เทียบกับ 9.8% | Han และคณะ, Brno University of Technology 2024 |
| DER ของ AliMeeting ระบบเดียวกัน ไม่มีช่วงเผื่อ เทียบกับช่วงเผื่อ 0.25 วินาที | 17.6% เทียบกับ 10.2% | Han และคณะ, Brno University of Technology 2024 |
| DER ของ AMI ระบบพื้นฐาน pyannote 3 ไม่มีช่วงเผื่อ เทียบกับช่วงเผื่อ 0.25 วินาที | 21.1% เทียบกับ 13.7% | Han และคณะ, Brno University of Technology 2024 |
| สัดส่วนความผิดพลาดภายใน 0.5 วินาทีจากการเปลี่ยนผู้พูด การประชุม NIST RT-09 ไมโครโฟนระยะไกลตัวเดียว เทียบกับหลายตัว | มากกว่า 33% เทียบกับ 40% | Knox, UC Berkeley 2013 |
| DER ของ AMI เสียงผสมจากหูฟัง pyannote 3.1 แยกเป็นการแจ้งเตือนผิดพลาด + เสียงพูดที่ตกหล่น + การสับสน | 18.8% = 3.6% + 9.5% + 5.7% (รายงานโดยโครงการ) | pyannote, การ์ดโมเดล speaker-diarization-3.1 |
บริบท: การวิเคราะห์ความผิดพลาดของ Berkeley เป็นข้อมูลล่าสุดที่มีอยู่เกี่ยวกับตำแหน่งของความผิดพลาด (Knox, UC Berkeley 2013) เกณฑ์วัด ETH ปี 2025 ชี้ไปทางเดียวกัน: เสียงพูดที่ตกหล่นเป็นความผิดพลาดประเภทหลักของโมเดลส่วนใหญ่ และผู้เขียนอธิบายว่าช่วงที่ตกหล่นซึ่งเฉลี่ยราว 350 มิลลิวินาทีเกิดจากจังหวะเริ่มต้นและสิ้นสุด ไม่ใช่เพราะทั้งประโยคไม่ได้ยิน (Lanzendoerfer และคณะ, Benchmarking Diarization Models 2025)
2. ความก้าวหน้าสูงสุดตามเกณฑ์วัด และ DER ลดลงเร็วแค่ไหน
ความก้าวหน้านั้นเป็นของจริง แต่เฉพาะเจาะจงกับแต่ละเกณฑ์วัด ใน DIHARD ซึ่งเป็นชุดผสม 11 โดเมนที่ตั้งใจให้ยาก ค่ามัธยฐาน DER ของ Track 1 ลดจากกว่า 30% เหลือต่ำกว่า 20% ภายในสามรุ่น (Ryant และคณะ, The Third DIHARD Diarization Challenge 2021) Track 1 ให้ช่วงเสียงพูดจริงแก่ระบบ ส่วน Track 2 ให้ระบบหาเสียงพูดเอง จึงเป็นเหตุผลที่ตัวเลขของ Track 2 สูงกว่า
บนเสียง YouTube แบบรายการออกอากาศ ผู้ชนะ VoxSRC อยู่ที่ราว 4% ซึ่งประมาณครึ่งหนึ่งของระบบพื้นฐานของผู้จัดในแต่ละปี (Huh และคณะ, The VoxCeleb Speaker Recognition Challenge: A Retrospective, IEEE TASLP 2024) อย่างไรก็ตาม ผู้ชนะปี 2020 และ 2023 ไม่ใช่อนุกรมเวลาเดียวกัน เพราะชุดทดสอบเพิ่มจาก 232 ไฟล์เป็น 413 ไฟล์ ตัวเลขปี 2023 ที่สูงขึ้นเล็กน้อยจึงไม่ได้หมายความว่าวงการถอยหลัง
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ค่ามัธยฐาน DER ของ DIHARD Track 1 (ให้ช่วงเสียงพูดจริงล่วงหน้า) DIHARD I เทียบกับ II เทียบกับ III | มากกว่า 30% เทียบกับ 25% เทียบกับต่ำกว่า 20% | Ryant และคณะ, Third DIHARD Challenge 2021 |
| ค่ามัธยฐาน DER ของ DIHARD Track 2 (ระบบตรวจจับเสียงพูดเอง) DIHARD I เทียบกับ III | 40% เทียบกับต่ำกว่า 25% | Ryant และคณะ, Third DIHARD Challenge 2021 |
| ผู้ชนะ DIHARD III (USTC-NELSLIP) ชุดประเมินหลัก Track 1 เทียบกับ Track 2 | 13.45% เทียบกับ 19.37% (ไม่มีช่วงเผื่อ ให้คะแนนเสียงพูดซ้อนทับ) | ผลการแข่งขัน DIHARD III |
| สายการแข่งขันการแยกผู้พูดของ VoxSRC ชุดทดสอบปี 2020 ผู้ชนะเทียบกับระบบพื้นฐาน | 3.71% เทียบกับ 8.15% (ช่วงเผื่อ 0.25 วินาที ให้คะแนนเสียงพูดซ้อนทับ) | Huh และคณะ, บทย้อนมอง VoxSRC 2024 |
| สายการแข่งขันการแยกผู้พูดของ VoxSRC ชุดทดสอบปี 2023 ผู้ชนะเทียบกับระบบพื้นฐาน | 4.30% เทียบกับ 8.54% (ช่วงเผื่อ 0.25 วินาที ให้คะแนนเสียงพูดซ้อนทับ) | Huh และคณะ, บทย้อนมอง VoxSRC 2024 |
| DER ของ CALLHOME ทุกการโทร EEND-EDA แบบต้นทางถึงปลายทาง เทียบกับการจัดกลุ่มแบบ x-vector | 15.29% เทียบกับ 19.43% (ช่วงเผื่อ 0.25 วินาที) | Horiguchi และคณะ, Interspeech 2020 |
| DER เฉลี่ยของระบบ ICSI บนการประชุม NIST RT-09 ไมโครโฟนระยะไกลตัวเดียว | 31.3% | Sinclair และ King, University of Edinburgh 2013 |
บริบท: DER ของผู้ชนะ DIHARD III บนชุดประเมินเต็มคือ 11.3% ใน Track 1 และ 16.78% ใน Track 2 เทียบกับระบบพื้นฐาน 20.65% และ 27.34% บนชุดหลัก (ผลการแข่งขัน DIHARD III) ตัวเลข RT-09 เป็นข้อมูลล่าสุดที่มีอยู่สำหรับการประเมินนั้น (Sinclair และ King, Where are the challenges in speaker diarization? 2013) และมาจากข้อมูลและยุคสมัยที่ต่างจาก DIHARD จึงไม่ควรอ่านเป็นการเปรียบเทียบก่อนและหลังโดยตรง
3. เสียงพูดซ้อนทับและจำนวนผู้พูด: สองปัจจัยที่ผลักดัน DER มากที่สุด
การซ้อนทับไม่ใช่กรณีมุมอับ โดยเฉลี่ย 12% ถึง 15% ของเสียงพูดในการบันทึกการประชุมเป็นเสียงซ้อนทับ และบทวิจารณ์ที่รวบรวมตัวเลขนี้ระบุว่าอาจสูงกว่านี้ในบทสนทนาทั่วไป (Park และคณะ, A Review of Speaker Diarization, Computer Speech and Language 2022) ไปป์ไลน์การจัดกลุ่มรุ่นเก่ากำหนดผู้พูดเพียงหนึ่งคนต่อหนึ่งช่วงเวลา ดังนั้นในการซ้อนทับของสองคน เวลาที่ถูกให้คะแนนอย่างน้อยครึ่งหนึ่งผิดตั้งแต่ก่อนจะเกิดความผิดพลาดอื่นใด
จำนวนผู้พูดทำให้ปัญหารุนแรงขึ้น บน CALLHOME โมเดล EEND-EDA ตัวเดียวกันขยับจาก DER 8.50% ในการโทรที่มีผู้พูดสองคนเป็น 40.29% ในการโทรที่มีผู้พูดหกคน (Horiguchi และคณะ, EEND-EDA, Interspeech 2020) และโมเดลที่มีขีดจำกัดจำนวนผู้พูดตายตัวต้องจ่ายสองต่อ: ตระกูล Sortformer ที่จำกัดไว้สี่ผู้พูดแสดงความสับสนผู้พูดมากขึ้นบนการบันทึกที่แออัดในเกณฑ์วัดของ ETH การบันทึกด้วยไมโครโฟนหลายตัวช่วยได้ ดังที่ผลการประชุม NOTSOFAR-1 ในหัวข้อที่ 5 แสดงให้เห็น ซึ่งเป็นรูปแบบเดียวกับที่เห็นในข้อมูลของเราเรื่องการรวมลำเสียงแบบ far-field และความแม่นยำของคำปลุก
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| สัดส่วนเฉลี่ยของเสียงพูดซ้อนทับในการบันทึกการประชุม | 12% ถึง 15% | Park และคณะ, Computer Speech and Language 2022 |
| สัดส่วนการซ้อนทับเฉลี่ย: AliMeeting เทียบกับ AMI เทียบกับ CALLHOME เทียบกับ VoxConverse | 19% เทียบกับ 15.94% เทียบกับ 12.58% เทียบกับ 3.52% | Lanzendoerfer และคณะ, ETH Zurich 2025 |
| DER ของ CALLHOME, EEND-EDA, การโทรที่มี 2 เทียบกับ 3 เทียบกับ 4 ผู้พูด | 8.50% เทียบกับ 13.24% เทียบกับ 21.46% | Horiguchi และคณะ, Interspeech 2020 |
| DER ของ CALLHOME, EEND-EDA, การโทรที่มี 5 เทียบกับ 6 ผู้พูด | 33.16% เทียบกับ 40.29% | Horiguchi และคณะ, Interspeech 2020 |
| DER ของ CALLHOME การจัดกลุ่มแบบ x-vector การโทรที่มี 2 เทียบกับ 6 ผู้พูด | 15.45% เทียบกับ 34.27% | Horiguchi และคณะ, Interspeech 2020 |
| DER บนการบันทึก 4 ผู้พูด: Sortformer (จำกัด 4 ผู้พูด) เทียบกับ DiariZen | 21.3% เทียบกับ 12.7% (ช่วงเผื่อ 0.25 วินาที ให้คะแนนเสียงพูดซ้อนทับ) | Lanzendoerfer และคณะ, ETH Zurich 2025 |
| จำนวนผู้พูดเฉลี่ยต่อการบันทึก ชุดทดสอบ VoxSRC ปี 2020 | 6.5 ผู้พูดในเวลาเฉลี่ย 675.6 วินาที | Huh และคณะ, บทย้อนมอง VoxSRC 2024 |
บริบท: จำนวนผู้พูดเพียงอย่างเดียวไม่ได้กำหนดคะแนน ในเกณฑ์วัดของ ETH ระบบที่ดีที่สุดได้ 6.6% บนการบันทึกที่มี 5 ผู้พูดขึ้นไป แต่ได้ 10.1% บนการบันทึก 4 ผู้พูด ซึ่งเตือนให้เห็นว่าการซ้อนทับและสภาพการบันทึกสำคัญไม่แพ้จำนวนคน ผลของ CALLHOME ที่มี 5 และ 6 ผู้พูดก็อาศัยไฟล์จำนวนน้อยเช่นกัน ผู้เขียน EEND-EDA ระบุว่า CALLHOME มีการบันทึกที่มีผู้พูดมากกว่าสี่คนเพียงสิบรายการ
4. ช่องว่างระหว่างโดเมน: ทางคลินิก เด็ก หลายภาษา และเสียงในสภาพแวดล้อมจริง
โมเดลที่ปรับจูนกับการประชุมและการโทรศัพท์ไม่ได้นำความแม่นยำไปใช้ต่อในคลินิก บ้านครอบครัว หรือวิดีโอออนไลน์ จากแปดระบบแยกผู้พูด บทสนทนาระหว่างแพทย์กับผู้ป่วยมี DER เฉลี่ย 33.38% เทียบกับ 15.18% ของบทสนทนาทั่วไป ต่างกัน 18.20 จุดเปอร์เซ็นต์ (การทดสอบ t แบบจับคู่ p < 10⁻⁴) และการแจ้งเตือนผิดพลาดเป็นสาเหตุของโทษทางคลินิกส่วนใหญ่ (Okocha และคณะ, Domain-Aware Speaker Diarization on African-Accented English 2025) การปรับจูนด้วยเสียงพูดที่มีสำเนียงลดความผิดพลาดของโมเดลเปิดตัวหนึ่งลงครึ่งหนึ่ง แต่ช่องว่างทางคลินิกเพียงแคบลงและไม่ได้หายไป
เด็กเป็นอีกพรมแดนหนึ่ง ในการศึกษา BabyHuBERT การบันทึกตลอดวันที่มีเด็กเป็นศูนย์กลางถูกให้คะแนนตามประเภทผู้พูด (เด็กเป้าหมาย เด็กคนอื่น ผู้ชายวัยผู้ใหญ่ ผู้หญิงวัยผู้ใหญ่) ด้วยคะแนน F1 ซึ่งค่ายิ่งสูงยิ่งดี และโมเดลที่ดีที่สุดของปี 2026 ก็ยังต่ำกว่าผู้ทำป้ายกำกับที่เป็นมนุษย์คนที่สอง (Charlot และคณะ, BabyHuBERT 2026) DIHARD III ก็ชี้จุดอ่อนเดียวกันนี้ โดยระบุว่าเด็กในการสัมภาษณ์ทางคลินิกเป็นความท้าทายเป็นพิเศษ
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ค่ามัธยฐาน DER ของ DIHARD III Track 1 โดเมนการประชุม วิดีโอเว็บ และร้านอาหาร | 35% ถึง 45% | Ryant และคณะ, Third DIHARD Challenge 2021 |
| DER ของ DIHARD III การสัมภาษณ์ทางคลินิกและเสียงพูดทางโทรศัพท์ Track 1 เทียบกับ Track 2 | โดยทั่วไป 10% ถึง 20% เทียบกับ 15% ถึง 25% | Ryant และคณะ, Third DIHARD Challenge 2021 |
| DER เฉลี่ยจาก 8 ระบบ บทสนทนาแพทย์กับผู้ป่วย เทียบกับบทสนทนาทั่วไปภาษาอังกฤษสำเนียงแอฟริกัน | 33.38% เทียบกับ 15.18% (ไม่มีช่วงเผื่อ ให้คะแนนเสียงพูดซ้อนทับ) | Okocha และคณะ, 2025 |
| DER ของ pyannote ก่อนเทียบกับหลังปรับจูนด้วยเสียงพูดสำเนียงแอฟริกัน บทสนทนาทางการแพทย์ | 31.46% เทียบกับ 15.73% | Okocha และคณะ, 2025 |
| การบันทึกที่มีเด็กเป็นศูนย์กลาง ค่า F1 เฉลี่ยตามประเภทผู้พูด: LENA เทียบกับ BabyHuBERT-VTC เทียบกับผู้ทำป้ายกำกับที่เป็นมนุษย์คนที่สอง | 40.8% เทียบกับ 65.1% เทียบกับ 69.8% (ค่ายิ่งสูงยิ่งดี) | Charlot และคณะ, BabyHuBERT 2026 |
| DER บนเกณฑ์วัดวิดีโอในสภาพแวดล้อมจริงที่ไม่ได้ควบคุม Ego4D (dev) และ AVA-AVD, pyannote community-1 | 46.8% และ 44.6% (รายงานโดยโครงการ ไม่มีช่วงเผื่อ) | pyannote, การ์ดโมเดล community-1 2025 |
| DER ตามภาษาในชุดข้อมูลของเกณฑ์วัด ETH ระบบที่ดีที่สุด (pyannoteAI) ภาษาสเปนเทียบกับภาษาอังกฤษ | 14.3% เทียบกับ 6.6% | Lanzendoerfer และคณะ, ETH Zurich 2025 |
| บทสนทนาหลายภาษาของอินเดีย (DISPLACE) DER ของทีมที่ดีที่สุดบนข้อมูลประเมินชุดเดียวกัน ปี 2023 เทียบกับ 2024 | 27.8% เทียบกับ 21.27% | Kalluri และคณะ, Second DISPLACE Challenge 2024 |
บริบท: ข้อมูล DISPLACE ครอบคลุม 9 ภาษาอินเดียบวกภาษาอังกฤษแบบอินเดีย โดยมีผู้เข้าร่วม 3 ถึง 5 คนต่อหนึ่งเซสชัน (Kalluri และคณะ, The Second DISPLACE Challenge 2024) ผู้เขียนของ ETH เชื่อมช่องว่างระหว่างภาษากับการขาดแคลนข้อมูลของบางภาษา และระบุว่าภาษาสเปนยากที่สุดในห้าภาษาที่ทดสอบ
5. การใช้งานจริง: การประชุม คอลเซ็นเตอร์ และคลินิก
ในการใช้งานจริง ความผิดพลาดของการแยกผู้พูดปรากฏเป็นบรรทัดในบทถอดความที่ถูกระบุว่าเป็นของคนผิด จึงเป็นเหตุผลที่งานวิจัยด้านการประชุมและการแพทย์มักรายงานตัวชี้วัดระดับคำ ด้านล่างมีสองตัว: tcpWER ซึ่งเป็นอัตราความผิดพลาดระดับคำที่นับคำซึ่งถูกระบุว่าเป็นของผู้พูดผิดคนภายในช่วงเวลาหนึ่งด้วย และ WDER ซึ่งเป็นสัดส่วนของคำที่ถูกติดป้ายผู้พูดผิด หนึ่งในสภาพแวดล้อมที่ยากที่สุดเท่าที่เคยวัดคืองานเลี้ยงอาหารค่ำ: ระบบพื้นฐานของ CHiME-6 ได้ DER 62.0% บนชุดประเมิน และผู้จัดการแข่งขันอธิบายว่าช่องว่างของอัตราความผิดพลาดระดับคำระหว่างสายการแข่งขันของพวกเขาราว 15% แบบสัมบูรณ์ มีสาเหตุหลักมาจากการแยกผู้พูด (Watanabe และคณะ, ภาพรวมการแข่งขัน CHiME-6 2020)
การประชุมในสำนักงานจัดการได้ง่ายกว่า ใน NOTSOFAR-1 ซึ่งสร้างจากการประชุมจริง 315 ครั้ง แต่ละครั้งมีผู้เข้าร่วม 4 ถึง 8 คนใน 30 สภาพแวดล้อม ระบบหลายช่องสัญญาณที่ดีที่สุดทำได้ tcpWER 10.8% (Abramovski และคณะ, Summary of the NOTSOFAR-1 Challenge, Computer Speech and Language 2025) การถอดความทางกฎหมายมีเดิมพันเรื่องการติดป้ายผู้พูดเป็นของตัวเอง ซึ่งเราครอบคลุมไว้ในสถิติความแม่นยำการถอดความเสียงพูดในศาล และความผิดพลาดของข้อความที่ซ้อนอยู่บนความผิดพลาดของผู้พูดครอบคลุมไว้ในข้อมูลภาพหลอนของการรู้จำเสียงพูด
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| DER พื้นฐานงานเลี้ยงอาหารค่ำของ CHiME-6 ชุดพัฒนาเทียบกับชุดประเมิน | 61.6% เทียบกับ 62.0% | Watanabe และคณะ, ภาพรวม CHiME-6 2020 |
| ช่องว่างอัตราความผิดพลาดระดับคำของ CHiME-6 ระหว่างสายการแข่งขันที่มีสาเหตุหลักจากการแยกผู้พูด | ประมาณ 15% แบบสัมบูรณ์ | Watanabe และคณะ, ภาพรวม CHiME-6 2020 |
| การถอดความการประชุม NOTSOFAR-1 tcpWER ของระบบที่ดีที่สุดเทียบกับระบบพื้นฐาน หลายช่องสัญญาณ | 10.8% เทียบกับ 28.3% | Abramovski และคณะ, สรุป NOTSOFAR-1 2025 |
| การถอดความการประชุม NOTSOFAR-1 tcpWER ของระบบที่ดีที่สุดเทียบกับระบบพื้นฐาน ช่องสัญญาณเดียว | 22.2% เทียบกับ 41.4% | Abramovski และคณะ, สรุป NOTSOFAR-1 2025 |
| DER ทางโทรศัพท์ของ CALLHOME community-1 แบบเปิดเทียบกับ precision-2 เชิงพาณิชย์ | 26.7% เทียบกับ 16.6% (รายงานโดยผู้ขาย ไม่มีช่วงเผื่อ) | pyannote, การ์ดโมเดล community-1 2025 |
| WDER ในโมเดลเสียงพูดเชิงพาณิชย์สี่ตัว บทสนทนาการดูแลสุขภาพปฐมภูมิ 36 รายการ | 1.8% ถึง 13.9% | Tran และคณะ, AMIA Annual Symposium 2022 |
| WDER บนบทสนทนาระหว่างแพทย์กับผู้ป่วย ไปป์ไลน์แบบดั้งเดิมเทียบกับโมเดลที่รวมการรู้จำเสียงพูดและการแยกผู้พูดเข้าด้วยกัน | 15.8% เทียบกับ 2.2% | El Shafey และคณะ, Interspeech 2019 |
บริบท: การบันทึกการดูแลสุขภาพปฐมภูมิถูกแสดงซ้ำโดยเจ้าของภาษาอังกฤษสองคนในสตูดิโอที่เงียบ ผู้เขียนจึงอธิบายว่าตัวเลขของตนน่าจะเป็นขอบเขตบนของประสิทธิภาพในคลินิกจริง (Tran และคณะ, AMIA Annual Symposium Proceedings 2022) ผลของโมเดลที่รวมเข้าด้วยกันเป็นข้อมูลล่าสุดที่มีอยู่จากคลังข้อมูลที่ไม่เปิดเผยต่อสาธารณะ (El Shafey และคณะ, Interspeech 2019) ตัวเลขของ precision-2 เป็นข้อกล่าวอ้างของผู้ขายเองสำหรับโมเดลเชิงพาณิชย์ของตน
6. ความเร็ว โมเดลเปิด และขนาดของงานวิจัย
ความแม่นยำเป็นเพียงครึ่งหนึ่งของการตัดสินใจนำไปใช้ ระบบที่เร็วที่สุดในเกณฑ์วัดของ ETH ทำงานเร็วกว่าเวลาจริง 214.3 เท่า มากกว่าสิบเท่าของความเร็วโมเดลเปิด DiariZen ซึ่งทำงานที่ 20.2 เท่าของเวลาจริงและได้ DER รวม 13.3% (Lanzendoerfer และคณะ, ETH Zurich 2025) ข้อแลกเปลี่ยนนี้มีน้ำหนักกับคำบรรยายสดมากกว่างานประมวลผลเป็นชุดข้ามคืนมาก
โมเดลเปิดถูกใช้อย่างกว้างขวาง ไปป์ไลน์ของ pyannote มียอดดาวน์โหลดรายเดือนหลายล้านครั้ง และเกณฑ์วัดเดือนกันยายน 2025 ของโครงการเองรายงาน DER ที่ต่ำกว่าสำหรับรุ่นเปิดปัจจุบันเมื่อเทียบกับรุ่นเดิมในชุดข้อมูลส่วนใหญ่ โดยระดับเชิงพาณิชย์นำหน้าทั้งสองรุ่น (pyannote, การ์ดโมเดล speaker-diarization-community-1) ควรถือว่าคะแนนเหล่านี้รายงานโดยโครงการ เพราะดำเนินการโดยทีมเดียวกับที่เผยแพร่โมเดล
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ตัวประกอบเวลาจริง (ความยาวเสียงหารด้วยเวลาประมวลผล) Sortformer v2 เทียบกับ Sortformer v2 แบบสตรีม | 214.3 เท่า เทียบกับ 209.5 เท่า | Lanzendoerfer และคณะ, ETH Zurich 2025 |
| ตัวประกอบเวลาจริง pyannote แบบเปิดเทียบกับ DiariZen | 45.0 เท่า เทียบกับ 20.2 เท่า | Lanzendoerfer และคณะ, ETH Zurich 2025 |
| DER รวมทั้งเกณฑ์วัดของ ETH pyannoteAI เทียบกับ DiariZen | 11.2% เทียบกับ 13.3% (ช่วงเผื่อ 0.25 วินาที ให้คะแนนเสียงพูดซ้อนทับ) | Lanzendoerfer และคณะ, ETH Zurich 2025 |
| DER ของ DIHARD 3 full, pyannote 3.1 เทียบกับ community-1 เทียบกับ precision-2 | 21.4% เทียบกับ 20.2% เทียบกับ 14.7% (รายงานโดยโครงการและผู้ขาย ไม่มีช่วงเผื่อ) | pyannote, การ์ดโมเดล community-1 2025 |
| ยอดดาวน์โหลดรายเดือนบน Hugging Face, pyannote speaker-diarization-3.1 เทียบกับ community-1 | 6,886,119 เทียบกับ 5,051,937 (ดูเมื่อตุลาคม 2026) | หน้าโมเดลของ Hugging Face |
| ข้อมูลฝึกสอนจำลองของ NOTSOFAR-1 ที่เผยแพร่ให้ผู้เข้าร่วม | ประมาณ 1,000 ชั่วโมง | Abramovski และคณะ, สรุป NOTSOFAR-1 2025 |
| ขนาดของ AMI Meeting Corpus | 100 ชั่วโมง ประมาณสองในสามเป็นการประชุมออกแบบที่แสดงตามบทบาท | University of Edinburgh, AMI Meeting Corpus |
บริบท: AMI Meeting Corpus ซึ่งยังเป็นเกณฑ์วัดหลักของการแยกผู้พูด บันทึกไมโครโฟนระยะใกล้และระยะไกลพร้อมกันอย่างซิงโครไนซ์ (University of Edinburgh, AMI Meeting Corpus) เกณฑ์วัดของ ETH วัดความเร็วของ pyannoteAI ไม่ได้ เพราะมีเพียงการเข้าถึงผ่าน API เท่านั้น
สรุป: อัตราความผิดพลาดของการแยกผู้พูดในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| DER ของ CALLHOME, EEND-EDA, 2 เทียบกับ 6 ผู้พูด (ช่วงเผื่อ 0.25 วินาที) | 8.50% เทียบกับ 40.29% | Horiguchi และคณะ, Interspeech 2020 |
| DER ของ CALLHOME, EEND-EDA เทียบกับการจัดกลุ่มแบบ x-vector ทุกการโทร | 15.29% เทียบกับ 19.43% | Horiguchi และคณะ, Interspeech 2020 |
| ค่ามัธยฐาน DER ของ DIHARD Track 1, DIHARD I เทียบกับ III | มากกว่า 30% เทียบกับต่ำกว่า 20% | Ryant และคณะ, Third DIHARD Challenge 2021 |
| ผู้ชนะ DIHARD III ชุดประเมินหลัก Track 1 เทียบกับ Track 2 | 13.45% เทียบกับ 19.37% | ผลการแข่งขัน DIHARD III |
| ผู้ชนะ VoxSRC เทียบกับระบบพื้นฐาน ชุดทดสอบปี 2023 | 4.30% เทียบกับ 8.54% | Huh และคณะ, บทย้อนมอง VoxSRC 2024 |
| DER ของ AMI ระบบเดียวกัน ไม่มีช่วงเผื่อเทียบกับช่วงเผื่อ 0.25 วินาที | 15.4% เทียบกับ 9.8% | Han และคณะ, Brno University of Technology 2024 |
| ความผิดพลาดภายใน 0.5 วินาทีจากการเปลี่ยนผู้พูด NIST RT-09 ไมโครโฟนระยะไกลตัวเดียว | มากกว่า 33% | Knox, UC Berkeley 2013 |
| DER ของระบบ ICSI, NIST RT-09 ไมโครโฟนระยะไกลตัวเดียว | 31.3% | Sinclair และ King, University of Edinburgh 2013 |
| สัดส่วนเสียงพูดซ้อนทับในการบันทึกการประชุม | 12% ถึง 15% | Park และคณะ, Computer Speech and Language 2022 |
| สัดส่วนการซ้อนทับ AliMeeting เทียบกับ AMI | 19% เทียบกับ 15.94% | Lanzendoerfer และคณะ, ETH Zurich 2025 |
| DER ของบทสนทนาแพทย์กับผู้ป่วยเทียบกับบทสนทนาทั่วไป ค่าเฉลี่ยจาก 8 ระบบ | 33.38% เทียบกับ 15.18% | Okocha และคณะ, 2025 |
| การบันทึกที่มีเด็กเป็นศูนย์กลาง ค่า F1 เฉลี่ย โมเดลที่ดีที่สุดเทียบกับผู้ทำป้ายกำกับที่เป็นมนุษย์คนที่สอง | 65.1% เทียบกับ 69.8% | Charlot และคณะ, BabyHuBERT 2026 |
| DER ของทีมที่ดีที่สุดใน DISPLACE ปี 2023 เทียบกับ 2024 | 27.8% เทียบกับ 21.27% | Kalluri และคณะ, Second DISPLACE Challenge 2024 |
| DER พื้นฐานงานเลี้ยงอาหารค่ำของ CHiME-6 ชุดประเมิน | 62.0% | Watanabe และคณะ, ภาพรวม CHiME-6 2020 |
| tcpWER ของ NOTSOFAR-1 ระบบที่ดีที่สุดเทียบกับระบบพื้นฐาน หลายช่องสัญญาณ | 10.8% เทียบกับ 28.3% | Abramovski และคณะ, สรุป NOTSOFAR-1 2025 |
| ช่วงของ WDER โมเดลเสียงพูดเชิงพาณิชย์สี่ตัว การดูแลสุขภาพปฐมภูมิ | 1.8% ถึง 13.9% | Tran และคณะ, AMIA Annual Symposium 2022 |
| ยอดดาวน์โหลดรายเดือนของ pyannote 3.1 บน Hugging Face | 6,886,119 | Hugging Face, หน้าโมเดล pyannote speaker-diarization-3.1 |
ระเบียบวิธีและแหล่งที่มา
- Ryant และคณะ, The Third DIHARD Diarization Challenge (2021): 11 โดเมน ค่ามัธยฐานข้ามรุ่นของ DIHARD ช่วงค่าแยกตามโดเมน การให้คะแนนโดยไม่มีช่วงเผื่อและรวมเสียงพูดซ้อนทับ
- ผลการแข่งขัน DIHARD III: ตารางอันดับทางการของ Track 1 และ Track 2 ชุดประเมินหลักและชุดเต็ม
- Huh และคณะ, The VoxCeleb Speaker Recognition Challenge: A Retrospective (IEEE TASLP 2024): ผู้ชนะและระบบพื้นฐานของสายการแข่งขันการแยกผู้พูด ช่วงเผื่อ 0.25 วินาทีและให้คะแนนเสียงพูดซ้อนทับ
- Horiguchi และคณะ, End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors (Interspeech 2020): DER ของ CALLHOME ตามจำนวนผู้พูด
- Han และคณะ, Leveraging Self-Supervised Learning for Speaker Diarization (Brno University of Technology, 2024): ผลลัพธ์ช่วงเผื่อ 0 วินาทีเทียบกับ 0.25 วินาทีบน AMI, AISHELL-4 และ AliMeeting
- Lanzendoerfer และคณะ, Benchmarking Diarization Models (ETH Zurich, 2025): ประมาณ 196.6 ชั่วโมงจาก CALLHOME, VoxConverse, AMI และ AliMeeting สัดส่วนการซ้อนทับ DER ตามภาษาและตามจำนวนผู้พูด ความเร็ว
- Park และคณะ, A Review of Speaker Diarization: Recent Advances with Deep Learning (Computer Speech and Language, 2022): ธรรมเนียมเรื่องช่วงเผื่อและสัดส่วนการซ้อนทับในการประชุม
- Knox, Speaker Diarization: Current Limitations and New Directions (รายงานทางเทคนิคของ UC Berkeley, 2013): ตำแหน่งของความผิดพลาดเทียบกับการเปลี่ยนผู้พูดบน NIST RT-09
- Sinclair และ King, Where are the challenges in speaker diarization? (University of Edinburgh, 2013): DER ของการประชุม RT-09
- Watanabe และคณะ, ภาพรวมการแข่งขัน CHiME-6 (2020): DER พื้นฐานงานเลี้ยงอาหารค่ำและสัดส่วนของการแยกผู้พูดในช่องว่างอัตราความผิดพลาดระดับคำ
- Abramovski และคณะ, Summary of the NOTSOFAR-1 Challenge (Computer Speech and Language, 2025): ชุดข้อมูลการประชุมและผล tcpWER
- Kalluri และคณะ, The Second DISPLACE Challenge (2024): ผลการแยกผู้พูดในบทสนทนาหลายภาษา
- Okocha และคณะ, Domain-Aware Speaker Diarization on African-Accented English (2025): DER ทางคลินิกเทียบกับทั่วไปจากแปดระบบ
- Charlot และคณะ, BabyHuBERT (2026): การแบ่งส่วนผู้พูดในการบันทึกยาวที่มีเด็กเป็นศูนย์กลาง
- Tran และคณะ, Automatic speech recognition performance for digital scribes (AMIA Annual Symposium Proceedings, 2022): WDER ในบทสนทนาการดูแลสุขภาพปฐมภูมิ
- El Shafey และคณะ, Joint Speech Recognition and Speaker Diarization via Sequence Transduction (Interspeech 2019): WDER บนบทสนทนาระหว่างแพทย์กับผู้ป่วย
- pyannote, การ์ดโมเดล speaker-diarization-3.1 และ pyannote, การ์ดโมเดล speaker-diarization-community-1: DER ที่รายงานโดยโครงการ (ไม่มีช่วงเผื่อ ให้คะแนนเสียงพูดซ้อนทับ) และยอดดาวน์โหลด ตัวเลขของ precision-2 เป็นข้อกล่าวอ้างของผู้ขายเองสำหรับโมเดลเชิงพาณิชย์
- University of Edinburgh, AMI Meeting Corpus: ขนาดคลังข้อมูลและการตั้งค่าการบันทึก
- ข้อสังเกตเกี่ยวกับข้อมูล: ค่า DER เปรียบเทียบกันได้เฉพาะภายในเกณฑ์วัดเดียวและการตั้งค่าการให้คะแนนเดียวกัน VoxSRC ใช้ช่วงเผื่อ 0.25 วินาที ขณะที่ DIHARD การ์ดโมเดลของ pyannote และงานวิจัยทางคลินิกสำเนียงแอฟริกันไม่ใช้เลย ดังนั้นอย่านำ 4.30% ของ VoxSRC ไปเทียบกับ 13.45% ของ DIHARD การ์ดโมเดล pyannote 3.1 ระบุ 21.7% บน DIHARD 3 full ขณะที่การ์ด community-1 ที่ใหม่กว่าระบุ 21.4% สำหรับไปป์ไลน์รุ่นเดิมเดียวกัน ซึ่งเป็นความต่างเล็กน้อยจากการอัปเดตการประเมิน เราใช้ตารางของ community-1 สำหรับการเปรียบเทียบระหว่างรุ่น แถวปี 2021 และ 2022 ในบทย้อนมอง VoxSRC ขัดแย้งกันเองระหว่างตารางกับเนื้อความ เราจึงรายงานเฉพาะปี 2020 และ 2023 ตารางความผิดพลาดรายองค์ประกอบของงานวิจัยทางคลินิกสำเนียงแอฟริกันรวมกันไม่ตรงกับ DER ทางการแพทย์ที่ระบุไว้พอดี เราจึงอ้างเฉพาะค่าเฉลี่ยหลัก สรุปของ NOTSOFAR-1 ติดป้ายผลที่ดีที่สุดของช่องสัญญาณเดียวและหลายช่องสัญญาณไม่สอดคล้องกันในตารางหนึ่ง เราจึงยึดตามเนื้อความ ซึ่งการปรับปรุงสัมพัทธ์ 51% ตรงกับตัวเลขข้างต้น ยอดดาวน์โหลดของ Hugging Face เป็นภาพรวมรายเดือนแบบเลื่อนและเปลี่ยนแปลงทุกวัน ตัวเลขของ Berkeley, Edinburgh, CHiME-6, DIHARD III, EEND-EDA, Interspeech 2019 และ AMIA 2022 เป็นข้อมูลล่าสุดที่มีอยู่สำหรับการวัดเฉพาะของแต่ละรายการ
- อัปเดตล่าสุด: 27 ตุลาคม 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการอัปเดตครั้งถัดไปจะเกิดขึ้นเมื่อมีการเผยแพร่เอกสารสรุปการแข่งขัน Interspeech 2026 และการอัปเดตเกณฑ์วัดบนการ์ดโมเดลของ pyannote ครั้งถัดไป