Trên benchmark điện thoại CALLHOME, chính hệ thống phân tách người nói đầu cuối đạt DER 8,50% trên các cuộc gọi hai người nói lại đạt 40,29% trên các cuộc gọi sáu người nói (Horiguchi và cộng sự, EEND-EDA, Interspeech 2020). Phân tách người nói (speaker diarization) là bước “ai nói khi nào”: nó chia một bản ghi thành các đoạn và gắn nhãn người nói cho từng đoạn, trước hoặc song song với việc phiên âm. Trên các benchmark được tuyển chọn, công nghệ này đã cải thiện nhanh, với lỗi trung vị của DIHARD Track 1 giảm từ hơn 30% ở DIHARD I xuống dưới 20% ở DIHARD III (Ryant và cộng sự, Third DIHARD Challenge 2021), nhưng âm thanh bữa tiệc tối vẫn cho DER cơ sở 62,0% ở CHiME-6 (Watanabe và cộng sự, tổng quan cuộc thi CHiME-6 2020). Chúng tôi đã tổng hợp dữ liệu từ ban tổ chức các cuộc thi DIHARD và VoxSRC, các cuộc thi CHiME-6, NOTSOFAR-1 và DISPLACE, benchmark phân tách người nói năm 2025 của ETH Zurich, Brno University of Technology, các thẻ mô hình của dự án pyannote và các nghiên cứu lâm sàng đã qua bình duyệt. Về khía cạnh cấp độ từ của cùng quy trình này, hãy xem bài tổng hợp của chúng tôi về thiên lệch giọng vùng miền trong nhận dạng giọng nói và tỷ lệ lỗi từ.
Một lưu ý khi đọc mọi con số dưới đây: DER (tỷ lệ lỗi phân tách người nói) càng thấp càng tốt, và chỉ so sánh được khi hai kết quả dùng cùng một benchmark, cùng một khoảng dung sai (“collar”, một khoảng ngắn không chấm điểm quanh mỗi lần đổi người nói) và cùng một quy tắc về giọng nói chồng lấn. Mỗi bảng nêu rõ cách thiết lập khi nguồn có cung cấp.
Tóm tắt nhanh
- DER của CALLHOME tăng từ 8,50% với 2 người nói lên 40,29% với 6 người nói cho cùng một hệ thống (Horiguchi và cộng sự, Interspeech 2020).
- DER trung vị của DIHARD Track 1 giảm từ hơn 30% (DIHARD I) xuống 25% (DIHARD II) rồi dưới 20% (DIHARD III) (Ryant và cộng sự, Third DIHARD Challenge 2021).
- Các đội thắng VoxSRC đạt DER 3,71% năm 2020 và 4,30% năm 2023 trên âm thanh YouTube, xấp xỉ một nửa mức cơ sở mỗi năm (Huh và cộng sự, hồi cứu VoxSRC, IEEE TASLP 2024).
- Bỏ khoảng dung sai 0,25 s làm DER trên AMI tăng từ 9,8% lên 15,4% cho cùng một hệ thống (Han và cộng sự, Brno University of Technology 2024).
- Hơn 33% lỗi trên dữ liệu cuộc họp NIST một micro nằm trong phạm vi 0,5 s quanh một lần đổi người nói (Knox, UC Berkeley 2013).
- Trung bình 12% đến 15% giọng nói trong các bản ghi cuộc họp bị chồng lấn (Park và cộng sự, Computer Speech and Language 2022).
- Các cuộc đối thoại bác sĩ và bệnh nhân đạt DER trung bình 33,38% so với 15,18% của hội thoại thông thường trên tám hệ thống (Okocha và cộng sự, 2025).
- Hệ thống cơ sở bữa tiệc tối của CHiME-6 đạt DER 62,0% trên bộ đánh giá (Watanabe và cộng sự, tổng quan CHiME-6 2020).
- Hệ thống cuộc họp tốt nhất của NOTSOFAR-1 giảm tỷ lệ lỗi từ có gán người nói xuống 10,8% từ mức cơ sở 28,3% (Abramovski và cộng sự, tóm tắt NOTSOFAR-1 2025).
- Mô hình nhanh nhất trong một benchmark năm 2025 xử lý âm thanh nhanh gấp 214,3 lần thời gian thực (Lanzendoerfer và cộng sự, ETH Zurich 2025).
1. DER Đo Lường Điều Gì, và Vì Sao Cách Chấm Điểm Làm Con Số Thay Đổi
DER cộng ba loại thời lượng rồi chia cho tổng lượng giọng nói tham chiếu: giọng nói bị bỏ sót (có người nói, hệ thống nghe thấy im lặng), báo động giả (hệ thống đánh dấu giọng nói ở nơi không có) và nhầm lẫn người nói (giọng nói được phát hiện nhưng gán cho sai người). Thẻ mô hình pyannote 3.1 cho thấy rõ phép tính này: trên âm thanh tai nghe của AMI, DER 18,8% gồm 3,6% báo động giả cộng 9,5% bỏ sót cộng 5,7% nhầm lẫn.
Cái bẫy lớn hơn là khoảng dung sai. Kể từ các đợt đánh giá NIST Rich Transcription, hầu hết các bài báo bỏ qua 0,25 s ở mỗi bên của mọi ranh giới tham chiếu, vì những người chú thích hiếm khi thống nhất về chính xác mili giây một lượt nói bắt đầu. Riêng lựa chọn này loại bỏ 5,6 điểm, tức 36% của con số khi không có khoảng dung sai: cùng một hệ thống của Brno University of Technology đạt 15,4% trên AMI khi không có khoảng dung sai và 9,8% khi có (Han và cộng sự, 2024). Vùng được bỏ qua chính là nơi các hệ thống mắc lỗi nhiều nhất, vì một phần ba hoặc hơn tổng số lỗi nằm trong vòng nửa giây quanh một lần đổi người nói (Knox, báo cáo kỹ thuật UC Berkeley 2013).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Khoảng dung sai chuẩn không chấm điểm quanh mỗi ranh giới đoạn tham chiếu (cách chấm điểm kiểu RT) | 0,25 s, được mô tả là cách phổ biến nhất | Park và cộng sự, Computer Speech and Language 2022 |
| Quy tắc chấm điểm của DIHARD và CHiME-6 | Không có khoảng dung sai, có chấm điểm giọng nói chồng lấn | Park và cộng sự, Computer Speech and Language 2022 |
| DER trên AMI, hệ thống BUT dựa trên WavLM, không có khoảng dung sai so với khoảng 0,25 s | 15,4% so với 9,8% | Han và cộng sự, Brno University of Technology 2024 |
| DER trên AliMeeting, cùng hệ thống, không có khoảng dung sai so với khoảng 0,25 s | 17,6% so với 10,2% | Han và cộng sự, Brno University of Technology 2024 |
| DER trên AMI, mức cơ sở pyannote 3, không có khoảng dung sai so với khoảng 0,25 s | 21,1% so với 13,7% | Han và cộng sự, Brno University of Technology 2024 |
| Tỷ lệ lỗi trong phạm vi 0,5 s quanh lần đổi người nói, cuộc họp NIST RT-09, một micro so với nhiều micro ở xa | Hơn 33% so với 40% | Knox, UC Berkeley 2013 |
| DER trên AMI với âm thanh trộn tai nghe, pyannote 3.1, tách thành báo động giả + bỏ sót + nhầm lẫn | 18,8% = 3,6% + 9,5% + 5,7% (do dự án công bố) | pyannote, thẻ mô hình speaker-diarization-3.1 |
Bối cảnh: phân tích lỗi của Berkeley là dữ liệu mới nhất hiện có về vị trí của lỗi (Knox, UC Berkeley 2013). Benchmark ETH năm 2025 chỉ cùng hướng: giọng nói bị bỏ sót là loại lỗi chiếm ưu thế với hầu hết các mô hình, và các tác giả quy các đoạn bị bỏ sót, trung bình khoảng 350 ms, cho thời điểm bắt đầu và kết thúc chứ không phải do cả câu nói không được nghe thấy (Lanzendoerfer và cộng sự, Benchmarking Diarization Models 2025).
2. Mức Tiên Tiến Nhất Theo Từng Benchmark, và DER Đã Giảm Nhanh Đến Đâu
Tiến bộ là có thật, nhưng gắn với từng benchmark. Trong DIHARD, một tập hợp cố tình khó gồm 11 miền, DER trung vị của Track 1 giảm từ hơn 30% xuống dưới 20% qua ba kỳ (Ryant và cộng sự, The Third DIHARD Diarization Challenge 2021). Track 1 cung cấp cho hệ thống các vùng giọng nói thật; Track 2 bắt hệ thống tự tìm giọng nói, đó là lý do các con số của nó cao hơn.
Trên âm thanh YouTube kiểu phát sóng, các đội thắng VoxSRC nằm quanh 4%, xấp xỉ một nửa mức cơ sở của ban tổ chức mỗi năm (Huh và cộng sự, The VoxCeleb Speaker Recognition Challenge: A Retrospective, IEEE TASLP 2024). Tuy nhiên, các đội thắng năm 2020 và 2023 không tạo thành một chuỗi thời gian: bộ kiểm thử tăng từ 232 tệp lên 413 tệp, nên con số năm 2023 cao hơn một chút không có nghĩa là lĩnh vực này thụt lùi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| DER trung vị của DIHARD Track 1 (cung cấp sẵn vùng giọng nói thật), DIHARD I so với II so với III | Hơn 30% so với 25% so với dưới 20% | Ryant và cộng sự, Third DIHARD Challenge 2021 |
| DER trung vị của DIHARD Track 2 (hệ thống tự phát hiện giọng nói), DIHARD I so với III | 40% so với dưới 25% | Ryant và cộng sự, Third DIHARD Challenge 2021 |
| Đội thắng DIHARD III (USTC-NELSLIP), bộ đánh giá lõi, Track 1 so với Track 2 | 13,45% so với 19,37% (không có khoảng dung sai, có chấm điểm giọng nói chồng lấn) | Kết quả cuộc thi DIHARD III |
| Bảng phân tách người nói VoxSRC, bộ kiểm thử 2020, đội thắng so với mức cơ sở | 3,71% so với 8,15% (khoảng dung sai 0,25 s, có chấm điểm giọng nói chồng lấn) | Huh và cộng sự, hồi cứu VoxSRC 2024 |
| Bảng phân tách người nói VoxSRC, bộ kiểm thử 2023, đội thắng so với mức cơ sở | 4,30% so với 8,54% (khoảng dung sai 0,25 s, có chấm điểm giọng nói chồng lấn) | Huh và cộng sự, hồi cứu VoxSRC 2024 |
| DER của CALLHOME, tất cả cuộc gọi, EEND-EDA đầu cuối so với phân cụm x-vector | 15,29% so với 19,43% (khoảng dung sai 0,25 s) | Horiguchi và cộng sự, Interspeech 2020 |
| DER trung bình của hệ thống ICSI trên các cuộc họp NIST RT-09, một micro ở xa | 31,3% | Sinclair và King, University of Edinburgh 2013 |
Bối cảnh: DER của đội thắng DIHARD III trên toàn bộ tập đánh giá là 11,3% ở Track 1 và 16,78% ở Track 2, so với mức cơ sở 20,65% và 27,34% trên tập lõi (kết quả cuộc thi DIHARD III). Con số RT-09 là dữ liệu mới nhất hiện có cho đợt đánh giá đó (Sinclair và King, Where are the challenges in speaker diarization? 2013), và nó đến từ dữ liệu khác và một thời kỳ khác so với DIHARD, nên không nên đọc như một phép so sánh trực tiếp trước và sau.
3. Giọng Nói Chồng Lấn và Số Lượng Người Nói: Hai Yếu Tố Lớn Nhất Chi Phối DER
Chồng lấn không phải là trường hợp hiếm. Trung bình 12% đến 15% giọng nói trong các bản ghi cuộc họp bị chồng lấn, và bài tổng quan thu thập con số này lưu ý rằng nó có thể còn cao hơn trong hội thoại hằng ngày (Park và cộng sự, A Review of Speaker Diarization, Computer Speech and Language 2022). Các quy trình phân cụm cũ gán đúng một người nói cho mỗi thời điểm, nên trong một đoạn hai người nói chồng lấn, ít nhất một nửa thời lượng được chấm điểm đã sai trước khi có bất kỳ lỗi nào khác.
Số lượng người nói làm vấn đề trầm trọng hơn. Trên CALLHOME, cùng mô hình EEND-EDA đi từ DER 8,50% ở các cuộc gọi hai người nói lên 40,29% ở các cuộc gọi sáu người nói (Horiguchi và cộng sự, EEND-EDA, Interspeech 2020), và các mô hình có giới hạn cứng về số người nói phải trả giá hai lần: họ Sortformer, giới hạn ở bốn người nói, cho thấy nhiều nhầm lẫn người nói hơn trên các bản ghi đông người trong benchmark ETH. Thu âm nhiều micro giúp ích, như kết quả cuộc họp NOTSOFAR-1 ở mục 5 cho thấy, một xu hướng cũng xuất hiện trong dữ liệu của chúng tôi về định hướng chùm tia trường xa và độ chính xác từ đánh thức.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tỷ lệ trung bình giọng nói chồng lấn trong các bản ghi cuộc họp | 12% đến 15% | Park và cộng sự, Computer Speech and Language 2022 |
| Tỷ lệ chồng lấn trung bình: AliMeeting so với AMI so với CALLHOME so với VoxConverse | 19% so với 15,94% so với 12,58% so với 3,52% | Lanzendoerfer và cộng sự, ETH Zurich 2025 |
| DER của CALLHOME, EEND-EDA, cuộc gọi 2 so với 3 so với 4 người nói | 8,50% so với 13,24% so với 21,46% | Horiguchi và cộng sự, Interspeech 2020 |
| DER của CALLHOME, EEND-EDA, cuộc gọi 5 so với 6 người nói | 33,16% so với 40,29% | Horiguchi và cộng sự, Interspeech 2020 |
| DER của CALLHOME, phân cụm x-vector, cuộc gọi 2 so với 6 người nói | 15,45% so với 34,27% | Horiguchi và cộng sự, Interspeech 2020 |
| DER trên bản ghi 4 người nói: Sortformer (giới hạn 4 người nói) so với DiariZen | 21,3% so với 12,7% (khoảng dung sai 0,25 s, có chấm điểm giọng nói chồng lấn) | Lanzendoerfer và cộng sự, ETH Zurich 2025 |
| Số người nói trung bình mỗi bản ghi, bộ kiểm thử VoxSRC 2020 | 6,5 người nói trong khoảng trung bình 675,6 s | Huh và cộng sự, hồi cứu VoxSRC 2024 |
Bối cảnh: riêng số lượng người nói không quyết định điểm số. Trong benchmark ETH, hệ thống tốt nhất đạt 6,6% trên các bản ghi có từ 5 người nói trở lên nhưng 10,1% trên các bản ghi 4 người nói, một lời nhắc rằng chồng lấn và điều kiện ghi âm quan trọng không kém số người. Các kết quả 5 và 6 người nói của CALLHOME cũng dựa trên ít tệp: các tác giả EEND-EDA lưu ý CALLHOME chỉ có mười bản ghi với hơn bốn người nói.
4. Khoảng Cách Giữa Các Miền: Lâm Sàng, Trẻ Em, Đa Ngôn Ngữ và Âm Thanh Ngoài Đời Thực
Một mô hình được tinh chỉnh cho các cuộc họp và cuộc gọi điện thoại sẽ không mang độ chính xác của nó vào phòng khám, ngôi nhà gia đình hay video trực tuyến. Trên tám hệ thống phân tách người nói, các cuộc đối thoại bác sĩ và bệnh nhân đạt DER trung bình 33,38% so với 15,18% của các cuộc hội thoại thông thường, chênh lệch 18,20 điểm phần trăm (kiểm định t ghép cặp p < 10⁻⁴), và báo động giả gây ra phần lớn mức phạt ở lâm sàng (Okocha và cộng sự, Domain-Aware Speaker Diarization on African-Accented English 2025). Tinh chỉnh trên giọng nói có giọng vùng miền đã giảm một nửa lỗi của một mô hình mở, nhưng khoảng cách lâm sàng thu hẹp chứ không biến mất.
Trẻ em là một biên giới riêng. Trong nghiên cứu BabyHuBERT, các bản ghi cả ngày xoay quanh trẻ được chấm điểm theo từng loại người nói (trẻ trọng tâm, các trẻ khác, nam giới trưởng thành, nữ giới trưởng thành) bằng điểm F1, trong đó giá trị cao hơn là tốt hơn, và mô hình tốt nhất năm 2026 vẫn thấp hơn một người chú thích thứ hai (Charlot và cộng sự, BabyHuBERT 2026). DIHARD III cũng nêu cùng điểm yếu này, chỉ ra trẻ em trong các cuộc phỏng vấn lâm sàng là một thách thức đặc biệt.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| DER trung vị của DIHARD III Track 1, các miền cuộc họp, video web và nhà hàng | 35% đến 45% | Ryant và cộng sự, Third DIHARD Challenge 2021 |
| DER của DIHARD III, phỏng vấn lâm sàng và giọng nói điện thoại, Track 1 so với Track 2 | Thường 10% đến 20% so với 15% đến 25% | Ryant và cộng sự, Third DIHARD Challenge 2021 |
| DER trung bình trên 8 hệ thống, đối thoại bác sĩ và bệnh nhân so với đối thoại thông thường bằng tiếng Anh giọng châu Phi | 33,38% so với 15,18% (không có khoảng dung sai, có chấm điểm giọng nói chồng lấn) | Okocha và cộng sự, 2025 |
| DER của pyannote trước so với sau khi tinh chỉnh trên giọng nói giọng châu Phi, đối thoại y khoa | 31,46% so với 15,73% | Okocha và cộng sự, 2025 |
| Bản ghi xoay quanh trẻ, F1 trung bình theo loại người nói: LENA so với BabyHuBERT-VTC so với người chú thích thứ hai | 40,8% so với 65,1% so với 69,8% (cao hơn là tốt hơn) | Charlot và cộng sự, BabyHuBERT 2026 |
| DER trên các benchmark video ngoài đời thực (in-the-wild) Ego4D (dev) và AVA-AVD, pyannote community-1 | 46,8% và 44,6% (do dự án công bố, không có khoảng dung sai) | pyannote, thẻ mô hình community-1 2025 |
| DER theo ngôn ngữ trên các bộ dữ liệu của benchmark ETH, hệ thống tốt nhất (pyannoteAI), tiếng Tây Ban Nha so với tiếng Anh | 14,3% so với 6,6% | Lanzendoerfer và cộng sự, ETH Zurich 2025 |
| Hội thoại đa ngôn ngữ Ấn Độ (DISPLACE), DER của đội tốt nhất trên cùng dữ liệu đánh giá, 2023 so với 2024 | 27,8% so với 21,27% | Kalluri và cộng sự, Second DISPLACE Challenge 2024 |
Bối cảnh: dữ liệu DISPLACE bao gồm 9 ngôn ngữ Ấn Độ cùng tiếng Anh Ấn Độ, với 3 đến 5 người tham gia mỗi phiên (Kalluri và cộng sự, The Second DISPLACE Challenge 2024). Các tác giả ETH gắn khoảng cách giữa các ngôn ngữ với việc thiếu dữ liệu ở một số ngôn ngữ và nêu tiếng Tây Ban Nha là ngôn ngữ khó nhất trong năm ngôn ngữ họ thử nghiệm.
5. Triển Khai Thực Tế: Cuộc Họp, Tổng Đài và Phòng Khám
Trong môi trường sản xuất, lỗi phân tách người nói hiện ra dưới dạng các dòng phiên âm bị gán cho sai người, đó là lý do các nghiên cứu về cuộc họp và y khoa thường báo cáo các chỉ số ở cấp độ từ. Hai chỉ số xuất hiện bên dưới: tcpWER, một tỷ lệ lỗi từ cũng tính các từ bị gán cho sai người nói trong một cửa sổ thời gian, và WDER, tỷ lệ các từ bị gán nhãn người nói sai. Một trong những bối cảnh khó nhất từng được đo là bữa tiệc tối: hệ thống cơ sở của CHiME-6 đạt DER 62,0% trên bộ đánh giá của nó, và ban tổ chức quy khoảng 15% tuyệt đối trong chênh lệch tỷ lệ lỗi từ giữa các hạng mục thi chủ yếu cho việc phân tách người nói (Watanabe và cộng sự, tổng quan cuộc thi CHiME-6 2020).
Các cuộc họp văn phòng dễ xử lý hơn. Trong NOTSOFAR-1, được xây dựng từ 315 cuộc họp thật với mỗi cuộc có 4 đến 8 người tham gia trong 30 môi trường, hệ thống đa kênh tốt nhất đạt tcpWER 10,8% (Abramovski và cộng sự, Summary of the NOTSOFAR-1 Challenge, Computer Speech and Language 2025). Việc phiên âm pháp lý có những rủi ro riêng về gán nhãn người nói, được đề cập trong thống kê độ chính xác phiên âm giọng nói tại phiên tòa của chúng tôi, còn các lỗi văn bản chồng lên lỗi người nói được đề cập trong dữ liệu về ảo giác của nhận dạng giọng nói của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| DER cơ sở bữa tiệc tối CHiME-6, bộ phát triển so với bộ đánh giá | 61,6% so với 62,0% | Watanabe và cộng sự, tổng quan CHiME-6 2020 |
| Chênh lệch tỷ lệ lỗi từ của CHiME-6 giữa các hạng mục thi, quy chủ yếu cho việc phân tách người nói | Khoảng 15% tuyệt đối | Watanabe và cộng sự, tổng quan CHiME-6 2020 |
| Phiên âm cuộc họp NOTSOFAR-1, tcpWER hệ thống tốt nhất so với mức cơ sở, đa kênh | 10,8% so với 28,3% | Abramovski và cộng sự, tóm tắt NOTSOFAR-1 2025 |
| Phiên âm cuộc họp NOTSOFAR-1, tcpWER hệ thống tốt nhất so với mức cơ sở, một kênh | 22,2% so với 41,4% | Abramovski và cộng sự, tóm tắt NOTSOFAR-1 2025 |
| DER điện thoại CALLHOME, community-1 mã nguồn mở so với precision-2 thương mại | 26,7% so với 16,6% (do nhà cung cấp công bố, không có khoảng dung sai) | pyannote, thẻ mô hình community-1 2025 |
| WDER trên bốn mô hình giọng nói thương mại, 36 cuộc hội thoại chăm sóc ban đầu | 1,8% đến 13,9% | Tran và cộng sự, AMIA Annual Symposium 2022 |
| WDER trên hội thoại bác sĩ và bệnh nhân, quy trình thông thường so với mô hình kết hợp nhận dạng và phân tách người nói | 15,8% so với 2,2% | El Shafey và cộng sự, Interspeech 2019 |
Bối cảnh: các bản ghi chăm sóc ban đầu được hai người nói tiếng Anh bản ngữ diễn lại trong một phòng thu yên tĩnh, nên các tác giả mô tả số liệu của họ có khả năng là giới hạn trên của hiệu năng tại phòng khám thực tế (Tran và cộng sự, AMIA Annual Symposium Proceedings 2022). Kết quả của mô hình kết hợp là dữ liệu mới nhất hiện có từ một kho ngữ liệu không công khai (El Shafey và cộng sự, Interspeech 2019). Con số precision-2 là tuyên bố của chính nhà cung cấp về mô hình thương mại của họ.
6. Tốc Độ, Mô Hình Mở và Quy Mô Nghiên Cứu
Độ chính xác chỉ là một nửa của quyết định triển khai. Hệ thống nhanh nhất trong benchmark ETH chạy nhanh gấp 214,3 lần thời gian thực, hơn mười lần tốc độ của mô hình mở DiariZen, vốn chạy ở 20,2 lần thời gian thực và đạt DER tổng thể 13,3% (Lanzendoerfer và cộng sự, ETH Zurich 2025). Sự đánh đổi này nặng ký hơn nhiều với phụ đề trực tiếp so với một tác vụ xử lý hàng loạt qua đêm.
Các mô hình mở được dùng rộng rãi. Các pipeline pyannote ghi nhận hàng triệu lượt tải mỗi tháng, và benchmark tháng 9 năm 2025 của chính dự án này công bố DER thấp hơn cho bản mở hiện tại so với bản cũ trên hầu hết các bộ dữ liệu, với gói thương mại dẫn trước cả hai (pyannote, thẻ mô hình speaker-diarization-community-1). Hãy coi các điểm số đó là do dự án công bố: chúng được chạy bởi chính nhóm phát hành các mô hình.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Hệ số thời gian thực (real-time factor; độ dài âm thanh chia cho thời gian xử lý), Sortformer v2 so với Sortformer v2 streaming | 214,3x so với 209,5x | Lanzendoerfer và cộng sự, ETH Zurich 2025 |
| Hệ số thời gian thực, pyannote mã nguồn mở so với DiariZen | 45,0x so với 20,2x | Lanzendoerfer và cộng sự, ETH Zurich 2025 |
| DER tổng thể trên benchmark ETH, pyannoteAI so với DiariZen | 11,2% so với 13,3% (khoảng dung sai 0,25 s, có chấm điểm giọng nói chồng lấn) | Lanzendoerfer và cộng sự, ETH Zurich 2025 |
| DER trên DIHARD 3 full, pyannote 3.1 so với community-1 so với precision-2 | 21,4% so với 20,2% so với 14,7% (do dự án và nhà cung cấp công bố, không có khoảng dung sai) | pyannote, thẻ mô hình community-1 2025 |
| Lượt tải hằng tháng trên Hugging Face, pyannote speaker-diarization-3.1 so với community-1 | 6.886.119 so với 5.051.937 (xem vào tháng 10 năm 2026) | Các trang mô hình Hugging Face |
| Dữ liệu huấn luyện mô phỏng NOTSOFAR-1 phát hành cho người tham gia | Khoảng 1.000 giờ | Abramovski và cộng sự, tóm tắt NOTSOFAR-1 2025 |
| Kích thước AMI Meeting Corpus | 100 giờ, khoảng hai phần ba là các cuộc họp thiết kế được đóng vai | University of Edinburgh, AMI Meeting Corpus |
Bối cảnh: AMI Meeting Corpus, vẫn là một benchmark phân tách người nói cốt lõi, ghi đồng bộ cả micro gần miệng lẫn micro trường xa (University of Edinburgh, AMI Meeting Corpus). Benchmark ETH không thể đo tốc độ của pyannoteAI vì chỉ có quyền truy cập qua API.
Tổng kết: Tỷ Lệ Lỗi Phân Tách Người Nói Qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| DER của CALLHOME, EEND-EDA, 2 so với 6 người nói (khoảng dung sai 0,25 s) | 8,50% so với 40,29% | Horiguchi và cộng sự, Interspeech 2020 |
| DER của CALLHOME, EEND-EDA so với phân cụm x-vector, tất cả cuộc gọi | 15,29% so với 19,43% | Horiguchi và cộng sự, Interspeech 2020 |
| DER trung vị của DIHARD Track 1, DIHARD I so với III | Hơn 30% so với dưới 20% | Ryant và cộng sự, Third DIHARD Challenge 2021 |
| Đội thắng DIHARD III, bộ đánh giá lõi, Track 1 so với Track 2 | 13,45% so với 19,37% | Kết quả cuộc thi DIHARD III |
| Đội thắng VoxSRC so với mức cơ sở, bộ kiểm thử 2023 | 4,30% so với 8,54% | Huh và cộng sự, hồi cứu VoxSRC 2024 |
| DER trên AMI, cùng hệ thống, không có khoảng dung sai so với khoảng 0,25 s | 15,4% so với 9,8% | Han và cộng sự, Brno University of Technology 2024 |
| Lỗi trong phạm vi 0,5 s quanh lần đổi người nói, NIST RT-09, một micro ở xa | Hơn 33% | Knox, UC Berkeley 2013 |
| DER của hệ thống ICSI, NIST RT-09 một micro ở xa | 31,3% | Sinclair và King, University of Edinburgh 2013 |
| Tỷ lệ giọng nói chồng lấn trong các bản ghi cuộc họp | 12% đến 15% | Park và cộng sự, Computer Speech and Language 2022 |
| Tỷ lệ chồng lấn, AliMeeting so với AMI | 19% so với 15,94% | Lanzendoerfer và cộng sự, ETH Zurich 2025 |
| DER đối thoại bác sĩ và bệnh nhân so với đối thoại thông thường, trung bình 8 hệ thống | 33,38% so với 15,18% | Okocha và cộng sự, 2025 |
| Bản ghi xoay quanh trẻ, F1 trung bình, mô hình tốt nhất so với người chú thích thứ hai | 65,1% so với 69,8% | Charlot và cộng sự, BabyHuBERT 2026 |
| DER của đội tốt nhất DISPLACE, 2023 so với 2024 | 27,8% so với 21,27% | Kalluri và cộng sự, Second DISPLACE Challenge 2024 |
| DER cơ sở bữa tiệc tối CHiME-6, bộ đánh giá | 62,0% | Watanabe và cộng sự, tổng quan CHiME-6 2020 |
| tcpWER tốt nhất so với mức cơ sở của NOTSOFAR-1, đa kênh | 10,8% so với 28,3% | Abramovski và cộng sự, tóm tắt NOTSOFAR-1 2025 |
| Khoảng WDER, bốn mô hình giọng nói thương mại, chăm sóc ban đầu | 1,8% đến 13,9% | Tran và cộng sự, AMIA Annual Symposium 2022 |
| Lượt tải hằng tháng của pyannote 3.1 trên Hugging Face | 6.886.119 | Hugging Face, trang mô hình pyannote speaker-diarization-3.1 |
Phương pháp luận và Nguồn
- Ryant và cộng sự, The Third DIHARD Diarization Challenge (2021): 11 miền, các trung vị qua các kỳ DIHARD, khoảng giá trị theo từng miền, chấm điểm không có khoảng dung sai và có tính giọng nói chồng lấn.
- Kết quả cuộc thi DIHARD III: bảng xếp hạng chính thức Track 1 và Track 2, bộ đánh giá lõi và đầy đủ.
- Huh và cộng sự, The VoxCeleb Speaker Recognition Challenge: A Retrospective (IEEE TASLP 2024): các đội thắng và mức cơ sở của bảng phân tách người nói, khoảng dung sai 0,25 s có chấm điểm giọng nói chồng lấn.
- Horiguchi và cộng sự, End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors (Interspeech 2020): DER của CALLHOME theo số lượng người nói.
- Han và cộng sự, Leveraging Self-Supervised Learning for Speaker Diarization (Brno University of Technology, 2024): kết quả khoảng dung sai 0 s so với 0,25 s trên AMI, AISHELL-4 và AliMeeting.
- Lanzendoerfer và cộng sự, Benchmarking Diarization Models (ETH Zurich, 2025): khoảng 196,6 giờ trải trên CALLHOME, VoxConverse, AMI và AliMeeting; tỷ lệ chồng lấn, DER theo ngôn ngữ và theo số lượng người nói, tốc độ.
- Park và cộng sự, A Review of Speaker Diarization: Recent Advances with Deep Learning (Computer Speech and Language, 2022): quy ước về khoảng dung sai và tỷ lệ chồng lấn trong cuộc họp.
- Knox, Speaker Diarization: Current Limitations and New Directions (báo cáo kỹ thuật UC Berkeley, 2013): vị trí lỗi so với các lần đổi người nói trên NIST RT-09.
- Sinclair và King, Where are the challenges in speaker diarization? (University of Edinburgh, 2013): DER cuộc họp RT-09.
- Watanabe và cộng sự, tổng quan cuộc thi CHiME-6 (2020): DER cơ sở bữa tiệc tối và phần đóng góp của việc phân tách người nói vào chênh lệch tỷ lệ lỗi từ.
- Abramovski và cộng sự, Summary of the NOTSOFAR-1 Challenge (Computer Speech and Language, 2025): bộ dữ liệu cuộc họp và kết quả tcpWER.
- Kalluri và cộng sự, The Second DISPLACE Challenge (2024): kết quả phân tách người nói trong hội thoại đa ngôn ngữ.
- Okocha và cộng sự, Domain-Aware Speaker Diarization on African-Accented English (2025): DER lâm sàng so với thông thường trên tám hệ thống.
- Charlot và cộng sự, BabyHuBERT (2026): phân đoạn người nói trong các bản ghi dài xoay quanh trẻ.
- Tran và cộng sự, Automatic speech recognition performance for digital scribes (AMIA Annual Symposium Proceedings, 2022): WDER trong các cuộc hội thoại chăm sóc ban đầu.
- El Shafey và cộng sự, Joint Speech Recognition and Speaker Diarization via Sequence Transduction (Interspeech 2019): WDER trên hội thoại bác sĩ và bệnh nhân.
- pyannote, thẻ mô hình speaker-diarization-3.1 và pyannote, thẻ mô hình speaker-diarization-community-1: DER do dự án công bố (không có khoảng dung sai, có chấm điểm giọng nói chồng lấn), số lượt tải; các con số precision-2 là tuyên bố của chính nhà cung cấp về một mô hình thương mại.
- University of Edinburgh, AMI Meeting Corpus: kích thước kho ngữ liệu và cách bố trí ghi âm.
- Lưu ý về dữ liệu: các giá trị DER chỉ so sánh được trong cùng một benchmark và cùng một cách chấm điểm; VoxSRC dùng khoảng dung sai 0,25 s trong khi DIHARD, các thẻ mô hình pyannote và nghiên cứu lâm sàng giọng châu Phi không dùng khoảng nào, vì vậy đừng so sánh 4,30% của VoxSRC với 13,45% của DIHARD. Thẻ mô hình pyannote 3.1 ghi 21,7% trên DIHARD 3 full trong khi thẻ community-1 mới hơn ghi 21,4% cho cùng quy trình cũ đó, một chênh lệch nhỏ do cập nhật đánh giá; chúng tôi dùng bảng community-1 cho các phép so sánh giữa các phiên bản. Các hàng năm 2021 và 2022 trong hồi cứu VoxSRC không nhất quán giữa bảng và văn bản, nên chúng tôi chỉ báo cáo 2020 và 2023. Bảng lỗi theo từng thành phần của nghiên cứu lâm sàng giọng châu Phi không cộng đúng bằng DER y khoa mà nó nêu, nên chúng tôi chỉ trích dẫn các giá trị trung bình chính. Bản tóm tắt NOTSOFAR-1 gán nhãn không nhất quán cho kết quả tốt nhất một kênh và đa kênh trong một bảng; chúng tôi theo phần văn bản, có mức cải thiện tương đối 51% khớp với các con số ở trên. Số lượt tải Hugging Face là ảnh chụp theo tháng cuốn chiếu và thay đổi mỗi ngày. Các con số của Berkeley, Edinburgh, CHiME-6, DIHARD III, EEND-EDA, Interspeech 2019 và AMIA 2022 là dữ liệu mới nhất hiện có cho các phép đo cụ thể của chúng.
- Cập nhật lần cuối: ngày 27 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi các bài tóm tắt cuộc thi Interspeech 2026 và bản cập nhật benchmark trên thẻ mô hình pyannote tiếp theo được công bố.