Pada tolok ukur telepon CALLHOME, sistem diarisasi end-to-end yang sama yang meraih DER 8,50% pada panggilan dua pembicara meraih 40,29% pada panggilan enam pembicara (Horiguchi dkk., EEND-EDA, Interspeech 2020). Diarisasi pembicara adalah langkah “siapa berbicara kapan”: ia memecah rekaman menjadi potongan-potongan dan memberi label pembicara pada masing-masing, sebelum atau bersamaan dengan transkripsi. Pada tolok ukur yang terkurasi, kemajuannya cepat, dengan median kesalahan DIHARD Track 1 turun dari lebih dari 30% di DIHARD I menjadi di bawah 20% di DIHARD III (Ryant dkk., Third DIHARD Challenge 2021), tetapi audio pesta makan malam tetap menghasilkan DER baseline 62,0% di CHiME-6 (Watanabe dkk., ikhtisar tantangan CHiME-6 2020). Kami menghimpun data dari penyelenggara tantangan DIHARD dan VoxSRC, tantangan CHiME-6, NOTSOFAR-1 dan DISPLACE, tolok ukur diarisasi ETH Zurich 2025, Brno University of Technology, kartu model proyek pyannote, dan studi klinis yang ditelaah sejawat. Untuk sisi tingkat kata dari pipeline yang sama, lihat rangkuman kami tentang bias aksen pada pengenalan suara dan tingkat kesalahan kata.
Catatan untuk membaca setiap angka di bawah: DER (tingkat kesalahan diarisasi) makin rendah makin baik, dan hanya dapat dibandingkan jika dua hasil memakai tolok ukur yang sama, jendela toleransi (“collar”, jendela singkat tanpa penilaian di sekitar setiap pergantian pembicara) yang sama, dan aturan yang sama soal ucapan tumpang tindih. Setiap tabel menyebutkan pengaturannya bila sumber menyediakannya.
TL;DR
- DER CALLHOME naik dari 8,50% dengan 2 pembicara menjadi 40,29% dengan 6 pembicara untuk sistem yang sama (Horiguchi dkk., Interspeech 2020).
- Median DER DIHARD Track 1 turun dari lebih dari 30% (DIHARD I) menjadi 25% (DIHARD II) dan di bawah 20% (DIHARD III) (Ryant dkk., Third DIHARD Challenge 2021).
- Pemenang VoxSRC meraih DER 3,71% pada 2020 dan 4,30% pada 2023 pada audio YouTube, kira-kira separuh baseline setiap tahun (Huh dkk., retrospektif VoxSRC, IEEE TASLP 2024).
- Menghapus jendela toleransi 0,25 s menaikkan DER AMI dari 9,8% menjadi 15,4% untuk sistem yang sama (Han dkk., Brno University of Technology 2024).
- Lebih dari 33% kesalahan pada data rapat NIST dengan satu mikrofon berada dalam jarak 0,5 s dari pergantian pembicara (Knox, UC Berkeley 2013).
- Rata-rata 12% hingga 15% ucapan dalam rekaman rapat saling tumpang tindih (Park dkk., Computer Speech and Language 2022).
- Dialog dokter-pasien rata-rata menghasilkan DER 33,38% dibandingkan 15,18% untuk percakapan umum pada delapan sistem (Okocha dkk., 2025).
- Baseline pesta makan malam CHiME-6 meraih DER 62,0% pada set evaluasi (Watanabe dkk., ikhtisar CHiME-6 2020).
- Sistem rapat terbaik NOTSOFAR-1 menurunkan tingkat kesalahan kata yang diatribusikan ke pembicara menjadi 10,8% dari baseline 28,3% (Abramovski dkk., ringkasan NOTSOFAR-1 2025).
- Model tercepat dalam tolok ukur 2025 memproses audio 214,3 kali lebih cepat daripada waktu nyata (Lanzendoerfer dkk., ETH Zurich 2025).
1. Apa yang Diukur DER, dan Mengapa Pengaturan Penilaian Menggeser Angkanya
DER menjumlahkan tiga jenis waktu lalu membaginya dengan total ucapan acuan: ucapan terlewat (seseorang berbicara, sistem mendengar keheningan), alarm palsu (sistem menandai ucapan di tempat yang tidak ada ucapan) dan kekeliruan pembicara (ucapan terdeteksi tetapi diberikan kepada orang yang salah). Kartu model pyannote 3.1 menunjukkan hitungannya dengan jelas: pada audio headset AMI, DER 18,8% terdiri dari 3,6% alarm palsu ditambah 9,5% terlewat ditambah 5,7% kekeliruan.
Jebakan yang lebih besar adalah jendela toleransi. Sejak evaluasi NIST Rich Transcription, sebagian besar makalah mengabaikan 0,25 s di kedua sisi setiap batas acuan, karena anotator manusia jarang sepakat tentang milidetik persis kapan sebuah giliran bicara dimulai. Pilihan tunggal itu menghapus 5,6 poin, atau 36% dari angka tanpa jendela toleransi: sistem Brno University of Technology yang sama meraih 15,4% pada AMI tanpa jendela toleransi dan 9,8% dengan jendela toleransi (Han dkk., 2024). Zona yang dimaafkan itu persis tempat sistem paling sering gagal, karena sepertiga atau lebih dari semua kesalahan berada dalam jarak setengah detik dari pergantian pembicara (Knox, laporan teknis UC Berkeley 2013).
| Metrik | Nilai | Sumber |
|---|---|---|
| Jendela toleransi standar tanpa penilaian di sekitar setiap batas segmen acuan (penilaian gaya RT) | 0,25 s, disebut sebagai skema yang paling banyak dipakai | Park dkk., Computer Speech and Language 2022 |
| Aturan penilaian DIHARD dan CHiME-6 | Tanpa jendela toleransi, ucapan tumpang tindih dinilai | Park dkk., Computer Speech and Language 2022 |
| DER AMI, sistem BUT berbasis WavLM, tanpa jendela toleransi berbanding jendela 0,25 s | 15,4% berbanding 9,8% | Han dkk., Brno University of Technology 2024 |
| DER AliMeeting, sistem yang sama, tanpa jendela toleransi berbanding jendela 0,25 s | 17,6% berbanding 10,2% | Han dkk., Brno University of Technology 2024 |
| DER AMI, baseline pyannote 3, tanpa jendela toleransi berbanding jendela 0,25 s | 21,1% berbanding 13,7% | Han dkk., Brno University of Technology 2024 |
| Porsi kesalahan dalam jarak 0,5 s dari pergantian pembicara, rapat NIST RT-09, satu berbanding banyak mikrofon jarak jauh | Lebih dari 33% berbanding 40% | Knox, UC Berkeley 2013 |
| DER campuran headset AMI, pyannote 3.1, dipecah menjadi alarm palsu + terlewat + kekeliruan | 18,8% = 3,6% + 9,5% + 5,7% (dilaporkan proyek) | pyannote, kartu model speaker-diarization-3.1 |
Konteks: analisis kesalahan Berkeley adalah data terbaru yang tersedia tentang posisi kesalahan (Knox, UC Berkeley 2013). Tolok ukur ETH 2025 menunjuk ke arah yang sama: ucapan terlewat adalah jenis kesalahan dominan untuk sebagian besar model, dan para penulis mengaitkan segmen yang terlewat, rata-rata sekitar 350 ms, dengan pengaturan waktu awal dan akhir, bukan dengan ujaran utuh yang tidak terdengar (Lanzendoerfer dkk., Benchmarking Diarization Models 2025).
2. Kondisi Terkini per Tolok Ukur, dan Seberapa Cepat DER Turun
Kemajuannya nyata, tetapi spesifik per tolok ukur. Di DIHARD, campuran 11 domain yang sengaja dibuat sulit, median DER Track 1 turun dari lebih dari 30% menjadi di bawah 20% dalam tiga edisi (Ryant dkk., The Third DIHARD Diarization Challenge 2021). Track 1 memberi sistem wilayah ucapan yang sebenarnya; Track 2 meminta sistem menemukan ucapan sendiri, itulah sebabnya angkanya lebih tinggi.
Pada audio YouTube bergaya siaran, pemenang VoxSRC berada di sekitar 4%, kira-kira separuh baseline penyelenggara setiap tahun (Huh dkk., The VoxCeleb Speaker Recognition Challenge: A Retrospective, IEEE TASLP 2024). Namun pemenang 2020 dan 2023 bukanlah deret waktu: set uji bertambah dari 232 berkas menjadi 413 berkas, sehingga angka 2023 yang sedikit lebih tinggi tidak berarti bidang ini mundur.
| Metrik | Nilai | Sumber |
|---|---|---|
| Median DER DIHARD Track 1 (wilayah ucapan sebenarnya diberikan), DIHARD I berbanding II berbanding III | Lebih dari 30% berbanding 25% berbanding di bawah 20% | Ryant dkk., Third DIHARD Challenge 2021 |
| Median DER DIHARD Track 2 (sistem mendeteksi ucapan sendiri), DIHARD I berbanding III | 40% berbanding di bawah 25% | Ryant dkk., Third DIHARD Challenge 2021 |
| Pemenang DIHARD III (USTC-NELSLIP), set evaluasi inti, Track 1 berbanding Track 2 | 13,45% berbanding 19,37% (tanpa jendela toleransi, ucapan tumpang tindih dinilai) | Hasil tantangan DIHARD III |
| Trek diarisasi VoxSRC, set uji 2020, pemenang berbanding baseline | 3,71% berbanding 8,15% (jendela toleransi 0,25 s, ucapan tumpang tindih dinilai) | Huh dkk., retrospektif VoxSRC 2024 |
| Trek diarisasi VoxSRC, set uji 2023, pemenang berbanding baseline | 4,30% berbanding 8,54% (jendela toleransi 0,25 s, ucapan tumpang tindih dinilai) | Huh dkk., retrospektif VoxSRC 2024 |
| DER CALLHOME, semua panggilan, EEND-EDA end-to-end berbanding pengelompokan x-vector | 15,29% berbanding 19,43% (jendela toleransi 0,25 s) | Horiguchi dkk., Interspeech 2020 |
| Rata-rata DER sistem ICSI pada rapat NIST RT-09, satu mikrofon jarak jauh | 31,3% | Sinclair dan King, University of Edinburgh 2013 |
Konteks: DER pemenang DIHARD III pada set evaluasi penuh adalah 11,3% pada Track 1 dan 16,78% pada Track 2, dibandingkan baseline 20,65% dan 27,34% pada set inti (hasil tantangan DIHARD III). Angka RT-09 adalah data terbaru yang tersedia untuk evaluasi tersebut (Sinclair dan King, Where are the challenges in speaker diarization? 2013), dan berasal dari data serta era yang berbeda dari DIHARD, sehingga tidak boleh dibaca sebagai perbandingan langsung sebelum dan sesudah.
3. Ucapan Tumpang Tindih dan Jumlah Pembicara: Dua Pendorong DER Terbesar
Tumpang tindih bukan kasus pinggiran. Rata-rata 12% hingga 15% ucapan dalam rekaman rapat saling tumpang tindih, dan tinjauan yang menghimpun angka ini mencatat bahwa angkanya dapat naik lebih tinggi dalam percakapan sehari-hari (Park dkk., A Review of Speaker Diarization, Computer Speech and Language 2022). Pipeline pengelompokan yang lebih lama memberi setiap momen tepat satu pembicara, sehingga pada tumpang tindih dua orang, setidaknya separuh waktu yang dinilai sudah salah sebelum kesalahan lain terjadi.
Jumlah pembicara memperparah masalah. Pada CALLHOME, model EEND-EDA yang sama naik dari DER 8,50% pada panggilan dua pembicara menjadi 40,29% pada panggilan enam pembicara (Horiguchi dkk., EEND-EDA, Interspeech 2020), dan model dengan batas pembicara yang kaku membayar dua kali: keluarga Sortformer, yang dibatasi empat pembicara, menunjukkan lebih banyak kekeliruan pembicara pada rekaman yang ramai dalam tolok ukur ETH. Perekaman multi-mikrofon membantu, seperti ditunjukkan hasil rapat NOTSOFAR-1 di bagian 5, pola yang juga terlihat dalam data kami tentang beamforming medan jauh dan akurasi kata pemicu.
| Metrik | Nilai | Sumber |
|---|---|---|
| Rata-rata porsi ucapan tumpang tindih dalam rekaman rapat | 12% hingga 15% | Park dkk., Computer Speech and Language 2022 |
| Rata-rata porsi tumpang tindih: AliMeeting berbanding AMI berbanding CALLHOME berbanding VoxConverse | 19% berbanding 15,94% berbanding 12,58% berbanding 3,52% | Lanzendoerfer dkk., ETH Zurich 2025 |
| DER CALLHOME, EEND-EDA, panggilan dengan 2 berbanding 3 berbanding 4 pembicara | 8,50% berbanding 13,24% berbanding 21,46% | Horiguchi dkk., Interspeech 2020 |
| DER CALLHOME, EEND-EDA, panggilan dengan 5 berbanding 6 pembicara | 33,16% berbanding 40,29% | Horiguchi dkk., Interspeech 2020 |
| DER CALLHOME, pengelompokan x-vector, panggilan dengan 2 berbanding 6 pembicara | 15,45% berbanding 34,27% | Horiguchi dkk., Interspeech 2020 |
| DER pada rekaman 4 pembicara: Sortformer (batas 4 pembicara) berbanding DiariZen | 21,3% berbanding 12,7% (jendela toleransi 0,25 s, ucapan tumpang tindih dinilai) | Lanzendoerfer dkk., ETH Zurich 2025 |
| Rata-rata pembicara per rekaman, set uji VoxSRC 2020 | 6,5 pembicara dalam rata-rata 675,6 s | Huh dkk., retrospektif VoxSRC 2024 |
Konteks: jumlah pembicara saja tidak menentukan skor. Dalam tolok ukur ETH, sistem terbaik meraih 6,6% pada rekaman dengan 5 pembicara atau lebih, tetapi 10,1% pada rekaman 4 pembicara, pengingat bahwa tumpang tindih dan kondisi rekaman sama pentingnya dengan jumlah orang. Hasil CALLHOME untuk 5 dan 6 pembicara juga bertumpu pada sedikit berkas: para penulis EEND-EDA mencatat bahwa CALLHOME hanya memiliki sepuluh rekaman dengan lebih dari empat pembicara.
4. Kesenjangan Domain: Audio Klinis, Anak, Multibahasa, dan Dunia Nyata
Model yang disetel pada rapat dan panggilan telepon tidak membawa akurasinya ke klinik, rumah keluarga, atau video daring. Dari delapan sistem diarisasi, dialog dokter-pasien rata-rata menghasilkan DER 33,38% dibandingkan 15,18% untuk percakapan umum, selisih 18,20 poin persentase (uji t berpasangan p < 10⁻⁴), dan alarm palsu menjadi penyebab sebagian besar penalti klinis (Okocha dkk., Domain-Aware Speaker Diarization on African-Accented English 2025). Penyetelan lanjutan pada ucapan beraksen menurunkan separuh kesalahan satu model terbuka, tetapi selisih klinisnya menyusut dan tidak hilang.
Anak-anak adalah wilayah terpisah. Dalam studi BabyHuBERT, rekaman sepanjang hari yang berpusat pada anak dinilai per jenis pembicara (anak kunci, anak lain, pria dewasa, wanita dewasa) dengan skor F1, di mana nilai lebih tinggi lebih baik, dan model terbaik 2026 masih berada di bawah anotator manusia kedua (Charlot dkk., BabyHuBERT 2026). DIHARD III menandai kelemahan yang sama dan menyebut anak-anak dalam wawancara klinis sebagai tantangan khusus.
| Metrik | Nilai | Sumber |
|---|---|---|
| Median DER DIHARD III Track 1, domain rapat, video web, dan restoran | 35% hingga 45% | Ryant dkk., Third DIHARD Challenge 2021 |
| DER DIHARD III, wawancara klinis dan ucapan telepon, Track 1 berbanding Track 2 | Umumnya 10% hingga 20% berbanding 15% hingga 25% | Ryant dkk., Third DIHARD Challenge 2021 |
| Rata-rata DER pada 8 sistem, dialog dokter-pasien berbanding dialog umum bahasa Inggris beraksen Afrika | 33,38% berbanding 15,18% (tanpa jendela toleransi, ucapan tumpang tindih dinilai) | Okocha dkk., 2025 |
| DER pyannote sebelum berbanding sesudah penyetelan lanjutan pada ucapan beraksen Afrika, dialog medis | 31,46% berbanding 15,73% | Okocha dkk., 2025 |
| Rekaman berpusat pada anak, rata-rata F1 lintas jenis pembicara: LENA berbanding BabyHuBERT-VTC berbanding anotator manusia kedua | 40,8% berbanding 65,1% berbanding 69,8% (lebih tinggi lebih baik) | Charlot dkk., BabyHuBERT 2026 |
| DER pada tolok ukur video dunia nyata (in-the-wild) Ego4D (dev) dan AVA-AVD, pyannote community-1 | 46,8% dan 44,6% (dilaporkan proyek, tanpa jendela toleransi) | pyannote, kartu model community-1 2025 |
| DER per bahasa pada set data tolok ukur ETH, sistem terbaik (pyannoteAI), Spanyol berbanding Inggris | 14,3% berbanding 6,6% | Lanzendoerfer dkk., ETH Zurich 2025 |
| Percakapan multibahasa India (DISPLACE), DER tim terbaik pada data evaluasi yang sama, 2023 berbanding 2024 | 27,8% berbanding 21,27% | Kalluri dkk., Second DISPLACE Challenge 2024 |
Konteks: data DISPLACE mencakup 9 bahasa India ditambah bahasa Inggris India dengan 3 hingga 5 peserta per sesi (Kalluri dkk., The Second DISPLACE Challenge 2024). Para penulis ETH mengaitkan kesenjangan bahasa dengan kelangkaan data untuk beberapa bahasa dan menyebut bahasa Spanyol sebagai yang tersulit dari lima bahasa yang mereka uji.
5. Penerapan di Dunia Nyata: Rapat, Pusat Panggilan, dan Klinik
Dalam produksi, kesalahan diarisasi muncul sebagai baris transkrip yang dikreditkan kepada orang yang salah, itulah sebabnya studi rapat dan medis sering melaporkan metrik tingkat kata. Dua di antaranya muncul di bawah: tcpWER, tingkat kesalahan kata yang juga menghitung kata yang diatribusikan ke pembicara yang salah dalam sebuah jendela waktu, dan WDER, porsi kata yang diberi label pembicara yang salah. Salah satu situasi tersulit yang pernah dijadikan tolok ukur adalah pesta makan malam: baseline CHiME-6 meraih DER 62,0% pada set evaluasinya, dan penyelenggara mengaitkan sekitar 15% absolut dari selisih tingkat kesalahan kata antara trek mereka terutama dengan diarisasi (Watanabe dkk., ikhtisar tantangan CHiME-6 2020).
Rapat kantor lebih mudah ditangani. Pada NOTSOFAR-1, yang dibangun dari 315 rapat nyata dengan masing-masing 4 hingga 8 peserta di 30 lingkungan, sistem multi-kanal terbaik mencapai tcpWER 10,8% (Abramovski dkk., Summary of the NOTSOFAR-1 Challenge, Computer Speech and Language 2025). Transkripsi hukum memiliki taruhan pelabelan pembicara tersendiri, yang dibahas dalam statistik akurasi transkripsi ucapan di ruang sidang kami, dan kesalahan teks yang menumpuk di atas kesalahan pembicara dibahas dalam data halusinasi pengenalan suara kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| DER baseline pesta makan malam CHiME-6, set pengembangan berbanding set evaluasi | 61,6% berbanding 62,0% | Watanabe dkk., ikhtisar CHiME-6 2020 |
| Selisih tingkat kesalahan kata CHiME-6 antartrek yang terutama diatribusikan ke diarisasi | Sekitar 15% absolut | Watanabe dkk., ikhtisar CHiME-6 2020 |
| Transkripsi rapat NOTSOFAR-1, tcpWER sistem terbaik berbanding baseline, multi-kanal | 10,8% berbanding 28,3% | Abramovski dkk., ringkasan NOTSOFAR-1 2025 |
| Transkripsi rapat NOTSOFAR-1, tcpWER sistem terbaik berbanding baseline, satu kanal | 22,2% berbanding 41,4% | Abramovski dkk., ringkasan NOTSOFAR-1 2025 |
| DER telepon CALLHOME, community-1 terbuka berbanding precision-2 komersial | 26,7% berbanding 16,6% (dilaporkan vendor, tanpa jendela toleransi) | pyannote, kartu model community-1 2025 |
| WDER pada empat model ucapan komersial, 36 percakapan layanan primer | 1,8% hingga 13,9% | Tran dkk., AMIA Annual Symposium 2022 |
| WDER pada percakapan dokter-pasien, pipeline konvensional berbanding model gabungan pengenalan dan diarisasi | 15,8% berbanding 2,2% | El Shafey dkk., Interspeech 2019 |
Konteks: rekaman layanan primer diperagakan ulang oleh dua penutur asli bahasa Inggris di studio yang tenang, sehingga para penulis menyebut angkanya kemungkinan batas atas kinerja klinik nyata (Tran dkk., AMIA Annual Symposium Proceedings 2022). Hasil model gabungan adalah data terbaru yang tersedia dari korpus yang tidak dipublikasikan (El Shafey dkk., Interspeech 2019). Angka precision-2 adalah klaim vendor sendiri untuk model komersialnya.
6. Kecepatan, Model Terbuka, dan Skala Penelitian
Akurasi hanyalah separuh dari keputusan penerapan. Sistem tercepat dalam tolok ukur ETH berjalan 214,3 kali lebih cepat daripada waktu nyata, lebih dari sepuluh kali kecepatan model terbuka DiariZen, yang berjalan pada 20,2 kali waktu nyata dan meraih DER keseluruhan 13,3% (Lanzendoerfer dkk., ETH Zurich 2025). Pertukaran itu jauh lebih berbobot untuk teks langsung (live caption) daripada untuk pekerjaan batch semalaman.
Model terbuka dipakai secara luas. Pipeline pyannote menunjukkan jutaan unduhan bulanan, dan tolok ukur September 2025 milik proyek itu sendiri melaporkan DER lebih rendah untuk rilis terbuka terbarunya dibandingkan rilis lamanya pada sebagian besar set data, dengan tingkat komersialnya di depan keduanya (pyannote, kartu model speaker-diarization-community-1). Perlakukan skor itu sebagai dilaporkan proyek: skor tersebut dijalankan oleh tim yang sama yang merilis modelnya.
| Metrik | Nilai | Sumber |
|---|---|---|
| Faktor waktu nyata (real-time factor; panjang audio dibagi waktu pemrosesan), Sortformer v2 berbanding Sortformer v2 streaming | 214,3x berbanding 209,5x | Lanzendoerfer dkk., ETH Zurich 2025 |
| Faktor waktu nyata, pyannote terbuka berbanding DiariZen | 45,0x berbanding 20,2x | Lanzendoerfer dkk., ETH Zurich 2025 |
| DER keseluruhan pada tolok ukur ETH, pyannoteAI berbanding DiariZen | 11,2% berbanding 13,3% (jendela toleransi 0,25 s, ucapan tumpang tindih dinilai) | Lanzendoerfer dkk., ETH Zurich 2025 |
| DER DIHARD 3 full, pyannote 3.1 berbanding community-1 berbanding precision-2 | 21,4% berbanding 20,2% berbanding 14,7% (dilaporkan proyek dan vendor, tanpa jendela toleransi) | pyannote, kartu model community-1 2025 |
| Unduhan bulanan di Hugging Face, pyannote speaker-diarization-3.1 berbanding community-1 | 6.886.119 berbanding 5.051.937 (dilihat Oktober 2026) | Halaman model Hugging Face |
| Data pelatihan simulasi NOTSOFAR-1 yang dirilis kepada peserta | Sekitar 1.000 jam | Abramovski dkk., ringkasan NOTSOFAR-1 2025 |
| Ukuran AMI Meeting Corpus | 100 jam, sekitar dua pertiganya rapat desain yang diperankan | University of Edinburgh, AMI Meeting Corpus |
Konteks: AMI Meeting Corpus, yang masih menjadi tolok ukur diarisasi inti, merekam mikrofon jarak dekat dan medan jauh secara sinkron (University of Edinburgh, AMI Meeting Corpus). Tolok ukur ETH tidak dapat mengukur kecepatan pyannoteAI karena hanya tersedia akses API.
Ringkasan: Tingkat Kesalahan Diarisasi Pembicara dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| DER CALLHOME, EEND-EDA, 2 berbanding 6 pembicara (jendela toleransi 0,25 s) | 8,50% berbanding 40,29% | Horiguchi dkk., Interspeech 2020 |
| DER CALLHOME, EEND-EDA berbanding pengelompokan x-vector, semua panggilan | 15,29% berbanding 19,43% | Horiguchi dkk., Interspeech 2020 |
| Median DER DIHARD Track 1, DIHARD I berbanding III | Lebih dari 30% berbanding di bawah 20% | Ryant dkk., Third DIHARD Challenge 2021 |
| Pemenang DIHARD III, set evaluasi inti, Track 1 berbanding Track 2 | 13,45% berbanding 19,37% | Hasil tantangan DIHARD III |
| Pemenang VoxSRC berbanding baseline, set uji 2023 | 4,30% berbanding 8,54% | Huh dkk., retrospektif VoxSRC 2024 |
| DER AMI, sistem yang sama, tanpa jendela toleransi berbanding jendela 0,25 s | 15,4% berbanding 9,8% | Han dkk., Brno University of Technology 2024 |
| Kesalahan dalam jarak 0,5 s dari pergantian pembicara, NIST RT-09, satu mikrofon jarak jauh | Lebih dari 33% | Knox, UC Berkeley 2013 |
| DER sistem ICSI, NIST RT-09 satu mikrofon jarak jauh | 31,3% | Sinclair dan King, University of Edinburgh 2013 |
| Porsi ucapan tumpang tindih dalam rekaman rapat | 12% hingga 15% | Park dkk., Computer Speech and Language 2022 |
| Porsi tumpang tindih, AliMeeting berbanding AMI | 19% berbanding 15,94% | Lanzendoerfer dkk., ETH Zurich 2025 |
| DER dialog dokter-pasien berbanding dialog umum, rata-rata 8 sistem | 33,38% berbanding 15,18% | Okocha dkk., 2025 |
| Rekaman berpusat pada anak, rata-rata F1, model terbaik berbanding anotator manusia kedua | 65,1% berbanding 69,8% | Charlot dkk., BabyHuBERT 2026 |
| DER tim terbaik DISPLACE, 2023 berbanding 2024 | 27,8% berbanding 21,27% | Kalluri dkk., Second DISPLACE Challenge 2024 |
| DER baseline pesta makan malam CHiME-6, set evaluasi | 62,0% | Watanabe dkk., ikhtisar CHiME-6 2020 |
| tcpWER terbaik berbanding baseline NOTSOFAR-1, multi-kanal | 10,8% berbanding 28,3% | Abramovski dkk., ringkasan NOTSOFAR-1 2025 |
| Rentang WDER, empat model ucapan komersial, layanan primer | 1,8% hingga 13,9% | Tran dkk., AMIA Annual Symposium 2022 |
| Unduhan bulanan pyannote 3.1 di Hugging Face | 6.886.119 | Hugging Face, halaman model pyannote speaker-diarization-3.1 |
Metodologi dan Sumber
- Ryant dkk., The Third DIHARD Diarization Challenge (2021): 11 domain, median lintas edisi DIHARD, rentang per domain, penilaian tanpa jendela toleransi dan dengan ucapan tumpang tindih.
- Hasil tantangan DIHARD III: papan peringkat resmi Track 1 dan Track 2, set evaluasi inti dan penuh.
- Huh dkk., The VoxCeleb Speaker Recognition Challenge: A Retrospective (IEEE TASLP 2024): pemenang dan baseline trek diarisasi, jendela toleransi 0,25 s dengan ucapan tumpang tindih dinilai.
- Horiguchi dkk., End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors (Interspeech 2020): DER CALLHOME menurut jumlah pembicara.
- Han dkk., Leveraging Self-Supervised Learning for Speaker Diarization (Brno University of Technology, 2024): hasil jendela toleransi 0 s berbanding 0,25 s pada AMI, AISHELL-4, dan AliMeeting.
- Lanzendoerfer dkk., Benchmarking Diarization Models (ETH Zurich, 2025): sekitar 196,6 jam di CALLHOME, VoxConverse, AMI, dan AliMeeting; porsi tumpang tindih, DER per bahasa dan per jumlah pembicara, kecepatan.
- Park dkk., A Review of Speaker Diarization: Recent Advances with Deep Learning (Computer Speech and Language, 2022): konvensi jendela toleransi dan porsi tumpang tindih dalam rapat.
- Knox, Speaker Diarization: Current Limitations and New Directions (laporan teknis UC Berkeley, 2013): posisi kesalahan terhadap pergantian pembicara pada NIST RT-09.
- Sinclair dan King, Where are the challenges in speaker diarization? (University of Edinburgh, 2013): DER rapat RT-09.
- Watanabe dkk., ikhtisar tantangan CHiME-6 (2020): DER baseline pesta makan malam dan porsi diarisasi dalam selisih tingkat kesalahan kata.
- Abramovski dkk., Summary of the NOTSOFAR-1 Challenge (Computer Speech and Language, 2025): set data rapat dan hasil tcpWER.
- Kalluri dkk., The Second DISPLACE Challenge (2024): hasil diarisasi percakapan multibahasa.
- Okocha dkk., Domain-Aware Speaker Diarization on African-Accented English (2025): DER klinis berbanding umum pada delapan sistem.
- Charlot dkk., BabyHuBERT (2026): segmentasi pembicara pada rekaman panjang yang berpusat pada anak.
- Tran dkk., Automatic speech recognition performance for digital scribes (AMIA Annual Symposium Proceedings, 2022): WDER dalam percakapan layanan primer.
- El Shafey dkk., Joint Speech Recognition and Speaker Diarization via Sequence Transduction (Interspeech 2019): WDER pada percakapan dokter-pasien.
- pyannote, kartu model speaker-diarization-3.1 dan pyannote, kartu model speaker-diarization-community-1: DER yang dilaporkan proyek (tanpa jendela toleransi, ucapan tumpang tindih dinilai), jumlah unduhan; angka precision-2 adalah klaim vendor sendiri untuk model komersial.
- University of Edinburgh, AMI Meeting Corpus: ukuran korpus dan pengaturan perekaman.
- Catatan data: nilai DER hanya dapat dibandingkan dalam satu tolok ukur dan satu pengaturan penilaian; VoxSRC memakai jendela toleransi 0,25 s sedangkan DIHARD, kartu model pyannote, dan studi klinis beraksen Afrika tidak memakainya sama sekali, jadi jangan membandingkan 4,30% VoxSRC dengan 13,45% DIHARD. Kartu model pyannote 3.1 mencantumkan 21,7% pada DIHARD 3 full sementara kartu community-1 yang lebih baru mencantumkan 21,4% untuk pipeline lama yang sama, selisih kecil akibat pembaruan evaluasi; kami memakai tabel community-1 untuk perbandingan versi. Baris 2021 dan 2022 dalam retrospektif VoxSRC tidak konsisten antara tabel dan teksnya, jadi kami hanya melaporkan 2020 dan 2023. Tabel kesalahan per komponen pada studi klinis beraksen Afrika tidak berjumlah persis sama dengan DER medis yang dinyatakannya, jadi kami hanya mengutip rata-rata utamanya. Ringkasan NOTSOFAR-1 memberi label yang tidak konsisten pada hasil terbaik satu kanal dan multi-kanalnya dalam satu tabel; kami mengikuti teksnya, yang peningkatan relatif 51%-nya sesuai dengan angka di atas. Jumlah unduhan Hugging Face adalah cuplikan bulanan bergulir dan berubah setiap hari. Angka Berkeley, Edinburgh, CHiME-6, DIHARD III, EEND-EDA, Interspeech 2019, dan AMIA 2022 adalah data terbaru yang tersedia untuk pengukuran spesifik masing-masing.
- Terakhir diperbarui: 27 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika makalah ringkasan tantangan Interspeech 2026 dan pembaruan tolok ukur kartu model pyannote berikutnya dipublikasikan.