CALLHOME telefon kıyaslamasında, iki konuşmacılı çağrılarda %8,50 DER alan aynı uçtan uca konuşmacı ayrıştırma sistemi, altı konuşmacılı çağrılarda %40,29 alıyor (Horiguchi ve diğerleri, EEND-EDA, Interspeech 2020). Konuşmacı ayrıştırma (diarization), “kim ne zaman konuştu” adımıdır: bir kaydı kesitlere böler ve her birini bir konuşmacıyla etiketler; bunu transkripsiyondan önce ya da onunla birlikte yapar. Seçilmiş kıyaslamalarda hızla gelişti: DIHARD Track 1 medyan hatası DIHARD I’de %30’un üzerindeyken DIHARD III’te %20’nin altına düştü (Ryant ve diğerleri, Third DIHARD Challenge 2021); ancak akşam yemeği partisi sesi CHiME-6’da yine de %62,0’lık bir temel DER üretti (Watanabe ve diğerleri, CHiME-6 Challenge genel bakışı 2020). DIHARD ve VoxSRC yarışma organizatörlerinden, CHiME-6, NOTSOFAR-1 ve DISPLACE yarışmalarından, ETH Zurich’in 2025 konuşmacı ayrıştırma kıyaslamasından, Brno University of Technology’den, pyannote projesinin model kartlarından ve hakemli klinik çalışmalardan veri derledik. Aynı işlem hattının kelime düzeyindeki tarafı için konuşma tanımada aksan yanlılığı ve kelime hata oranı derlememize bakın.
Aşağıdaki her sayıyı okurken bir not: DER (konuşmacı ayrıştırma hata oranı) düşük olması iyi olan bir değerdir ve iki sonuç ancak aynı kıyaslamayı, aynı tolerans penceresini (collar; her konuşmacı değişiminin etrafındaki kısa, puanlanmayan pencere) ve örtüşen konuşmaya ilişkin aynı kuralı paylaşıyorsa karşılaştırılabilir. Kaynak belirttiğinde her tablo düzeni de belirtir.
TL;DR
- Aynı sistem için CALLHOME DER, 2 konuşmacıda %8,50’den 6 konuşmacıda %40,29’a çıkıyor (Horiguchi ve diğerleri, Interspeech 2020).
- Medyan DIHARD Track 1 DER’i %30’un üzerinden (DIHARD I) %25’e (DIHARD II) ve %20’nin altına (DIHARD III) düştü (Ryant ve diğerleri, Third DIHARD Challenge 2021).
- VoxSRC kazananları YouTube sesinde 2020’de %3,71, 2023’te %4,30 DER aldı; her yıl temel sistemin kabaca yarısı (Huh ve diğerleri, VoxSRC geriye dönük değerlendirmesi, IEEE TASLP 2024).
- 0,25 s tolerans penceresini kaldırmak, aynı sistem için AMI DER’ini %9,8’den %15,4’e çıkarıyor (Han ve diğerleri, Brno University of Technology 2024).
- Tek mikrofonlu NIST toplantı verilerindeki hataların %33’ten fazlası bir konuşmacı değişiminin 0,5 s yakınında yer alıyor (Knox, UC Berkeley 2013).
- Toplantı kayıtlarındaki konuşmanın ortalama %12 ile %15’i örtüşüyor (Park ve diğerleri, Computer Speech and Language 2022).
- Doktor-hasta diyalogları sekiz sistemde ortalama %33,38 DER aldı; genel konuşmada bu oran %15,18 (Okocha ve diğerleri, 2025).
- CHiME-6 akşam yemeği partisi temel sistemi değerlendirme setinde %62,0 DER aldı (Watanabe ve diğerleri, CHiME-6 genel bakışı 2020).
- En iyi NOTSOFAR-1 toplantı sistemi, konuşmacıya atfedilmiş kelime hata oranını %28,3’lük temel değerden %10,8’e indirdi (Abramovski ve diğerleri, NOTSOFAR-1 özeti 2025).
- 2025 kıyaslamasındaki en hızlı model, sesi gerçek zamandan 214,3 kat daha hızlı işledi (Lanzendoerfer ve diğerleri, ETH Zurich 2025).
1. DER Neyi Ölçer ve Puanlama Düzeni Sayıyı Neden Oynatır
DER, üç tür süreyi toplar ve toplam referans konuşma miktarına böler: kaçırılan konuşma (biri konuştu, sistem sessizlik duydu), yanlış alarm (sistem, konuşma olmayan yerde konuşma işaretledi) ve konuşmacı karışması (konuşma tespit edildi ama yanlış kişiye verildi). pyannote 3.1 model kartı aritmetiği açıkça gösteriyor: AMI kulaklık sesinde %18,8’lik DER, %3,6 yanlış alarm artı %9,5 kaçırma artı %5,7 karışmadan oluşuyor.
Daha büyük tuzak tolerans penceresidir. NIST Rich Transcription değerlendirmelerinden beri çoğu makale her referans sınırının iki yanındaki 0,25 s’yi yok sayar, çünkü insan etiketleyiciler bir konuşma sırasının milisaniye olarak tam ne zaman başladığı konusunda nadiren anlaşır. Bu tek tercih, tolerans penceresiz değerin 5,6 puanını, yani %36’sını ortadan kaldırır: aynı Brno University of Technology sistemi AMI’de tolerans penceresi olmadan %15,4, tolerans penceresiyle %9,8 alır (Han ve diğerleri, 2024). Affedilen bölge, sistemlerin en çok başarısız olduğu yerdir; çünkü tüm hataların üçte biri veya daha fazlası bir konuşmacı değişiminin yarım saniye yakınında yer alır (Knox, UC Berkeley teknik raporu 2013).
| Metrik | Değer | Kaynak |
|---|---|---|
| Her referans segment sınırı etrafındaki standart puanlanmayan tolerans penceresi (RT tarzı puanlama) | 0,25 s, en yaygın kullanılan düzen olarak tanımlanıyor | Park ve diğerleri, Computer Speech and Language 2022 |
| DIHARD ve CHiME-6 puanlama kuralı | Tolerans penceresi yok, örtüşen konuşma puanlanır | Park ve diğerleri, Computer Speech and Language 2022 |
| AMI DER, BUT WavLM tabanlı sistem, tolerans penceresi yok karşı 0,25 s tolerans penceresi | %15,4 karşı %9,8 | Han ve diğerleri, Brno University of Technology 2024 |
| AliMeeting DER, aynı sistem, tolerans penceresi yok karşı 0,25 s tolerans penceresi | %17,6 karşı %10,2 | Han ve diğerleri, Brno University of Technology 2024 |
| AMI DER, pyannote 3 temel sistemi, tolerans penceresi yok karşı 0,25 s tolerans penceresi | %21,1 karşı %13,7 | Han ve diğerleri, Brno University of Technology 2024 |
| Konuşmacı değişiminin 0,5 s yakınındaki hataların payı, NIST RT-09 toplantıları, tek karşı birden çok uzak mikrofon | %33’ün üzerinde karşı %40 | Knox, UC Berkeley 2013 |
| AMI kulaklık karışımı DER, pyannote 3.1, yanlış alarm + kaçırma + karışma olarak ayrımı | %18,8 = %3,6 + %9,5 + %5,7 (proje tarafından bildirilen) | pyannote, speaker-diarization-3.1 model kartı |
Bağlam: Berkeley hata analizi, hata konumuna ilişkin mevcut en güncel veridir (Knox, UC Berkeley 2013). 2025 ETH kıyaslaması da aynı yönü gösteriyor: çoğu model için baskın hata türü kaçırılan konuşmaydı ve yazarlar, ortalaması yaklaşık 350 ms olan kaçırılan segmentleri, tüm konuşmaların duyulmamasına değil, başlangıç ve bitiş zamanlamasına bağlıyor (Lanzendoerfer ve diğerleri, Benchmarking Diarization Models 2025).
2. Kıyaslamaya Göre Son Teknoloji ve DER Ne Kadar Hızlı Düştü
İlerleme gerçek, ancak kıyaslamaya özgü. Kasıtlı olarak zor seçilmiş 11 alandan oluşan bir karışım olan DIHARD’da medyan Track 1 DER’i üç sürüm boyunca %30’un üzerinden %20’nin altına düştü (Ryant ve diğerleri, The Third DIHARD Diarization Challenge 2021). Track 1, sistemlere gerçek konuşma bölgelerini verir; Track 2 ise konuşmayı kendi başlarına bulmalarını ister, bu yüzden değerleri daha yüksektir.
Yayın tarzındaki YouTube sesinde VoxSRC kazananları yaklaşık %4 civarında, yani her yıl organizatörlerin temel sisteminin kabaca yarısı kadar (Huh ve diğerleri, The VoxCeleb Speaker Recognition Challenge: A Retrospective, IEEE TASLP 2024). Ancak 2020 ve 2023 kazananları bir zaman serisi değildir: test seti 232 dosyadan 413 dosyaya çıktı, dolayısıyla 2023’ün biraz daha yüksek değeri alanın geriye gittiği anlamına gelmez.
| Metrik | Değer | Kaynak |
|---|---|---|
| Medyan DIHARD Track 1 DER (gerçek konuşma bölgeleri verilir), DIHARD I karşı II karşı III | %30’un üzerinde karşı %25 karşı %20’nin altında | Ryant ve diğerleri, Third DIHARD Challenge 2021 |
| Medyan DIHARD Track 2 DER (sistem konuşmayı kendisi tespit eder), DIHARD I karşı III | %40 karşı %25’in altında | Ryant ve diğerleri, Third DIHARD Challenge 2021 |
| DIHARD III kazananı (USTC-NELSLIP), çekirdek değerlendirme seti, Track 1 karşı Track 2 | %13,45 karşı %19,37 (tolerans penceresi yok, örtüşen konuşma puanlanır) | DIHARD III yarışma sonuçları |
| VoxSRC konuşmacı ayrıştırma kategorisi, 2020 test seti, kazanan karşı temel sistem | %3,71 karşı %8,15 (0,25 s tolerans penceresi, örtüşen konuşma puanlanır) | Huh ve diğerleri, VoxSRC geriye dönük değerlendirmesi 2024 |
| VoxSRC konuşmacı ayrıştırma kategorisi, 2023 test seti, kazanan karşı temel sistem | %4,30 karşı %8,54 (0,25 s tolerans penceresi, örtüşen konuşma puanlanır) | Huh ve diğerleri, VoxSRC geriye dönük değerlendirmesi 2024 |
| CALLHOME DER, tüm çağrılar, uçtan uca EEND-EDA karşı x-vector kümeleme | %15,29 karşı %19,43 (0,25 s tolerans penceresi) | Horiguchi ve diğerleri, Interspeech 2020 |
| NIST RT-09 toplantılarında ICSI sisteminin ortalama DER’i, tek uzak mikrofon | %31,3 | Sinclair ve King, University of Edinburgh 2013 |
Bağlam: DIHARD III kazananının tüm değerlendirme setindeki DER’i Track 1’de %11,3 ve Track 2’de %16,78 idi; çekirdek sette temel sistemin değerleri ise %20,65 ve %27,34 idi (DIHARD III yarışma sonuçları). RT-09 değeri bu değerlendirme için mevcut en güncel veridir (Sinclair ve King, Where are the challenges in speaker diarization? 2013) ve DIHARD’dan farklı verilerden ve farklı bir dönemden geldiği için doğrudan bir öncesi-sonrası karşılaştırması olarak okunmamalıdır.
3. Örtüşen Konuşma ve Konuşmacı Sayısı: DER’in İki Büyük Belirleyicisi
Örtüşme köşe bir durum değildir. Toplantı kayıtlarındaki konuşmanın ortalama %12 ile %15’i örtüşür ve bu rakamı derleyen inceleme, günlük konuşmada bunun daha da artabileceğini not ediyor (Park ve diğerleri, A Review of Speaker Diarization, Computer Speech and Language 2022). Eski kümeleme işlem hatları her ana tam olarak bir konuşmacı verir; bu yüzden iki kişilik bir örtüşmede, başka herhangi bir hata olmadan önce puanlanan sürenin en az yarısı yanlıştır.
Konuşmacı sayısı sorunu büyütür. CALLHOME’da aynı EEND-EDA modeli, iki konuşmacılı çağrılarda %8,50 DER’den altı konuşmacılı çağrılarda %40,29’a çıkar (Horiguchi ve diğerleri, EEND-EDA, Interspeech 2020); katı bir konuşmacı sınırı olan modeller ise iki kez öder: dört konuşmacıyla sınırlı Sortformer ailesi, ETH kıyaslamasında kalabalık kayıtlarda daha fazla konuşmacı karışması gösterdi. Çok mikrofonlu kayıt yardımcı olur; bölüm 5’teki NOTSOFAR-1 toplantı sonuçlarının gösterdiği gibi, bu örüntü uzak alan hüzme şekillendirme ve uyandırma sözcüğü doğruluğu verilerimizde de görülüyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| Toplantı kayıtlarında örtüşen konuşmanın ortalama payı | %12 ile %15 arası | Park ve diğerleri, Computer Speech and Language 2022 |
| Ortalama örtüşme payı: AliMeeting karşı AMI karşı CALLHOME karşı VoxConverse | %19 karşı %15,94 karşı %12,58 karşı %3,52 | Lanzendoerfer ve diğerleri, ETH Zurich 2025 |
| CALLHOME DER, EEND-EDA, 2 karşı 3 karşı 4 konuşmacılı çağrılar | %8,50 karşı %13,24 karşı %21,46 | Horiguchi ve diğerleri, Interspeech 2020 |
| CALLHOME DER, EEND-EDA, 5 karşı 6 konuşmacılı çağrılar | %33,16 karşı %40,29 | Horiguchi ve diğerleri, Interspeech 2020 |
| CALLHOME DER, x-vector kümeleme, 2 karşı 6 konuşmacılı çağrılar | %15,45 karşı %34,27 | Horiguchi ve diğerleri, Interspeech 2020 |
| 4 konuşmacılı kayıtlarda DER: Sortformer (4 konuşmacı sınırı) karşı DiariZen | %21,3 karşı %12,7 (0,25 s tolerans penceresi, örtüşen konuşma puanlanır) | Lanzendoerfer ve diğerleri, ETH Zurich 2025 |
| Kayıt başına ortalama konuşmacı sayısı, VoxSRC 2020 test seti | Ortalama 675,6 s boyunca 6,5 konuşmacı | Huh ve diğerleri, VoxSRC geriye dönük değerlendirmesi 2024 |
Bağlam: tek başına konuşmacı sayısı puanı belirlemez. ETH kıyaslamasında en iyi sistem, 5 veya daha fazla konuşmacılı kayıtlarda %6,6, 4 konuşmacılı kayıtlarda ise %10,1 aldı; bu, örtüşmenin ve kayıt koşullarının kişi sayısı kadar önemli olduğunu hatırlatıyor. CALLHOME’daki 5 ve 6 konuşmacılı sonuçlar da az sayıda dosyaya dayanıyor: EEND-EDA yazarları, CALLHOME’da dörtten fazla konuşmacılı yalnızca on kayıt bulunduğunu not ediyor.
4. Alan Boşlukları: Klinik, Çocuk, Çok Dilli ve Kontrolsüz Gerçek Dünya Sesi
Toplantılar ve telefon görüşmeleri için ayarlanmış bir model, doğruluğunu bir kliniğe, bir aile evine ya da çevrimiçi videoya taşımaz. Sekiz konuşmacı ayrıştırma sisteminde, doktor-hasta diyalogları ortalama %33,38 DER alırken genel konuşmalarda bu oran %15,18 idi; bu 18,20 puanlık bir farktır (eşleştirilmiş t-testi p < 10⁻⁴) ve klinik cezanın çoğuna yanlış alarmlar yol açtı (Okocha ve diğerleri, Domain-Aware Speaker Diarization on African-Accented English 2025). Aksanlı konuşma üzerinde ince ayar yapmak bir açık modelin hatasını yarıya indirdi, ancak klinik fark kapanmadı, yalnızca küçüldü.
Çocuklar ayrı bir sınırdır. BabyHuBERT çalışmasında, çocuk merkezli tam gün kayıtları konuşmacı türüne göre (anahtar çocuk, diğer çocuklar, yetişkin erkekler, yetişkin kadınlar) F1 skoruyla puanlanır; burada yüksek değer daha iyidir ve 2026’nın en iyi modeli bile ikinci bir insan etiketleyicinin altında kalıyor (Charlot ve diğerleri, BabyHuBERT 2026). DIHARD III aynı zayıflığa dikkat çekti ve klinik görüşmelerdeki çocukları özel bir zorluk olarak belirtti.
| Metrik | Değer | Kaynak |
|---|---|---|
| DIHARD III medyan Track 1 DER, toplantı, web videosu ve restoran alanları | %35 ile %45 arası | Ryant ve diğerleri, Third DIHARD Challenge 2021 |
| DIHARD III DER, klinik görüşmeler ve telefon konuşması, Track 1 karşı Track 2 | Genellikle %10 ile %20 arası karşı %15 ile %25 arası | Ryant ve diğerleri, Third DIHARD Challenge 2021 |
| 8 sistemde ortalama DER, doktor-hasta karşı genel Afrika aksanlı İngilizce diyaloglar | %33,38 karşı %15,18 (tolerans penceresi yok, örtüşen konuşma puanlanır) | Okocha ve diğerleri, 2025 |
| pyannote DER, Afrika aksanlı konuşma üzerinde ince ayar öncesi karşı sonrası, tıbbi diyaloglar | %31,46 karşı %15,73 | Okocha ve diğerleri, 2025 |
| Çocuk merkezli kayıtlar, konuşmacı türleri genelinde ortalama F1: LENA karşı BabyHuBERT-VTC karşı ikinci insan etiketleyici | %40,8 karşı %65,1 karşı %69,8 (yüksek değer daha iyidir) | Charlot ve diğerleri, BabyHuBERT 2026 |
| Kontrolsüz gerçek dünya (in-the-wild) video kıyaslamaları Ego4D (geliştirme) ve AVA-AVD üzerinde DER, pyannote community-1 | %46,8 ve %44,6 (proje tarafından bildirilen, tolerans penceresi yok) | pyannote, community-1 model kartı 2025 |
| ETH kıyaslama veri kümelerinde dile göre DER, en iyi sistem (pyannoteAI), İspanyolca karşı İngilizce | %14,3 karşı %6,6 | Lanzendoerfer ve diğerleri, ETH Zurich 2025 |
| Çok dilli Hint konuşmaları (DISPLACE), aynı değerlendirme verisinde en iyi takım DER’i, 2023 karşı 2024 | %27,8 karşı %21,27 | Kalluri ve diğerleri, Second DISPLACE Challenge 2024 |
Bağlam: DISPLACE verileri, oturum başına 3 ila 5 katılımcıyla 9 Hint dilini ve Hint İngilizcesini kapsıyor (Kalluri ve diğerleri, The Second DISPLACE Challenge 2024). ETH yazarları dil farkını bazı diller için veri kıtlığına bağlıyor ve test ettikleri beş dil arasında İspanyolcayı en zoru olarak gösteriyor.
5. Gerçek Dünya Uygulamaları: Toplantılar, Çağrı Merkezleri ve Klinikler
Üretimde konuşmacı ayrıştırma hataları, yanlış kişiye atfedilmiş transkript satırları olarak ortaya çıkar; bu nedenle toplantı ve tıp çalışmaları sıklıkla kelime düzeyinde metrikler bildirir. Aşağıda ikisi yer alıyor: bir zaman penceresi içinde yanlış konuşmacıya atfedilen kelimeleri de sayan bir kelime hata oranı olan tcpWER ve yanlış konuşmacı etiketi verilen kelimelerin payı olan WDER. Şimdiye kadar kıyaslanan en zor ortamlardan biri akşam yemeği partisidir: CHiME-6 temel sistemi değerlendirme setinde %62,0 DER aldı ve organizatörler, yarışma kategorileri arasındaki kelime hata oranı farkının yaklaşık %15 mutlak kısmını esas olarak konuşmacı ayrıştırmaya bağlıyor (Watanabe ve diğerleri, CHiME-6 Challenge genel bakışı 2020).
Ofis toplantıları daha kolay ele alınır. 30 ortamda, her biri 4 ila 8 katılımcılı 315 gerçek toplantıdan oluşturulan NOTSOFAR-1’de en iyi çok kanallı sistem %10,8 tcpWER’e ulaştı (Abramovski ve diğerleri, Summary of the NOTSOFAR-1 Challenge, Computer Speech and Language 2025). Hukuki transkripsiyonun kendine özgü konuşmacı etiketleme riskleri vardır; bunları mahkeme salonu konuşma transkripsiyonu doğruluk istatistiklerimizde, konuşmacı hatalarının üzerinde yer alan metin hatalarını ise konuşma tanıma halüsinasyon verilerimizde ele aldık.
| Metrik | Değer | Kaynak |
|---|---|---|
| CHiME-6 akşam yemeği partisi temel DER’i, geliştirme karşı değerlendirme seti | %61,6 karşı %62,0 | Watanabe ve diğerleri, CHiME-6 genel bakışı 2020 |
| Esas olarak konuşmacı ayrıştırmaya bağlanan, yarışma kategorileri arasındaki CHiME-6 kelime hata oranı farkı | Yaklaşık %15 mutlak | Watanabe ve diğerleri, CHiME-6 genel bakışı 2020 |
| NOTSOFAR-1 toplantı transkripsiyonu, en iyi sistem karşı temel sistem tcpWER, çok kanallı | %10,8 karşı %28,3 | Abramovski ve diğerleri, NOTSOFAR-1 özeti 2025 |
| NOTSOFAR-1 toplantı transkripsiyonu, en iyi sistem karşı temel sistem tcpWER, tek kanallı | %22,2 karşı %41,4 | Abramovski ve diğerleri, NOTSOFAR-1 özeti 2025 |
| CALLHOME telefon DER’i, açık community-1 karşı ticari precision-2 | %26,7 karşı %16,6 (satıcı tarafından bildirilen, tolerans penceresi yok) | pyannote, community-1 model kartı 2025 |
| Dört ticari konuşma modelinde WDER, 36 birinci basamak konuşması | %1,8 ile %13,9 arası | Tran ve diğerleri, AMIA Annual Symposium 2022 |
| Hekim-hasta konuşmalarında WDER, geleneksel işlem hattı karşı ortak tanıma ve konuşmacı ayrıştırma modeli | %15,8 karşı %2,2 | El Shafey ve diğerleri, Interspeech 2019 |
Bağlam: birinci basamak kayıtları sessiz bir stüdyoda ana dili İngilizce olan iki kişi tarafından yeniden canlandırıldı; bu yüzden yazarlar rakamlarını gerçek klinik performansın olası bir üst sınırı olarak tanımlıyor (Tran ve diğerleri, AMIA Annual Symposium Proceedings 2022). Ortak model sonucu, herkese açık olmayan bir derlemden gelen mevcut en güncel veridir (El Shafey ve diğerleri, Interspeech 2019). precision-2 değeri, satıcının kendi ticari modeli için öne sürdüğü iddiadır.
6. Hız, Açık Modeller ve Araştırma Ölçeği
Doğruluk, bir dağıtım kararının yalnızca yarısıdır. ETH kıyaslamasındaki en hızlı sistem gerçek zamandan 214,3 kat daha hızlı çalıştı; bu, gerçek zamandan 20,2 kat hızlı çalışan ve genelde %13,3 DER alan açık DiariZen modelinin hızının on katından fazlasıdır (Lanzendoerfer ve diğerleri, ETH Zurich 2025). Bu denge, gece boyu çalışan bir toplu işten çok canlı altyazıda ağır basar.
Açık modeller yaygın olarak kullanılıyor. pyannote işlem hatları aylık milyonlarca indirme gösteriyor ve projenin kendi Eylül 2025 kıyaslaması, güncel açık sürümü için çoğu veri kümesinde eski sürümünden daha düşük DER bildiriyor; ticari katmanı ikisinin de önünde (pyannote, speaker-diarization-community-1 model kartı). Bu puanları proje tarafından bildirilmiş sayın: modelleri sunan aynı ekip tarafından çalıştırılıyorlar.
| Metrik | Değer | Kaynak |
|---|---|---|
| Gerçek zaman faktörü (real-time factor; ses uzunluğunun işlem süresine bölümü), Sortformer v2 karşı Sortformer v2 akış | 214,3x karşı 209,5x | Lanzendoerfer ve diğerleri, ETH Zurich 2025 |
| Gerçek zaman faktörü, açık pyannote karşı DiariZen | 45,0x karşı 20,2x | Lanzendoerfer ve diğerleri, ETH Zurich 2025 |
| ETH kıyaslaması genelinde toplam DER, pyannoteAI karşı DiariZen | %11,2 karşı %13,3 (0,25 s tolerans penceresi, örtüşen konuşma puanlanır) | Lanzendoerfer ve diğerleri, ETH Zurich 2025 |
| DIHARD 3 full DER, pyannote 3.1 karşı community-1 karşı precision-2 | %21,4 karşı %20,2 karşı %14,7 (proje ve satıcı tarafından bildirilen, tolerans penceresi yok) | pyannote, community-1 model kartı 2025 |
| Hugging Face’te aylık indirmeler, pyannote speaker-diarization-3.1 karşı community-1 | 6.886.119 karşı 5.051.937 (Ekim 2026’da görüntülendi) | Hugging Face model sayfaları |
| Katılımcılara sunulan NOTSOFAR-1 simüle eğitim verisi | Yaklaşık 1.000 saat | Abramovski ve diğerleri, NOTSOFAR-1 özeti 2025 |
| AMI Meeting Corpus boyutu | 100 saat, yaklaşık üçte ikisi rol yapılan tasarım toplantıları | University of Edinburgh, AMI Meeting Corpus |
Bağlam: hâlâ temel bir konuşmacı ayrıştırma kıyaslaması olan AMI Meeting Corpus, yakın konuşma ve uzak alan mikrofonlarını eşzamanlı kaydeder (University of Edinburgh, AMI Meeting Corpus). ETH kıyaslaması, yalnızca API erişimi bulunduğu için pyannoteAI’nin hızını ölçemedi.
Özet: Rakamlarla Konuşmacı Ayrıştırma Hata Oranı
| Metrik | Değer | Kaynak |
|---|---|---|
| CALLHOME DER, EEND-EDA, 2 karşı 6 konuşmacı (0,25 s tolerans penceresi) | %8,50 karşı %40,29 | Horiguchi ve diğerleri, Interspeech 2020 |
| CALLHOME DER, EEND-EDA karşı x-vector kümeleme, tüm çağrılar | %15,29 karşı %19,43 | Horiguchi ve diğerleri, Interspeech 2020 |
| Medyan DIHARD Track 1 DER, DIHARD I karşı III | %30’un üzerinde karşı %20’nin altında | Ryant ve diğerleri, Third DIHARD Challenge 2021 |
| DIHARD III kazananı, çekirdek değerlendirme seti, Track 1 karşı Track 2 | %13,45 karşı %19,37 | DIHARD III yarışma sonuçları |
| VoxSRC kazananı karşı temel sistem, 2023 test seti | %4,30 karşı %8,54 | Huh ve diğerleri, VoxSRC geriye dönük değerlendirmesi 2024 |
| AMI DER, aynı sistem, tolerans penceresi yok karşı 0,25 s tolerans penceresi | %15,4 karşı %9,8 | Han ve diğerleri, Brno University of Technology 2024 |
| Konuşmacı değişiminin 0,5 s yakınındaki hatalar, NIST RT-09, tek uzak mikrofon | %33’ün üzerinde | Knox, UC Berkeley 2013 |
| ICSI sistemi DER’i, NIST RT-09 tek uzak mikrofon | %31,3 | Sinclair ve King, University of Edinburgh 2013 |
| Toplantı kayıtlarında örtüşen konuşmanın payı | %12 ile %15 arası | Park ve diğerleri, Computer Speech and Language 2022 |
| Örtüşme payı, AliMeeting karşı AMI | %19 karşı %15,94 | Lanzendoerfer ve diğerleri, ETH Zurich 2025 |
| Doktor-hasta karşı genel diyalog DER’i, 8 sistem ortalaması | %33,38 karşı %15,18 | Okocha ve diğerleri, 2025 |
| Çocuk merkezli kayıtlar, ortalama F1, en iyi model karşı ikinci insan etiketleyici | %65,1 karşı %69,8 | Charlot ve diğerleri, BabyHuBERT 2026 |
| DISPLACE en iyi takım DER’i, 2023 karşı 2024 | %27,8 karşı %21,27 | Kalluri ve diğerleri, Second DISPLACE Challenge 2024 |
| CHiME-6 akşam yemeği partisi temel DER’i, değerlendirme seti | %62,0 | Watanabe ve diğerleri, CHiME-6 genel bakışı 2020 |
| NOTSOFAR-1 en iyi karşı temel sistem tcpWER, çok kanallı | %10,8 karşı %28,3 | Abramovski ve diğerleri, NOTSOFAR-1 özeti 2025 |
| WDER aralığı, dört ticari konuşma modeli, birinci basamak | %1,8 ile %13,9 arası | Tran ve diğerleri, AMIA Annual Symposium 2022 |
| Hugging Face’te pyannote 3.1 aylık indirmeleri | 6.886.119 | Hugging Face, pyannote speaker-diarization-3.1 model sayfası |
Metodoloji ve Kaynaklar
- Ryant ve diğerleri, The Third DIHARD Diarization Challenge (2021): 11 alan, DIHARD sürümleri genelinde medyanlar, alan başına aralıklar, tolerans penceresi olmadan ve örtüşen konuşma dahil puanlama.
- DIHARD III yarışma sonuçları: resmi Track 1 ve Track 2 sıralaması, çekirdek ve tam değerlendirme setleri.
- Huh ve diğerleri, The VoxCeleb Speaker Recognition Challenge: A Retrospective (IEEE TASLP 2024): konuşmacı ayrıştırma kategorisi kazananları ve temel sistemler, örtüşen konuşma puanlanarak 0,25 s tolerans penceresi.
- Horiguchi ve diğerleri, End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors (Interspeech 2020): konuşmacı sayısına göre CALLHOME DER.
- Han ve diğerleri, Leveraging Self-Supervised Learning for Speaker Diarization (Brno University of Technology, 2024): AMI, AISHELL-4 ve AliMeeting üzerinde 0 s karşı 0,25 s tolerans penceresi sonuçları.
- Lanzendoerfer ve diğerleri, Benchmarking Diarization Models (ETH Zurich, 2025): CALLHOME, VoxConverse, AMI ve AliMeeting genelinde yaklaşık 196,6 saat; örtüşme payları, dile ve konuşmacı sayısına göre DER, hız.
- Park ve diğerleri, A Review of Speaker Diarization: Recent Advances with Deep Learning (Computer Speech and Language, 2022): tolerans penceresi gelenekleri ve toplantılardaki örtüşme payı.
- Knox, Speaker Diarization: Current Limitations and New Directions (UC Berkeley teknik raporu, 2013): NIST RT-09 üzerinde konuşmacı değişimlerine göre hata konumu.
- Sinclair ve King, Where are the challenges in speaker diarization? (University of Edinburgh, 2013): RT-09 toplantı DER’i.
- Watanabe ve diğerleri, CHiME-6 Challenge genel bakışı (2020): akşam yemeği partisi temel DER’i ve kelime hata farkında konuşmacı ayrıştırmanın payı.
- Abramovski ve diğerleri, Summary of the NOTSOFAR-1 Challenge (Computer Speech and Language, 2025): toplantı veri kümesi ve tcpWER sonuçları.
- Kalluri ve diğerleri, The Second DISPLACE Challenge (2024): çok dilli konuşma tabanlı konuşmacı ayrıştırma sonuçları.
- Okocha ve diğerleri, Domain-Aware Speaker Diarization on African-Accented English (2025): sekiz sistemde klinik karşı genel DER.
- Charlot ve diğerleri, BabyHuBERT (2026): çocuk merkezli uzun kayıtlarda konuşmacı bölütleme.
- Tran ve diğerleri, Automatic speech recognition performance for digital scribes (AMIA Annual Symposium Proceedings, 2022): birinci basamak konuşmalarında WDER.
- El Shafey ve diğerleri, Joint Speech Recognition and Speaker Diarization via Sequence Transduction (Interspeech 2019): hekim-hasta konuşmalarında WDER.
- pyannote, speaker-diarization-3.1 model kartı ve pyannote, speaker-diarization-community-1 model kartı: proje tarafından bildirilen DER (tolerans penceresi yok, örtüşen konuşma puanlanır), indirme sayıları; precision-2 değerleri, ticari bir model için satıcının kendi iddialarıdır.
- University of Edinburgh, AMI Meeting Corpus: derlem boyutu ve kayıt düzeni.
- Veri notu: DER değerleri yalnızca tek bir kıyaslama ve tek bir puanlama düzeni içinde karşılaştırılabilir; VoxSRC 0,25 s tolerans penceresi kullanırken DIHARD, pyannote model kartları ve Afrika aksanlı klinik çalışma hiç kullanmaz, bu yüzden VoxSRC’nin %4,30’unu DIHARD’ın %13,45’iyle karşılaştırmayın. pyannote 3.1 model kartı DIHARD 3 full için %21,7 verirken daha yeni community-1 kartı aynı eski işlem hattı için %21,4 veriyor; bu, değerlendirme güncellemelerinden kaynaklanan küçük bir tutarsızlıktır ve sürüm karşılaştırmaları için community-1 tablosunu kullanıyoruz. VoxSRC geriye dönük değerlendirmesinin 2021 ve 2022 satırları tablo ile metin arasında kendi içinde tutarsız, bu yüzden yalnızca 2020 ve 2023’ü bildiriyoruz. Afrika aksanlı klinik çalışmanın bileşen başına hata tablosu, belirtilen tıbbi DER’e tam olarak toplanmıyor, bu yüzden yalnızca ana ortalamaları aktarıyoruz. NOTSOFAR-1 özeti, bir tabloda tek kanallı ve çok kanallı en iyi sonuçlarını tutarsız etiketliyor; biz, %51’lik göreli iyileştirmesi yukarıdaki rakamlarla örtüşen metni izliyoruz. Hugging Face indirme sayıları kayan bir aylık anlık görüntüdür ve her gün değişir. Berkeley, Edinburgh, CHiME-6, DIHARD III, EEND-EDA, Interspeech 2019 ve AMIA 2022 rakamları, kendi özel ölçümleri için mevcut en güncel verilerdir.
- Son güncelleme: 27 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz ve bir sonraki yenilemenin, Interspeech 2026 yarışma özet makaleleri ile bir sonraki pyannote model kartı kıyaslama güncellemesi yayımlandığında yapılması bekleniyor.