W teście porównawczym rozmów telefonicznych CALLHOME ten sam kompleksowy system diaryzacji, który osiąga 8,50% DER w rozmowach dwuosobowych, w rozmowach sześcioosobowych osiąga 40,29% (Horiguchi i in., EEND-EDA, Interspeech 2020). Diaryzacja mówców to etap ‘kto mówił i kiedy’: dzieli nagranie na fragmenty i oznacza każdy z nich etykietą mówcy, przed transkrypcją lub równolegle z nią. Na wyselekcjonowanych testach porównawczych szybko się poprawiła, a mediana błędu w ścieżce 1 DIHARD spadła z ponad 30% w DIHARD I do poniżej 20% w DIHARD III (Ryant i in., Third DIHARD Challenge 2021), jednak nagrania z przyjęcia przy kolacji nadal dawały bazowy DER równy 62,0% w CHiME-6 (Watanabe i in., przegląd wyzwania CHiME-6 2020). Zebraliśmy dane od organizatorów wyzwań DIHARD i VoxSRC, z wyzwań CHiME-6, NOTSOFAR-1 i DISPLACE, z testu porównawczego diaryzacji ETH Zurich z 2025 roku, od Brno University of Technology, z kart modeli projektu pyannote oraz z recenzowanych badań klinicznych. O stronie tego samego potoku dotyczącej słów piszemy w naszym zestawieniu o stronniczości rozpoznawania mowy wobec akcentów i współczynniku błędów słów.
Uwaga o czytaniu każdej poniższej liczby: DER (współczynnik błędów diaryzacji) jest tym lepszy, im niższy, i można porównywać go tylko wtedy, gdy dwa wyniki dotyczą tego samego testu porównawczego, tego samego okna tolerancji (collar, czyli krótkiego okna bez oceny wokół każdej zmiany mówcy) i tej samej reguły dla mowy nakładającej się. Każda tabela podaje konfigurację, jeśli źródło ją ujawnia.
TL;DR
- DER w CALLHOME rośnie z 8,50% przy 2 mówcach do 40,29% przy 6 mówcach dla tego samego systemu (Horiguchi i in., Interspeech 2020).
- Mediana DER w ścieżce 1 DIHARD spadła z ponad 30% (DIHARD I) do 25% (DIHARD II) i poniżej 20% (DIHARD III) (Ryant i in., Third DIHARD Challenge 2021).
- Zwycięzcy VoxSRC uzyskali 3,71% DER w 2020 roku i 4,30% w 2023 roku na nagraniach z YouTube, czyli mniej więcej połowę wyniku bazowego w każdym roku (Huh i in., retrospektywa VoxSRC, IEEE TASLP 2024).
- Usunięcie okna tolerancji 0,25 s podnosi DER w AMI z 9,8% do 15,4% dla tego samego systemu (Han i in., Brno University of Technology 2024).
- Ponad 33% błędów w danych spotkań NIST z jednym mikrofonem przypada w odległości do 0,5 s od zmiany mówcy (Knox, UC Berkeley 2013).
- Średnio od 12% do 15% mowy w nagraniach spotkań się nakłada (Park i in., Computer Speech and Language 2022).
- Dialogi lekarz-pacjent miały średni DER 33,38% wobec 15,18% w rozmowach ogólnych w ośmiu systemach (Okocha i in., 2025).
- Bazowy wynik dla przyjęcia przy kolacji w CHiME-6 to 62,0% DER na zbiorze ewaluacyjnym (Watanabe i in., przegląd CHiME-6 2020).
- Najlepszy system spotkań w NOTSOFAR-1 obniżył współczynnik błędów słów przypisanych do mówców do 10,8% z bazowych 28,3% (Abramovski i in., podsumowanie NOTSOFAR-1 2025).
- Najszybszy model w teście porównawczym z 2025 roku przetwarzał dźwięk 214,3 raza szybciej niż w czasie rzeczywistym (Lanzendoerfer i in., ETH Zurich 2025).
1. Co mierzy DER i dlaczego sposób oceny zmienia liczbę
DER sumuje trzy rodzaje czasu i dzieli je przez całkowitą ilość mowy referencyjnej: pominiętą mowę (ktoś mówił, a system usłyszał ciszę), fałszywy alarm (system oznaczył mowę tam, gdzie jej nie było) oraz pomylenie mówców (mowa została wykryta, ale przypisana niewłaściwej osobie). Karta modelu pyannote 3.1 pokazuje to rachunkowo: na nagraniach z mikrofonów nagłownych AMI jego 18,8% DER to 3,6% fałszywego alarmu plus 9,5% pominięć plus 5,7% pomylenia.
Większą pułapką jest okno tolerancji. Od ewaluacji NIST Rich Transcription większość prac pomija 0,25 s po każdej stronie każdej granicy referencyjnej, ponieważ ludzcy adnotatorzy rzadko zgadzają się co do dokładnej milisekundy rozpoczęcia wypowiedzi. Ten jeden wybór usuwa 5,6 punktu, czyli 36% wartości bez okna: ten sam system z Brno University of Technology uzyskuje 15,4% na AMI bez okna tolerancji i 9,8% z oknem (Han i in., 2024). Wybaczana strefa to dokładnie to miejsce, w którym systemy zawodzą najczęściej, ponieważ jedna trzecia lub więcej wszystkich błędów przypada w odległości do pół sekundy od zmiany mówcy (Knox, raport techniczny UC Berkeley 2013).
| Metryka | Wartość | Źródło |
|---|---|---|
| Standardowe okno tolerancji bez oceny wokół każdej granicy segmentu referencyjnego (ocena w stylu RT) | 0,25 s, opisane jako najpowszechniej stosowany schemat | Park i in., Computer Speech and Language 2022 |
| Zasada oceny w DIHARD i CHiME-6 | Bez okna tolerancji, mowa nakładająca się oceniana | Park i in., Computer Speech and Language 2022 |
| DER w AMI, system BUT oparty na WavLM, bez okna tolerancji wobec okna 0,25 s | 15,4% wobec 9,8% | Han i in., Brno University of Technology 2024 |
| DER w AliMeeting, ten sam system, bez okna tolerancji wobec okna 0,25 s | 17,6% wobec 10,2% | Han i in., Brno University of Technology 2024 |
| DER w AMI, punkt odniesienia pyannote 3, bez okna tolerancji wobec okna 0,25 s | 21,1% wobec 13,7% | Han i in., Brno University of Technology 2024 |
| Udział błędów w odległości do 0,5 s od zmiany mówcy, spotkania NIST RT-09, jeden wobec wielu odległych mikrofonów | Ponad 33% wobec 40% | Knox, UC Berkeley 2013 |
| DER w AMI dla miksu z mikrofonów nagłownych, pyannote 3.1, rozbity na fałszywy alarm + pominięcia + pomylenie | 18,8% = 3,6% + 9,5% + 5,7% (dane podane przez projekt) | pyannote, karta modelu speaker-diarization-3.1 |
Kontekst: analiza błędów z Berkeley to najnowsze dostępne dane o położeniu błędów (Knox, UC Berkeley 2013). Test porównawczy ETH z 2025 roku wskazuje ten sam kierunek: pominięta mowa była dominującym rodzajem błędu w większości modeli, a autorzy przypisują pominięte segmenty, średnio około 350 ms, czasowi rozpoczęcia i zakończenia wypowiedzi, a nie temu, że całe wypowiedzi zostały niesłyszane (Lanzendoerfer i in., Benchmarking Diarization Models 2025).
2. Stan wiedzy według testów porównawczych i tempo spadku DER
Postęp jest realny, ale zależy od testu. W DIHARD, celowo trudnej mieszance 11 dziedzin, mediana DER w ścieżce 1 spadła z ponad 30% do poniżej 20% w trzech edycjach (Ryant i in., The Third DIHARD Diarization Challenge 2021). Ścieżka 1 daje systemom prawdziwe obszary mowy, a ścieżka 2 każe im samodzielnie wykrywać mowę, dlatego jej wartości są wyższe.
Na nagraniach z YouTube w stylu nadawczym zwycięzcy VoxSRC plasują się na poziomie około 4%, czyli około połowy wyniku bazowego organizatorów w każdym roku (Huh i in., The VoxCeleb Speaker Recognition Challenge: A Retrospective, IEEE TASLP 2024). Zwycięzcy z 2020 i 2023 roku nie tworzą jednak szeregu czasowego: zbiór testowy urósł z 232 do 413 plików, więc nieco wyższy wynik z 2023 roku nie oznacza, że dziedzina się cofnęła.
| Metryka | Wartość | Źródło |
|---|---|---|
| Mediana DER w ścieżce 1 DIHARD (podane prawdziwe obszary mowy), DIHARD I wobec II wobec III | Ponad 30% wobec 25% wobec poniżej 20% | Ryant i in., Third DIHARD Challenge 2021 |
| Mediana DER w ścieżce 2 DIHARD (system sam wykrywa mowę), DIHARD I wobec III | 40% wobec poniżej 25% | Ryant i in., Third DIHARD Challenge 2021 |
| Zwycięzca DIHARD III (USTC-NELSLIP), główny zbiór ewaluacyjny, ścieżka 1 wobec ścieżki 2 | 13,45% wobec 19,37% (bez okna tolerancji, mowa nakładająca się oceniana) | Wyniki wyzwania DIHARD III |
| Ścieżka diaryzacji VoxSRC, zbiór testowy 2020, zwycięzca wobec wyniku bazowego | 3,71% wobec 8,15% (okno tolerancji 0,25 s, mowa nakładająca się oceniana) | Huh i in., retrospektywa VoxSRC 2024 |
| Ścieżka diaryzacji VoxSRC, zbiór testowy 2023, zwycięzca wobec wyniku bazowego | 4,30% wobec 8,54% (okno tolerancji 0,25 s, mowa nakładająca się oceniana) | Huh i in., retrospektywa VoxSRC 2024 |
| DER w CALLHOME, wszystkie rozmowy, kompleksowy EEND-EDA wobec klasteryzacji x-vector | 15,29% wobec 19,43% (okno tolerancji 0,25 s) | Horiguchi i in., Interspeech 2020 |
| Średni DER systemu ICSI na spotkaniach NIST RT-09, jeden odległy mikrofon | 31,3% | Sinclair i King, University of Edinburgh 2013 |
Kontekst: DER zwycięzcy DIHARD III na pełnym zbiorze ewaluacyjnym wyniósł 11,3% w ścieżce 1 i 16,78% w ścieżce 2, wobec wyniku bazowego 20,65% i 27,34% na zbiorze głównym (wyniki wyzwania DIHARD III). Wartość z RT-09 to najnowsze dostępne dane dla tej ewaluacji (Sinclair i King, Where are the challenges in speaker diarization? 2013), pochodzą one z innych danych i innej epoki niż DIHARD, więc nie należy ich czytać jako bezpośredniego porównania przed i po.
3. Nakładająca się mowa i liczba mówców: dwa największe czynniki DER
Nakładanie się mowy nie jest przypadkiem brzegowym. Średnio od 12% do 15% mowy w nagraniach spotkań się nakłada, a przegląd, który zebrał tę wartość, zauważa, że w codziennej rozmowie może być ona jeszcze wyższa (Park i in., A Review of Speaker Diarization, Computer Speech and Language 2022). Starsze potoki oparte na klasteryzacji przypisują każdej chwili dokładnie jednego mówcę, więc przy nakładaniu się dwóch osób co najmniej połowa ocenianego czasu jest błędna, zanim pojawi się jakikolwiek inny błąd.
Liczba mówców pogłębia problem. W CALLHOME ten sam model EEND-EDA przechodzi od 8,50% DER w rozmowach dwuosobowych do 40,29% w sześcioosobowych (Horiguchi i in., EEND-EDA, Interspeech 2020), a modele z twardym limitem mówców płacą podwójnie: rodzina Sortformer, ograniczona do czterech mówców, wykazała w teście ETH więcej pomyleń mówców w zatłoczonych nagraniach. Pomaga nagrywanie wieloma mikrofonami, jak pokazują wyniki spotkań NOTSOFAR-1 w sekcji 5, a ten sam wzorzec widać w naszych danych o formowaniu wiązki w polu dalekim i dokładności słowa wybudzającego.
| Metryka | Wartość | Źródło |
|---|---|---|
| Średni udział mowy nakładającej się w nagraniach spotkań | 12% do 15% | Park i in., Computer Speech and Language 2022 |
| Średni udział nakładania: AliMeeting wobec AMI wobec CALLHOME wobec VoxConverse | 19% wobec 15,94% wobec 12,58% wobec 3,52% | Lanzendoerfer i in., ETH Zurich 2025 |
| DER w CALLHOME, EEND-EDA, rozmowy z 2 wobec 3 wobec 4 mówcami | 8,50% wobec 13,24% wobec 21,46% | Horiguchi i in., Interspeech 2020 |
| DER w CALLHOME, EEND-EDA, rozmowy z 5 wobec 6 mówcami | 33,16% wobec 40,29% | Horiguchi i in., Interspeech 2020 |
| DER w CALLHOME, klasteryzacja x-vector, rozmowy z 2 wobec 6 mówcami | 15,45% wobec 34,27% | Horiguchi i in., Interspeech 2020 |
| DER w nagraniach z 4 mówcami: Sortformer (limit 4 mówców) wobec DiariZen | 21,3% wobec 12,7% (okno tolerancji 0,25 s, mowa nakładająca się oceniana) | Lanzendoerfer i in., ETH Zurich 2025 |
| Średnia liczba mówców w nagraniu, zbiór testowy VoxSRC 2020 | 6,5 mówcy w nagraniu o średniej długości 675,6 s | Huh i in., retrospektywa VoxSRC 2024 |
Kontekst: sama liczba mówców nie przesądza o wyniku. W teście ETH najlepszy system uzyskał 6,6% w nagraniach z 5 lub więcej mówcami, ale 10,1% w nagraniach z 4 mówcami, co przypomina, że nakładanie się mowy i warunki nagrania liczą się tak samo jak liczba osób. Wyniki CALLHOME dla 5 i 6 mówców opierają się ponadto na niewielu plikach: autorzy EEND-EDA zaznaczają, że CALLHOME ma tylko dziesięć nagrań z więcej niż czterema mówcami.
4. Luki między dziedzinami: nagrania kliniczne, dziecięce, wielojęzyczne i z naturalnych warunków
Model dostrojony do spotkań i rozmów telefonicznych nie przenosi swojej dokładności do gabinetu, domu rodzinnego ani wideo online. W ośmiu systemach diaryzacji dialogi lekarz-pacjent miały średni DER 33,38%, wobec 15,18% w rozmowach ogólnych, czyli lukę 18,20 punktu procentowego (test t dla prób zależnych, p < 10⁻⁴), a większość kary w warunkach klinicznych spowodowały fałszywe alarmy (Okocha i in., Domain-Aware Speaker Diarization on African-Accented English 2025). Dostrojenie na mowie z akcentem zmniejszyło błąd jednego z otwartych modeli o połowę, ale luka kliniczna się zmniejszyła, a nie zniknęła.
Dzieci to osobna granica. W badaniu BabyHuBERT całodniowe nagrania skoncentrowane na dziecku są oceniane dla każdego typu mówcy (dziecko kluczowe, inne dzieci, dorośli mężczyźni, dorosłe kobiety) miarą F1, w której wyższa wartość jest lepsza, a najlepszy model z 2026 roku nadal plasuje się poniżej drugiego adnotatora ludzkiego (Charlot i in., BabyHuBERT 2026). DIHARD III wskazał tę samą słabość, wyróżniając dzieci w wywiadach klinicznych jako szczególne wyzwanie.
| Metryka | Wartość | Źródło |
|---|---|---|
| Mediana DER w ścieżce 1 DIHARD III, dziedziny: spotkania, wideo internetowe i restauracje | 35% do 45% | Ryant i in., Third DIHARD Challenge 2021 |
| DER w DIHARD III, wywiady kliniczne i mowa telefoniczna, ścieżka 1 wobec ścieżki 2 | Zazwyczaj 10% do 20% wobec 15% do 25% | Ryant i in., Third DIHARD Challenge 2021 |
| Średni DER w 8 systemach, dialogi lekarz-pacjent wobec ogólnych dialogów w angielszczyźnie z afrykańskim akcentem | 33,38% wobec 15,18% (bez okna tolerancji, mowa nakładająca się oceniana) | Okocha i in., 2025 |
| DER pyannote przed dostrojeniem wobec po dostrojeniu na mowie z afrykańskim akcentem, dialogi medyczne | 31,46% wobec 15,73% | Okocha i in., 2025 |
| Nagrania skoncentrowane na dziecku, średnie F1 dla typów mówców: LENA wobec BabyHuBERT-VTC wobec drugiego adnotatora ludzkiego | 40,8% wobec 65,1% wobec 69,8% (wyżej znaczy lepiej) | Charlot i in., BabyHuBERT 2026 |
| DER w testach wideo z naturalnych warunków Ego4D (dev) i AVA-AVD, pyannote community-1 | 46,8% i 44,6% (dane podane przez projekt, bez okna tolerancji) | pyannote, karta modelu community-1 2025 |
| DER według języka w zbiorach testu ETH, najlepszy system (pyannoteAI), hiszpański wobec angielskiego | 14,3% wobec 6,6% | Lanzendoerfer i in., ETH Zurich 2025 |
| Wielojęzyczne rozmowy indyjskie (DISPLACE), DER najlepszej drużyny na tych samych danych ewaluacyjnych, 2023 wobec 2024 | 27,8% wobec 21,27% | Kalluri i in., Second DISPLACE Challenge 2024 |
Kontekst: dane DISPLACE obejmują 9 języków indyjskich oraz angielski indyjski, z 3 do 5 uczestnikami na sesję (Kalluri i in., The Second DISPLACE Challenge 2024). Autorzy ETH wiążą lukę językową z niedoborem danych dla niektórych języków i wskazują hiszpański jako najtrudniejszy z pięciu przetestowanych.
5. Wdrożenia w świecie rzeczywistym: spotkania, call center i gabinety
W produkcji błędy diaryzacji objawiają się liniami transkrypcji przypisanymi niewłaściwej osobie, dlatego badania spotkań i medyczne często podają miary na poziomie słów. Poniżej pojawiają się dwie: tcpWER, współczynnik błędów słów, który liczy także słowa przypisane niewłaściwemu mówcy w oknie czasowym, oraz WDER, udział słów, którym nadano złą etykietę mówcy. Jednym z najtrudniejszych kiedykolwiek testowanych środowisk jest przyjęcie przy kolacji: bazowy wynik CHiME-6 to 62,0% DER na jego zbiorze ewaluacyjnym, a organizatorzy przypisują około 15% bezwzględnej różnicy współczynnika błędów słów między ścieżkami wyzwania głównie diaryzacji (Watanabe i in., przegląd wyzwania CHiME-6 2020).
Spotkania biurowe są łatwiejsze. W NOTSOFAR-1, zbudowanym z 315 prawdziwych spotkań po 4 do 8 uczestników w 30 środowiskach, najlepszy system wielokanałowy osiągnął 10,8% tcpWER (Abramovski i in., Summary of the NOTSOFAR-1 Challenge, Computer Speech and Language 2025). Transkrypcja prawnicza ma własną stawkę w etykietowaniu mówców, o czym piszemy w statystykach dokładności transkrypcji mowy na sali sądowej, a błędy tekstu, które nakładają się na błędy mówców, omawiają nasze dane o halucynacjach rozpoznawania mowy.
| Metryka | Wartość | Źródło |
|---|---|---|
| Bazowy DER dla przyjęcia przy kolacji w CHiME-6, zbiór deweloperski wobec ewaluacyjnego | 61,6% wobec 62,0% | Watanabe i in., przegląd CHiME-6 2020 |
| Różnica współczynnika błędów słów między ścieżkami w CHiME-6 przypisywana głównie diaryzacji | Około 15% bezwzględnie | Watanabe i in., przegląd CHiME-6 2020 |
| Transkrypcja spotkań NOTSOFAR-1, tcpWER najlepszego systemu wobec wyniku bazowego, wielokanałowo | 10,8% wobec 28,3% | Abramovski i in., podsumowanie NOTSOFAR-1 2025 |
| Transkrypcja spotkań NOTSOFAR-1, tcpWER najlepszego systemu wobec wyniku bazowego, jednokanałowo | 22,2% wobec 41,4% | Abramovski i in., podsumowanie NOTSOFAR-1 2025 |
| DER w rozmowach telefonicznych CALLHOME, otwarty community-1 wobec komercyjnego precision-2 | 26,7% wobec 16,6% (dane podane przez dostawcę, bez okna tolerancji) | pyannote, karta modelu community-1 2025 |
| WDER w czterech komercyjnych modelach mowy, 36 rozmów z podstawowej opieki zdrowotnej | 1,8% do 13,9% | Tran i in., AMIA Annual Symposium 2022 |
| WDER w rozmowach lekarz-pacjent, konwencjonalny potok wobec wspólnego modelu rozpoznawania i diaryzacji | 15,8% wobec 2,2% | El Shafey i in., Interspeech 2019 |
Kontekst: nagrania z podstawowej opieki zdrowotnej zostały odtworzone przez dwóch rodzimych użytkowników angielskiego w cichym studiu, więc autorzy opisują swoje wartości jako prawdopodobną górną granicę wyników w prawdziwych gabinetach (Tran i in., AMIA Annual Symposium Proceedings 2022). Wynik wspólnego modelu to najnowsze dostępne dane z korpusu, który nie jest publiczny (El Shafey i in., Interspeech 2019). Wartość precision-2 to deklaracja samego dostawcy dla jego modelu komercyjnego.
6. Szybkość, modele otwarte i skala badań
Dokładność to tylko połowa decyzji wdrożeniowej. Najszybszy system w teście ETH działał 214,3 raza szybciej niż w czasie rzeczywistym, ponad dziesięciokrotnie szybciej niż otwarty model DiariZen, który działał 20,2 raza szybciej niż w czasie rzeczywistym i uzyskał łącznie 13,3% DER (Lanzendoerfer i in., ETH Zurich 2025). Ten kompromis waży znacznie więcej przy napisach na żywo niż przy nocnym przetwarzaniu wsadowym.
Modele otwarte są szeroko używane. Potoki pyannote mają miliony pobrań miesięcznie, a własny test projektu z września 2025 roku podaje niższy DER dla obecnego wydania otwartego niż dla starszego na większości zbiorów, przy czym poziom komercyjny wyprzedza oba (pyannote, karta modelu speaker-diarization-community-1). Te wyniki należy traktować jako podane przez projekt: uruchamia je ten sam zespół, który dostarcza modele.
| Metryka | Wartość | Źródło |
|---|---|---|
| Współczynnik czasu rzeczywistego (długość dźwięku podzielona przez czas przetwarzania), Sortformer v2 wobec Sortformer v2 w trybie strumieniowym | 214,3x wobec 209,5x | Lanzendoerfer i in., ETH Zurich 2025 |
| Współczynnik czasu rzeczywistego, otwarty pyannote wobec DiariZen | 45,0x wobec 20,2x | Lanzendoerfer i in., ETH Zurich 2025 |
| Łączny DER w teście ETH, pyannoteAI wobec DiariZen | 11,2% wobec 13,3% (okno tolerancji 0,25 s, mowa nakładająca się oceniana) | Lanzendoerfer i in., ETH Zurich 2025 |
| DER w DIHARD 3 full, pyannote 3.1 wobec community-1 wobec precision-2 | 21,4% wobec 20,2% wobec 14,7% (dane podane przez projekt i dostawcę, bez okna tolerancji) | pyannote, karta modelu community-1 2025 |
| Pobrania miesięczne na Hugging Face, pyannote speaker-diarization-3.1 wobec community-1 | 6 886 119 wobec 5 051 937 (odczyt w październiku 2026) | Strony modeli Hugging Face |
| Symulowane dane treningowe NOTSOFAR-1 udostępnione uczestnikom | Około 1000 godzin | Abramovski i in., podsumowanie NOTSOFAR-1 2025 |
| Rozmiar AMI Meeting Corpus | 100 godzin, około dwie trzecie to odgrywane role spotkania projektowe | University of Edinburgh, AMI Meeting Corpus |
Kontekst: AMI Meeting Corpus, nadal podstawowy test diaryzacji, rejestruje synchronicznie mikrofony bliskie i dalekiego pola (University of Edinburgh, AMI Meeting Corpus). Test ETH nie mógł zmierzyć szybkości pyannoteAI, ponieważ dostępny był tylko dostęp przez API.
Podsumowanie: współczynnik błędów diaryzacji mówców w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| DER w CALLHOME, EEND-EDA, 2 wobec 6 mówców (okno tolerancji 0,25 s) | 8,50% wobec 40,29% | Horiguchi i in., Interspeech 2020 |
| DER w CALLHOME, EEND-EDA wobec klasteryzacji x-vector, wszystkie rozmowy | 15,29% wobec 19,43% | Horiguchi i in., Interspeech 2020 |
| Mediana DER w ścieżce 1 DIHARD, DIHARD I wobec III | Ponad 30% wobec poniżej 20% | Ryant i in., Third DIHARD Challenge 2021 |
| Zwycięzca DIHARD III, główny zbiór ewaluacyjny, ścieżka 1 wobec ścieżki 2 | 13,45% wobec 19,37% | Wyniki wyzwania DIHARD III |
| Zwycięzca VoxSRC wobec wyniku bazowego, zbiór testowy 2023 | 4,30% wobec 8,54% | Huh i in., retrospektywa VoxSRC 2024 |
| DER w AMI, ten sam system, bez okna tolerancji wobec okna 0,25 s | 15,4% wobec 9,8% | Han i in., Brno University of Technology 2024 |
| Błędy w odległości do 0,5 s od zmiany mówcy, NIST RT-09, jeden odległy mikrofon | Ponad 33% | Knox, UC Berkeley 2013 |
| DER systemu ICSI, NIST RT-09, jeden odległy mikrofon | 31,3% | Sinclair i King, University of Edinburgh 2013 |
| Udział mowy nakładającej się w nagraniach spotkań | 12% do 15% | Park i in., Computer Speech and Language 2022 |
| Udział nakładania, AliMeeting wobec AMI | 19% wobec 15,94% | Lanzendoerfer i in., ETH Zurich 2025 |
| DER w dialogach lekarz-pacjent wobec ogólnych, średnia z 8 systemów | 33,38% wobec 15,18% | Okocha i in., 2025 |
| Nagrania skoncentrowane na dziecku, średnie F1, najlepszy model wobec drugiego adnotatora ludzkiego | 65,1% wobec 69,8% | Charlot i in., BabyHuBERT 2026 |
| DER najlepszej drużyny DISPLACE, 2023 wobec 2024 | 27,8% wobec 21,27% | Kalluri i in., Second DISPLACE Challenge 2024 |
| Bazowy DER dla przyjęcia przy kolacji w CHiME-6, zbiór ewaluacyjny | 62,0% | Watanabe i in., przegląd CHiME-6 2020 |
| tcpWER w NOTSOFAR-1, najlepszy system wobec wyniku bazowego, wielokanałowo | 10,8% wobec 28,3% | Abramovski i in., podsumowanie NOTSOFAR-1 2025 |
| Zakres WDER, cztery komercyjne modele mowy, podstawowa opieka zdrowotna | 1,8% do 13,9% | Tran i in., AMIA Annual Symposium 2022 |
| Pobrania miesięczne pyannote 3.1 na Hugging Face | 6 886 119 | Hugging Face, strona modelu pyannote speaker-diarization-3.1 |
Metodologia i źródła
- Ryant et al., The Third DIHARD Diarization Challenge (2021): 11 dziedzin, mediany w edycjach DIHARD, zakresy według dziedzin, ocena bez okien tolerancji i z uwzględnieniem mowy nakładającej się.
- Wyniki wyzwania DIHARD III: oficjalny ranking ścieżki 1 i ścieżki 2, główny i pełny zbiór ewaluacyjny.
- Huh et al., The VoxCeleb Speaker Recognition Challenge: A Retrospective (IEEE TASLP 2024): zwycięzcy i wyniki bazowe ścieżki diaryzacji, okno tolerancji 0,25 s z uwzględnieniem mowy nakładającej się.
- Horiguchi et al., End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors (Interspeech 2020): DER w CALLHOME według liczby mówców.
- Han et al., Leveraging Self-Supervised Learning for Speaker Diarization (Brno University of Technology, 2024): wyniki dla okna tolerancji 0 s wobec 0,25 s w AMI, AISHELL-4 i AliMeeting.
- Lanzendoerfer et al., Benchmarking Diarization Models (ETH Zurich, 2025): około 196,6 godziny nagrań z CALLHOME, VoxConverse, AMI i AliMeeting; udziały nakładania, DER według języka i liczby mówców, szybkość.
- Park et al., A Review of Speaker Diarization: Recent Advances with Deep Learning (Computer Speech and Language, 2022): konwencje okna tolerancji i udział nakładania w spotkaniach.
- Knox, Speaker Diarization: Current Limitations and New Directions (UC Berkeley technical report, 2013): położenie błędów względem zmian mówcy w NIST RT-09.
- Sinclair and King, Where are the challenges in speaker diarization? (University of Edinburgh, 2013): DER na spotkaniach RT-09.
- Watanabe et al., CHiME-6 Challenge overview (2020): bazowy DER dla przyjęcia przy kolacji i udział diaryzacji w różnicy współczynnika błędów słów.
- Abramovski et al., Summary of the NOTSOFAR-1 Challenge (Computer Speech and Language, 2025): zbiór danych spotkań i wyniki tcpWER.
- Kalluri et al., The Second DISPLACE Challenge (2024): wyniki diaryzacji w rozmowach wielojęzycznych.
- Okocha et al., Domain-Aware Speaker Diarization on African-Accented English (2025): DER kliniczny wobec ogólnego w ośmiu systemach.
- Charlot et al., BabyHuBERT (2026): segmentacja mówców w długich nagraniach skoncentrowanych na dziecku.
- Tran et al., Automatic speech recognition performance for digital scribes (AMIA Annual Symposium Proceedings, 2022): WDER w rozmowach z podstawowej opieki zdrowotnej.
- El Shafey et al., Joint Speech Recognition and Speaker Diarization via Sequence Transduction (Interspeech 2019): WDER w rozmowach lekarz-pacjent.
- karta modelu pyannote speaker-diarization-3.1 oraz karta modelu pyannote speaker-diarization-community-1: DER podany przez projekt (bez okna tolerancji, mowa nakładająca się oceniana), liczby pobrań; wartości precision-2 to deklaracje samego dostawcy dla modelu komercyjnego.
- University of Edinburgh, AMI Meeting Corpus: rozmiar korpusu i konfiguracja nagrań.
- Uwaga o danych: wartości DER można porównywać tylko w ramach jednego testu porównawczego i jednej konfiguracji oceny; VoxSRC stosuje okno tolerancji 0,25 s, podczas gdy DIHARD, karty modeli pyannote i kliniczne badanie angielszczyzny z afrykańskim akcentem go nie stosują, więc nie porównuj 4,30% z VoxSRC z 13,45% z DIHARD. Karta modelu pyannote 3.1 podaje 21,7% na DIHARD 3 full, a nowsza karta community-1 podaje 21,4% dla tego samego starszego potoku, co jest niewielką rozbieżnością wynikającą z aktualizacji ewaluacji; do porównań wersji używamy tabeli community-1. Wiersze VoxSRC z lat 2021 i 2022 są wewnętrznie niespójne między tabelą a tekstem retrospektywy, więc podajemy tylko lata 2020 i 2023. Tabela błędów według składników w badaniu klinicznym angielszczyzny z afrykańskim akcentem nie sumuje się dokładnie do podanego medycznego DER, więc cytujemy tylko główne średnie. Podsumowanie NOTSOFAR-1 w jednej tabeli niespójnie oznacza najlepsze wyniki jednokanałowe i wielokanałowe; kierujemy się tekstem, którego względna poprawa o 51% zgadza się z wartościami powyżej. Liczby pobrań z Hugging Face to kroczący miesięczny odczyt i zmieniają się codziennie. Wartości z Berkeley, Edinburgh, CHiME-6, DIHARD III, EEND-EDA, Interspeech 2019 i AMIA 2022 to najnowsze dostępne dane dla ich konkretnych pomiarów.
- Ostatnia aktualizacja: 27 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnej aktualizacji spodziewamy się po opublikowaniu artykułów podsumowujących wyzwanie Interspeech 2026 oraz kolejnej aktualizacji testu porównawczego w kartach modeli pyannote.