Beim CALLHOME-Telefon-Benchmark erreicht dasselbe End-to-End-Diarisierungssystem, das bei Gesprächen mit zwei Sprechern 8,50% DER erzielt, bei Gesprächen mit sechs Sprechern 40,29% (Horiguchi et al., EEND-EDA, Interspeech 2020). Sprecherdiarisierung ist der Schritt des »Wer sprach wann«: Sie zerlegt eine Aufnahme in Abschnitte und versieht jeden mit einem Sprecher, vor oder zusammen mit der Transkription. Auf kuratierten Benchmarks hat sie sich schnell verbessert, wobei die mediane DIHARD-Track-1-Fehlerrate von über 30% bei DIHARD I auf unter 20% bei DIHARD III fiel (Ryant et al., Dritte DIHARD-Challenge 2021), doch Audio von Abendessen unter Freunden erzeugte bei CHiME-6 weiterhin eine Baseline-DER von 62,0% (Watanabe et al., Überblick über die CHiME-6-Challenge 2020). Wir haben Daten der Organisatoren der DIHARD- und VoxSRC-Challenges, der Challenges CHiME-6, NOTSOFAR-1 und DISPLACE, des Diarisierungs-Benchmarks der ETH Zürich von 2025, der Brno University of Technology, der Modellkarten des pyannote-Projekts und peer-reviewter klinischer Studien zusammengetragen. Zur Wortebene derselben Pipeline siehe unsere Übersicht zu Akzent-Verzerrung bei der Spracherkennung und Wortfehlerrate.
Ein Hinweis zum Lesen jeder Zahl unten: Die DER (Diarisierungsfehlerrate) gilt nach dem Prinzip, dass niedriger besser ist, und sie ist nur vergleichbar, wenn zwei Ergebnisse denselben Benchmark, denselben »Collar« (ein kurzes Toleranzfenster ohne Wertung um jeden Sprecherwechsel) und dieselbe Regel für überlappende Sprache teilen. Jede Tabelle nennt den Aufbau, sofern die Quelle ihn angibt.
TL;DR
- Die CALLHOME-DER steigt bei demselben System von 8,50% mit 2 Sprechern auf 40,29% mit 6 Sprechern (Horiguchi et al., Interspeech 2020).
- Die mediane DER von DIHARD Track 1 fiel von über 30% (DIHARD I) auf 25% (DIHARD II) und auf unter 20% (DIHARD III) (Ryant et al., Dritte DIHARD-Challenge 2021).
- Die VoxSRC-Sieger erreichten 3,71% DER im Jahr 2020 und 4,30% im Jahr 2023 auf YouTube-Audio, jeweils etwa die Hälfte der Baseline (Huh et al., VoxSRC-Rückblick, IEEE TASLP 2024).
- Der Verzicht auf den Collar von 0,25 s hebt die AMI-DER beim selben System von 9,8% auf 15,4% (Han et al., Brno University of Technology 2024).
- Über 33% der Fehler bei NIST-Meetingdaten mit einem einzelnen Mikrofon liegen innerhalb von 0,5 s um einen Sprecherwechsel (Knox, UC Berkeley 2013).
- Im Durchschnitt sind 12% bis 15% der Sprache in Meeting-Aufnahmen überlappend (Park et al., Computer Speech and Language 2022).
- Arzt-Patienten-Dialoge lagen über acht Systeme im Schnitt bei 33,38% DER gegenüber 15,18% bei allgemeinen Gesprächen (Okocha et al., 2025).
- Die CHiME-6-Baseline mit Abendessen unter Freunden erreichte auf dem Evaluierungsset 62,0% DER (Watanabe et al., CHiME-6-Überblick 2020).
- Das beste NOTSOFAR-1-Meetingsystem senkte die sprecherzugeordnete Wortfehlerrate von einer Baseline von 28,3% auf 10,8% (Abramovski et al., NOTSOFAR-1-Zusammenfassung 2025).
- Das schnellste Modell eines Benchmarks von 2025 verarbeitete Audio 214,3-mal schneller als in Echtzeit (Lanzendoerfer et al., ETH Zürich 2025).
1. Was die DER misst und warum der Wertungsaufbau die Zahl verschiebt
Die DER addiert drei Arten von Zeit und teilt durch die gesamte Referenz-Sprechzeit: verpasste Sprache (jemand sprach, das System hörte Stille), Fehlalarm (das System markierte Sprache, wo keine war) und Sprecherverwechslung (Sprache wurde erkannt, aber der falschen Person zugeordnet). Die Modellkarte von pyannote 3.1 zeigt die Rechnung deutlich: Bei AMI-Headset-Audio setzt sich die DER von 18,8% aus 3,6% Fehlalarm plus 9,5% verpasster Sprache plus 5,7% Verwechslung zusammen.
Die größere Falle ist das Toleranzfenster (Collar). Seit den NIST-Rich-Transcription-Evaluierungen ignorieren die meisten Arbeiten 0,25 s auf jeder Seite jeder Referenzgrenze, weil menschliche Annotatoren selten darin übereinstimmen, in welcher Millisekunde ein Redebeitrag beginnt. Diese eine Entscheidung nimmt 5,6 Punkte weg, also 36% des Werts ohne Collar: Dasselbe System der Brno University of Technology erreicht bei AMI 15,4% ohne Collar und 9,8% mit Collar (Han et al., 2024). Die verziehene Zone ist genau dort, wo Systeme am häufigsten scheitern, denn ein Drittel oder mehr aller Fehler liegt innerhalb einer halben Sekunde um einen Sprecherwechsel (Knox, technischer Bericht der UC Berkeley 2013).
| Metrik | Wert | Quelle |
|---|---|---|
| Standard-Toleranzfenster ohne Wertung (Collar) um jede Referenz-Segmentgrenze (Wertung im RT-Stil) | 0,25 s, als gebräuchlichstes Schema beschrieben | Park et al., Computer Speech and Language 2022 |
| Wertungsregel von DIHARD und CHiME-6 | Kein Collar, überlappende Sprache gewertet | Park et al., Computer Speech and Language 2022 |
| AMI-DER, WavLM-basiertes BUT-System, ohne Collar vs Collar von 0,25 s | 15,4% vs 9,8% | Han et al., Brno University of Technology 2024 |
| AliMeeting-DER, dasselbe System, ohne Collar vs Collar von 0,25 s | 17,6% vs 10,2% | Han et al., Brno University of Technology 2024 |
| AMI-DER, pyannote-3-Baseline, ohne Collar vs Collar von 0,25 s | 21,1% vs 13,7% | Han et al., Brno University of Technology 2024 |
| Anteil der Fehler innerhalb von 0,5 s um einen Sprecherwechsel, NIST-RT-09-Meetings, einzelnes vs mehrere entfernte Mikrofone | Über 33% vs 40% | Knox, UC Berkeley 2013 |
| AMI-DER mit Headset-Mix, pyannote 3.1, aufgeteilt in Fehlalarm + verpasste Sprache + Verwechslung | 18,8% = 3,6% + 9,5% + 5,7% (vom Projekt angegeben) | pyannote, Modellkarte speaker-diarization-3.1 |
Kontext: Die Fehleranalyse aus Berkeley liefert die aktuellsten verfügbaren Daten zur Lage der Fehler (Knox, UC Berkeley 2013). Der ETH-Benchmark von 2025 weist in dieselbe Richtung: Verpasste Sprache war bei den meisten Modellen die dominierende Fehlerart, und die Autoren führen die verpassten Segmente, die im Schnitt etwa 350 ms lang sind, auf das Timing von Beginn und Ende der Sprache zurück und nicht darauf, dass ganze Äußerungen überhört wurden (Lanzendoerfer et al., Benchmarking Diarization Models 2025).
2. Stand der Technik nach Benchmark und wie schnell die DER gefallen ist
Der Fortschritt ist real, aber benchmarkspezifisch. Bei DIHARD, einer absichtlich schwierigen Mischung aus 11 Domänen, fiel die mediane DER von Track 1 über drei Ausgaben hinweg von über 30% auf unter 20% (Ryant et al., The Third DIHARD Diarization Challenge 2021). Track 1 (eine Kategorie der Challenge) gibt den Systemen die tatsächlichen Sprachregionen vor; bei Track 2 müssen sie die Sprache selbst finden, weshalb dessen Werte höher liegen.
Bei YouTube-Audio im Broadcast-Stil liegen die VoxSRC-Sieger bei rund 4%, jeweils etwa die Hälfte der Baseline der Organisatoren (Huh et al., The VoxCeleb Speaker Recognition Challenge: A Retrospective, IEEE TASLP 2024). Die Sieger von 2020 und 2023 bilden allerdings keine Zeitreihe: Das Testset wuchs von 232 auf 413 Dateien, ein etwas höherer Wert 2023 bedeutet also nicht, dass das Feld Rückschritte gemacht hätte.
| Metrik | Wert | Quelle |
|---|---|---|
| Mediane DIHARD-Track-1-DER (tatsächliche Sprachregionen vorgegeben), DIHARD I vs II vs III | Über 30% vs 25% vs unter 20% | Ryant et al., Dritte DIHARD-Challenge 2021 |
| Mediane DIHARD-Track-2-DER (System erkennt Sprache selbst), DIHARD I vs III | 40% vs unter 25% | Ryant et al., Dritte DIHARD-Challenge 2021 |
| DIHARD-III-Sieger (USTC-NELSLIP), Kern-Evaluierungsset, Track 1 vs Track 2 | 13,45% vs 19,37% (kein Collar, Überlappung gewertet) | Ergebnisse der DIHARD-III-Challenge |
| VoxSRC-Diarisierungs-Track, Testset 2020, Sieger vs Baseline | 3,71% vs 8,15% (Collar von 0,25 s, Überlappung gewertet) | Huh et al., VoxSRC-Rückblick 2024 |
| VoxSRC-Diarisierungs-Track, Testset 2023, Sieger vs Baseline | 4,30% vs 8,54% (Collar von 0,25 s, Überlappung gewertet) | Huh et al., VoxSRC-Rückblick 2024 |
| CALLHOME-DER, alle Gespräche, End-to-End-EEND-EDA vs x-Vector-Clustering | 15,29% vs 19,43% (Collar von 0,25 s) | Horiguchi et al., Interspeech 2020 |
| Durchschnittliche DER des ICSI-Systems bei NIST-RT-09-Meetings, einzelnes entferntes Mikrofon | 31,3% | Sinclair und King, Universität Edinburgh 2013 |
Kontext: Die DER des DIHARD-III-Siegers auf dem vollständigen Evaluierungsset lag bei 11,3% für Track 1 und 16,78% für Track 2, gegenüber einer Baseline von 20,65% und 27,34% auf dem Kernset (Ergebnisse der DIHARD-III-Challenge). Der RT-09-Wert sind die aktuellsten verfügbaren Daten für diese Evaluierung (Sinclair und King, Where are the challenges in speaker diarization? 2013); er stammt aus anderen Daten und einer anderen Zeit als DIHARD und sollte daher nicht als direkter Vorher-nachher-Vergleich gelesen werden.
3. Überlappende Sprache und Sprecheranzahl: die beiden größten DER-Treiber
Überlappung ist kein Randfall. Im Durchschnitt sind 12% bis 15% der Sprache in Meeting-Aufnahmen überlappend, und die Übersichtsarbeit, die diesen Wert zusammengetragen hat, merkt an, dass er im Alltagsgespräch noch höher liegen kann (Park et al., A Review of Speaker Diarization, Computer Speech and Language 2022). Ältere Clustering-Pipelines geben jedem Zeitpunkt genau einen Sprecher, sodass bei einer Überlappung zweier Personen mindestens die Hälfte der gewerteten Zeit falsch ist, bevor irgendein anderer Fehler passiert.
Die Sprecheranzahl verschärft das Problem. Bei CALLHOME geht dasselbe EEND-EDA-Modell von 8,50% DER bei Gesprächen mit zwei Sprechern auf 40,29% bei Gesprächen mit sechs (Horiguchi et al., EEND-EDA, Interspeech 2020), und Modelle mit hartem Sprecherlimit zahlen doppelt: Die Sortformer-Familie, auf vier Sprecher begrenzt, zeigte im ETH-Benchmark bei vollen Aufnahmen mehr Sprecherverwechslung. Aufnahmen mit mehreren Mikrofonen helfen, wie die NOTSOFAR-1-Meetingergebnisse in Abschnitt 5 zeigen, ein Muster, das auch in unseren Daten zu Fernfeld-Beamforming und Genauigkeit von Weckwörtern sichtbar ist.
| Metrik | Wert | Quelle |
|---|---|---|
| Durchschnittlicher Anteil überlappender Sprache in Meeting-Aufnahmen | 12% bis 15% | Park et al., Computer Speech and Language 2022 |
| Durchschnittlicher Überlappungsanteil: AliMeeting vs AMI vs CALLHOME vs VoxConverse | 19% vs 15,94% vs 12,58% vs 3,52% | Lanzendoerfer et al., ETH Zürich 2025 |
| CALLHOME-DER, EEND-EDA, Gespräche mit 2 vs 3 vs 4 Sprechern | 8,50% vs 13,24% vs 21,46% | Horiguchi et al., Interspeech 2020 |
| CALLHOME-DER, EEND-EDA, Gespräche mit 5 vs 6 Sprechern | 33,16% vs 40,29% | Horiguchi et al., Interspeech 2020 |
| CALLHOME-DER, x-Vector-Clustering, Gespräche mit 2 vs 6 Sprechern | 15,45% vs 34,27% | Horiguchi et al., Interspeech 2020 |
| DER bei Aufnahmen mit 4 Sprechern: Sortformer (Limit von 4 Sprechern) vs DiariZen | 21,3% vs 12,7% (Collar von 0,25 s, Überlappung gewertet) | Lanzendoerfer et al., ETH Zürich 2025 |
| Durchschnittliche Sprecher pro Aufnahme, VoxSRC-2020-Testset | 6,5 Sprecher bei durchschnittlich 675,6 s | Huh et al., VoxSRC-Rückblick 2024 |
Kontext: Die Sprecheranzahl allein entscheidet nicht über den Wert. Im ETH-Benchmark erreichte das beste System 6,6% bei Aufnahmen mit 5 oder mehr Sprechern, aber 10,1% bei solchen mit 4, eine Erinnerung daran, dass Überlappung und Aufnahmebedingungen ebenso wichtig sind wie die Personenzahl. Auch die CALLHOME-Ergebnisse mit 5 und 6 Sprechern stützen sich auf wenige Dateien: Die EEND-EDA-Autoren merken an, dass CALLHOME nur zehn Aufnahmen mit mehr als vier Sprechern enthält.
4. Domänenlücken: klinisches, kindliches, mehrsprachiges und Audio unter realen Bedingungen
Ein auf Meetings und Telefonate abgestimmtes Modell überträgt seine Genauigkeit nicht in eine Klinik, ein Familienheim oder ein Online-Video. Über acht Diarisierungssysteme hinweg lag die DER bei Arzt-Patienten-Dialogen im Schnitt bei 33,38%, gegenüber 15,18% bei allgemeinen Gesprächen, eine Lücke von 18,20 Prozentpunkten (gepaarter t-Test p < 10⁻⁴), und Fehlalarme verursachten den größten Teil des klinischen Aufschlags (Okocha et al., Domain-Aware Speaker Diarization on African-Accented English 2025). Die Feinabstimmung auf akzentuierte Sprache halbierte den Fehler eines offenen Modells, doch die klinische Lücke schrumpfte nur, statt zu verschwinden.
Kinder sind eine eigene Grenze. In der BabyHuBERT-Studie werden kindzentrierte ganztägige Aufnahmen pro Sprechertyp (Zielkind, andere Kinder, erwachsene Männer, erwachsene Frauen) mit einem F1-Wert bewertet, bei dem höher besser ist, und das beste Modell von 2026 liegt weiterhin unter einem zweiten menschlichen Annotator (Charlot et al., BabyHuBERT 2026). DIHARD III hob dieselbe Schwäche hervor und nannte Kinder in klinischen Interviews als besondere Herausforderung.
| Metrik | Wert | Quelle |
|---|---|---|
| Mediane DIHARD-III-Track-1-DER, Domänen Meeting, Web-Video und Restaurant | 35% bis 45% | Ryant et al., Dritte DIHARD-Challenge 2021 |
| DIHARD-III-DER, klinische Interviews und Telefonsprache, Track 1 vs Track 2 | Allgemein 10% bis 20% vs 15% bis 25% | Ryant et al., Dritte DIHARD-Challenge 2021 |
| Durchschnittliche DER über 8 Systeme, Arzt-Patienten- vs allgemeine Dialoge in afrikanisch akzentuiertem Englisch | 33,38% vs 15,18% (kein Collar, Überlappung gewertet) | Okocha et al., 2025 |
| pyannote-DER vor vs nach Feinabstimmung auf afrikanisch akzentuierte Sprache, medizinische Dialoge | 31,46% vs 15,73% | Okocha et al., 2025 |
| Kindzentrierte Aufnahmen, durchschnittlicher F1-Wert über Sprechertypen: LENA vs BabyHuBERT-VTC vs zweiter menschlicher Annotator | 40,8% vs 65,1% vs 69,8% (höher ist besser) | Charlot et al., BabyHuBERT 2026 |
| DER bei den Video-Benchmarks unter realen Bedingungen Ego4D (Entwicklungsset) und AVA-AVD, pyannote community-1 | 46,8% und 44,6% (vom Projekt angegeben, kein Collar) | pyannote, Modellkarte community-1 2025 |
| DER nach Sprache über die Datensätze des ETH-Benchmarks, bestes System (pyannoteAI), Spanisch vs Englisch | 14,3% vs 6,6% | Lanzendoerfer et al., ETH Zürich 2025 |
| Mehrsprachige indische Gespräche (DISPLACE), DER des besten Teams auf denselben Evaluierungsdaten, 2023 vs 2024 | 27,8% vs 21,27% | Kalluri et al., Zweite DISPLACE-Challenge 2024 |
Kontext: Die DISPLACE-Daten umfassen 9 indische Sprachen plus indisches Englisch mit 3 bis 5 Teilnehmern pro Sitzung (Kalluri et al., The Second DISPLACE Challenge 2024). Die ETH-Autoren führen die Sprachlücke auf Datenknappheit bei einigen Sprachen zurück und nennen Spanisch als die schwierigste der fünf getesteten.
5. Einsatz in der Praxis: Meetings, Callcenter und Kliniken
In der Produktion zeigen sich Diarisierungsfehler als Transkriptzeilen, die der falschen Person zugeschrieben werden, weshalb Meeting- und Medizinstudien häufig Metriken auf Wortebene angeben. Zwei erscheinen unten: tcpWER, eine Wortfehlerrate, die auch Wörter zählt, die innerhalb eines Zeitfensters dem falschen Sprecher zugeordnet wurden, und WDER, der Anteil der Wörter mit falschem Sprecherlabel. Eine der schwierigsten je gemessenen Situationen ist das Abendessen unter Freunden: Die CHiME-6-Baseline erreichte auf ihrem Evaluierungsset 62,0% DER, und die Organisatoren führen rund 15% absolut der Wortfehlerraten-Lücke zwischen ihren Tracks hauptsächlich auf die Diarisierung zurück (Watanabe et al., CHiME-6 Challenge overview 2020).
Büromeetings sind besser handhabbar. Bei NOTSOFAR-1, aufgebaut aus 315 echten Meetings mit jeweils 4 bis 8 Teilnehmern in 30 Umgebungen, erreichte das beste Mehrkanalsystem 10,8% tcpWER (Abramovski et al., Summary of the NOTSOFAR-1 Challenge, Computer Speech and Language 2025). Juristische Transkription hat ihre eigenen Anforderungen an die Sprecherkennzeichnung, behandelt in unseren Statistiken zur Genauigkeit der Sprachtranskription im Gerichtssaal, und die Textfehler, die auf Sprecherfehlern aufsetzen, behandeln unsere Daten zu Halluzinationen bei der Spracherkennung.
| Metrik | Wert | Quelle |
|---|---|---|
| CHiME-6-Baseline-DER bei Abendessen unter Freunden, Entwicklungs- vs Evaluierungsset | 61,6% vs 62,0% | Watanabe et al., CHiME-6-Überblick 2020 |
| Wortfehlerraten-Lücke zwischen den CHiME-6-Tracks, hauptsächlich der Diarisierung zugeschrieben | Rund 15% absolut | Watanabe et al., CHiME-6-Überblick 2020 |
| NOTSOFAR-1-Meetingtranskription, tcpWER bestes System vs Baseline, mehrkanalig | 10,8% vs 28,3% | Abramovski et al., NOTSOFAR-1-Zusammenfassung 2025 |
| NOTSOFAR-1-Meetingtranskription, tcpWER bestes System vs Baseline, einkanalig | 22,2% vs 41,4% | Abramovski et al., NOTSOFAR-1-Zusammenfassung 2025 |
| CALLHOME-Telefon-DER, offenes community-1 vs kommerzielles precision-2 | 26,7% vs 16,6% (vom Anbieter angegeben, kein Collar) | pyannote, Modellkarte community-1 2025 |
| WDER über vier kommerzielle Sprachmodelle, 36 Gespräche in der Primärversorgung | 1,8% bis 13,9% | Tran et al., AMIA Annual Symposium 2022 |
| WDER bei Arzt-Patienten-Gesprächen, konventionelle Pipeline vs gemeinsames Erkennungs- und Diarisierungsmodell | 15,8% vs 2,2% | El Shafey et al., Interspeech 2019 |
Kontext: Die Aufnahmen aus der Primärversorgung wurden von zwei englischen Muttersprachlern in einem ruhigen Studio nachgespielt, weshalb die Autoren ihre Werte als wahrscheinliche Obergrenze für die Leistung in echten Kliniken beschreiben (Tran et al., AMIA Annual Symposium Proceedings 2022). Das Ergebnis des gemeinsamen Modells sind die aktuellsten verfügbaren Daten aus einem nicht öffentlichen Korpus (El Shafey et al., Interspeech 2019). Der Wert von precision-2 ist die eigene Angabe des Anbieters für sein kommerzielles Modell.
6. Geschwindigkeit, offene Modelle und Forschungsumfang
Genauigkeit ist nur die Hälfte einer Einsatzentscheidung. Das schnellste System im ETH-Benchmark lief 214,3-mal schneller als in Echtzeit, mehr als zehnmal so schnell wie das offene Modell DiariZen, das mit dem 20,2-Fachen der Echtzeit lief und insgesamt 13,3% DER erreichte (Lanzendoerfer et al., ETH Zürich 2025). Dieser Zielkonflikt wiegt bei Live-Untertiteln weit schwerer als bei einem nächtlichen Stapellauf.
Offene Modelle werden breit genutzt. Die pyannote-Pipelines zeigen Millionen monatlicher Downloads, und der projekteigene Benchmark vom September 2025 gibt für die aktuelle offene Version bei den meisten Datensätzen eine niedrigere DER an als für die ältere, wobei die kommerzielle Stufe vor beiden liegt (pyannote, Modellkarte speaker-diarization-community-1). Behandeln Sie diese Werte als vom Projekt angegeben: Sie werden von demselben Team ermittelt, das die Modelle ausliefert.
| Metrik | Wert | Quelle |
|---|---|---|
| Echtzeitfaktor (Audiolänge geteilt durch Verarbeitungszeit), Sortformer v2 vs Sortformer v2 Streaming | 214,3x vs 209,5x | Lanzendoerfer et al., ETH Zürich 2025 |
| Echtzeitfaktor, offenes pyannote vs DiariZen | 45,0x vs 20,2x | Lanzendoerfer et al., ETH Zürich 2025 |
| Gesamt-DER über den ETH-Benchmark, pyannoteAI vs DiariZen | 11,2% vs 13,3% (Collar von 0,25 s, Überlappung gewertet) | Lanzendoerfer et al., ETH Zürich 2025 |
| DIHARD-3-full-DER, pyannote 3.1 vs community-1 vs precision-2 | 21,4% vs 20,2% vs 14,7% (von Projekt und Anbieter angegeben, kein Collar) | pyannote, Modellkarte community-1 2025 |
| Monatliche Downloads auf Hugging Face, pyannote speaker-diarization-3.1 vs community-1 | 6.886.119 vs 5.051.937 (abgerufen im Oktober 2026) | Modellseiten von Hugging Face |
| An Teilnehmer ausgegebene simulierte NOTSOFAR-1-Trainingsdaten | Etwa 1.000 Stunden | Abramovski et al., NOTSOFAR-1-Zusammenfassung 2025 |
| Umfang des AMI Meeting Corpus | 100 Stunden, etwa zwei Drittel nachgespielte Design-Meetings | Universität Edinburgh, AMI Meeting Corpus |
Kontext: Der AMI Meeting Corpus, weiterhin ein zentraler Diarisierungs-Benchmark, zeichnet Nahbesprechungs- und Fernfeldmikrofone synchron auf (Universität Edinburgh, AMI Meeting Corpus). Der ETH-Benchmark konnte die Geschwindigkeit von pyannoteAI nicht messen, da nur ein API-Zugang verfügbar war.
Zusammenfassung: Diarisierungsfehlerrate bei Sprechern in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| CALLHOME-DER, EEND-EDA, 2 vs 6 Sprecher (Collar von 0,25 s) | 8,50% vs 40,29% | Horiguchi et al., Interspeech 2020 |
| CALLHOME-DER, EEND-EDA vs x-Vector-Clustering, alle Gespräche | 15,29% vs 19,43% | Horiguchi et al., Interspeech 2020 |
| Mediane DIHARD-Track-1-DER, DIHARD I vs III | Über 30% vs unter 20% | Ryant et al., Dritte DIHARD-Challenge 2021 |
| DIHARD-III-Sieger, Kern-Evaluierungsset, Track 1 vs Track 2 | 13,45% vs 19,37% | Ergebnisse der DIHARD-III-Challenge |
| VoxSRC-Sieger vs Baseline, Testset 2023 | 4,30% vs 8,54% | Huh et al., VoxSRC-Rückblick 2024 |
| AMI-DER, dasselbe System, ohne Collar vs Collar von 0,25 s | 15,4% vs 9,8% | Han et al., Brno University of Technology 2024 |
| Fehler innerhalb von 0,5 s um einen Sprecherwechsel, NIST RT-09, einzelnes entferntes Mikrofon | Über 33% | Knox, UC Berkeley 2013 |
| DER des ICSI-Systems, NIST RT-09, einzelnes entferntes Mikrofon | 31,3% | Sinclair und King, Universität Edinburgh 2013 |
| Überlappter Sprachanteil in Meeting-Aufnahmen | 12% bis 15% | Park et al., Computer Speech and Language 2022 |
| Überlappungsanteil, AliMeeting vs AMI | 19% vs 15,94% | Lanzendoerfer et al., ETH Zürich 2025 |
| DER Arzt-Patienten- vs allgemeine Dialoge, Durchschnitt über 8 Systeme | 33,38% vs 15,18% | Okocha et al., 2025 |
| Kindzentrierte Aufnahmen, durchschnittlicher F1-Wert, bestes Modell vs zweiter menschlicher Annotator | 65,1% vs 69,8% | Charlot et al., BabyHuBERT 2026 |
| DER des besten DISPLACE-Teams, 2023 vs 2024 | 27,8% vs 21,27% | Kalluri et al., Zweite DISPLACE-Challenge 2024 |
| CHiME-6-Baseline-DER bei Abendessen unter Freunden, Evaluierungsset | 62,0% | Watanabe et al., CHiME-6-Überblick 2020 |
| tcpWER des besten NOTSOFAR-1-Systems vs Baseline, mehrkanalig | 10,8% vs 28,3% | Abramovski et al., NOTSOFAR-1-Zusammenfassung 2025 |
| WDER-Spanne, vier kommerzielle Sprachmodelle, Primärversorgung | 1,8% bis 13,9% | Tran et al., AMIA Annual Symposium 2022 |
| Monatliche Downloads von pyannote 3.1 auf Hugging Face | 6.886.119 | Hugging Face, Modellseite pyannote speaker-diarization-3.1 |
Methodik und Quellen
- Ryant et al., The Third DIHARD Diarization Challenge (2021): 11 Domänen, Mediane über die DIHARD-Ausgaben, Spannen je Domäne, Wertung ohne Collars und mit Überlappung.
- Ergebnisse der DIHARD-III-Challenge: offizielle Rangliste für Track 1 und Track 2, Kern- und vollständiges Evaluierungsset.
- Huh et al., The VoxCeleb Speaker Recognition Challenge: A Retrospective (IEEE TASLP 2024): Sieger und Baselines des Diarisierungs-Tracks, Collar von 0,25 s mit gewerteter Überlappung.
- Horiguchi et al., End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors (Interspeech 2020): CALLHOME-DER nach Sprecheranzahl.
- Han et al., Leveraging Self-Supervised Learning for Speaker Diarization (Brno University of Technology, 2024): Ergebnisse mit Collar 0 s vs 0,25 s auf AMI, AISHELL-4 und AliMeeting.
- Lanzendoerfer et al., Benchmarking Diarization Models (ETH Zürich, 2025): etwa 196,6 Stunden aus CALLHOME, VoxConverse, AMI und AliMeeting; Überlappungsanteile, DER je Sprache und je Sprecheranzahl, Geschwindigkeit.
- Park et al., A Review of Speaker Diarization: Recent Advances with Deep Learning (Computer Speech and Language, 2022): Collar-Konventionen und Überlappungsanteil in Meetings.
- Knox, Speaker Diarization: Current Limitations and New Directions (technischer Bericht der UC Berkeley, 2013): Lage der Fehler relativ zu Sprecherwechseln bei NIST RT-09.
- Sinclair und King, Where are the challenges in speaker diarization? (Universität Edinburgh, 2013): DER bei RT-09-Meetings.
- Watanabe et al., CHiME-6 Challenge overview (2020): Baseline-DER bei Abendessen unter Freunden und der Diarisierungsanteil an der Wortfehlerlücke.
- Abramovski et al., Summary of the NOTSOFAR-1 Challenge (Computer Speech and Language, 2025): Meeting-Datensatz und tcpWER-Ergebnisse.
- Kalluri et al., The Second DISPLACE Challenge (2024): Ergebnisse der mehrsprachigen Gesprächsdiarisierung.
- Okocha et al., Domain-Aware Speaker Diarization on African-Accented English (2025): klinische vs allgemeine DER über acht Systeme.
- Charlot et al., BabyHuBERT (2026): Sprechersegmentierung in kindzentrierten Langaufnahmen.
- Tran et al., Automatic speech recognition performance for digital scribes (AMIA Annual Symposium Proceedings, 2022): WDER bei Gesprächen in der Primärversorgung.
- El Shafey et al., Joint Speech Recognition and Speaker Diarization via Sequence Transduction (Interspeech 2019): WDER bei Arzt-Patienten-Gesprächen.
- pyannote, Modellkarte speaker-diarization-3.1 und pyannote, Modellkarte speaker-diarization-community-1: vom Projekt angegebene DER (kein Collar, Überlappung gewertet), Download-Zahlen; die Werte von precision-2 sind eigene Angaben des Anbieters für ein kommerzielles Modell.
- Universität Edinburgh, AMI Meeting Corpus: Umfang des Korpus und Aufnahmeaufbau.
- Daten-Hinweis: DER-Werte sind nur innerhalb eines Benchmarks und eines Wertungsaufbaus vergleichbar; VoxSRC verwendet einen Collar von 0,25 s, während DIHARD, die pyannote-Modellkarten und die klinische Studie mit afrikanischem Akzent keinen verwenden, vergleichen Sie also nicht 4,30% bei VoxSRC mit 13,45% bei DIHARD. Die Modellkarte von pyannote 3.1 nennt 21,7% auf DIHARD 3 full, während die neuere Karte von community-1 für dieselbe ältere Pipeline 21,4% nennt, eine kleine Abweichung aufgrund von Aktualisierungen der Evaluierung; für Versionsvergleiche nutzen wir die Tabelle von community-1. Die Zeilen für 2021 und 2022 im VoxSRC-Rückblick sind zwischen Tabelle und Text in sich widersprüchlich, daher berichten wir nur 2020 und 2023. Die Tabelle der Fehler pro Komponente in der klinischen Studie mit afrikanischem Akzent summiert sich nicht exakt zur angegebenen medizinischen DER, daher zitieren wir nur die Kerndurchschnitte. Die NOTSOFAR-1-Zusammenfassung beschriftet ihre besten Ergebnisse für einkanalig und mehrkanalig in einer Tabelle uneinheitlich; wir folgen dem Text, dessen relative Verbesserung von 51% zu den obigen Werten passt. Die Download-Zahlen von Hugging Face sind eine rollierende Monatsmomentaufnahme und ändern sich täglich. Die Werte von Berkeley, Edinburgh, CHiME-6, DIHARD III, EEND-EDA, Interspeech 2019 und AMIA 2022 sind die aktuellsten verfügbaren Daten für ihre jeweiligen Messungen.
- Zuletzt aktualisiert: 27. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn die Zusammenfassungsartikel der Interspeech-2026-Challenges und das nächste Benchmark-Update der pyannote-Modellkarten veröffentlicht werden.