Der offizielle Detektor der DIHARD-III-Baseline ließ auf der Kernmenge der Evaluierung 4,97% der Sprache aus, stufte aber Nicht-Sprache mit einer Rate von 15,07% fälschlich als Sprache ein, dem Dreifachen der eigenen Auslassungsrate. Diese Lücke ist die ganze Geschichte der Sprachaktivitätserkennung (VAD): Jeder Detektor tauscht Auslassungen (echte Sprache, die er verwirft) gegen Fehlalarme (Stille, Musik oder Rauschen, die er durchlässt), und Benchmarks entscheiden, welcher Fehler schwerer wiegt. Bei der Fearless-Steps-Phase-3-Challenge mit NASA-Apollo-Audio senkte das beste System die Detektionskosten der Baseline von 15,16% auf 1,47%, während WebRTC VAD bei einem Signal-Rausch-Verhältnis von 0 dB im Mittel nur einen F1-Wert von 0,581 erreichte. Vor allem anderen ist Rauschen der Hauptfeind, weshalb VAD und die Latenz neuronaler Rauschunterdrückung meist gemeinsam abgestimmt werden. Wir haben Daten aus den OpenSAT-Evaluierungen des NIST, den Challenges DIHARD III und Fearless Steps, aus AVA-Speech und Googles Studien zur Fenstergröße von 2026, aus den Codec-Spezifikationen von 3GPP und ITU-T, aus den Telefonie-Hinweisen von Cisco und Avaya sowie aus mehr als einem Dutzend begutachteter Arbeiten und Preprints zusammengetragen.
TL;DR
- Das NIST bewertete die Sprachaktivitätserkennung als 0,75 x Auslassungsrate + 0,25 x Fehlalarmrate, wodurch eine Auslassung dreimal so teuer war (NIST IR 8242, OpenSAT-2017-Pilot).
- Die DIHARD-III-Baseline hatte auf der Kernmenge der Evaluierung 4,97% Auslassungen und 15,07% Fehlalarme (Paper zur Third DIHARD Diarization Challenge, arXiv 2020).
- Das beste System von Fearless Steps Phase-3 erreichte auf den Evaluierungsdaten Detektionskosten von 1,47% gegenüber 15,16% bei der Baseline (Joglekar et al., Interspeech 2021).
- Bei DIHARD-3-Audio hatte pyannote 2.0 3,9% Fehlalarme und 3,3% Auslassungen, gegenüber 17,0% und 4,0% beim 2021 verfügbaren Silero VAD (Bredin und Laurent, arXiv 2021).
- Auf dem Umgebungsgeräusch-Set ESC-50 erreichte WebRTC VAD eine Genauigkeit von 0, Silero v5 0,61 und Silero v6 0,87 (Silero VAD Quality Metrics, Angabe des Projekts).
- Bei 50-ms-Fenstern lag Sileros Matthews-Korrelationskoeffizient bei 0,72, gegenüber 0,41 bei WebRTC und 0,11 bei einem einfachen Lautstärkedetektor (RMS) (McKinnon et al., Google, arXiv 2026).
- Bei 0 dB SNR erreichte WebRTC VAD im Mittel eine AUC von 0,691 gegenüber 0,956 beim MagicNet mit 22,7K Parametern (Jia et al., arXiv 2024).
- WebRTC VAD brauchte 0,06 ms pro Entscheidung, ein großer ResNet-VAD 265 ms (Chaudhuri et al., AVA-Speech, Interspeech 2018).
- Cisco plant damit, dass VAD bis zu 35 Prozent der Sprachbandbreite einspart, aber nur im Durchschnitt über mehr als 24 Gespräche (Cisco, Per Call Bandwidth Consumption).
- Die Wortfehlerrate von Whisper bei mit Rauschen aufgefüllter Sprache lag hinter WebRTC VAD bei 68,3% und hinter Silero VAD bei 8,0% (Barański et al., arXiv 2025).
1. Wie VAD-Fehler bewertet werden: Auslassungen gegenüber Fehlalarmen
Bevor man zwei beliebige VAD-Zahlen vergleicht, sollte man die Bewertungsregeln prüfen. Ein “Fehlalarm” ist als Sprache gekennzeichnete Nicht-Sprache; eine “Auslassung” ist als Nicht-Sprache gekennzeichnete Sprache. Die Evaluatoren legen dann fest, wie viel jeder Fehler kostet und wie viel Spielraum an den Segmentgrenzen gewährt wird. Dieser Spielraum heißt “Collar” (Toleranzfenster): ein kurzes Fenster um jede wahre Sprachgrenze, in dem Fehler nicht gezählt werden. Das NIST gewichtete Auslassungen mit 0,75 und Fehlalarme mit 0,25, mit der Begründung, dass “verpasste Detektionen als kritischer gelten als Fehlalarme” (NIST IR 8242, OpenSAT-2017-Pilot).
Der Trend seither geht zu strengerer Bewertung. Die Toleranzfenster schrumpften bei Fearless Steps von 0,5 s auf 0,25 s und verschwanden bei DIHARD III ganz, sodass eine Zahl von 2026 ohne Toleranzfenster nicht mit einer Zahl von 2017 mit Toleranzfenster vergleichbar ist. Die NIST-Reihe selbst ist abgeschlossen: Die OpenSAT-Programmseite nennt ihren Status als beendet, ohne Evaluierung nach 2020.
| Metrik | Wert | Quelle |
|---|---|---|
| Gewichte der Detektionskostenfunktion zur Bewertung der Sprachaktivitätserkennung | DCF = 0,75 x P_Miss + 0,25 x P_FA | NIST IR 8242, OpenSAT-2017-Pilot |
| Nicht bewertetes Fenster (Toleranzfenster) um jedes Referenz-Sprachsegment, OpenSAT-2017-Pilot | 0,5 s | NIST IR 8242, OpenSAT-2017-Pilot |
| Teams, die Ergebnisse zum OpenSAT-2017-Pilot einreichten, gegenüber registrierten Standorten | 22 gegenüber 33 | NIST IR 8242, OpenSAT-2017-Pilot |
| Letzte OpenSAT-Evaluierung und ihre Domäne | OpenSAT20 (2020), nur englischsprachige Kommunikation der öffentlichen Sicherheit | Seite der NIST-OpenSAT-Evaluierungsreihe |
| Bewertungs-Toleranzfenster, Fearless Steps Phase-3 gegenüber Phase-2 | 0,25 s gegenüber 0,5 s | Joglekar et al., Fearless Steps Phase-3, Interspeech 2021 |
| Bewertungs-Toleranzfenster bei DIHARD III | Keines (“ohne die Verwendung von Toleranzfenstern”), überlappende Sprache bewertet | Paper zur Third DIHARD Diarization Challenge, arXiv 2020 |
| Übereinstimmung zwischen den 3 menschlichen Annotatoren, die jeden AVA-Speech-Clip kennzeichneten | Fleiss’ Kappa 0,74 (“substanziell”) | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Segmentlänge zur Bewertung von Silero und konkurrierenden VADs | 31,25 ms, Schwellenwert abgestimmt auf einer domänenübergreifenden Validierungsmenge von 17 Stunden | Silero VAD Quality Metrics Wiki (Angabe des Projekts) |
Kontext: Selbst die Referenzwahrheit ist verrauscht. Eine Amazon-Studie über 450 Stunden Filme und Fernsehsendungen stellte fest, dass hochwertige Untertiteldateien, die als Labels dienen, bis zu 15% Label-Rauschen enthalten (Sharma et al., Neurocomputing 2022). Jüngste verfügbare Daten zu den NIST- und AVA-Bewertungsregeln: 2017 bis 2019 und 2018.
2. Challenge-Ergebnisse: Auslassungs- und Fehlalarmraten bei schwierigem Audio
Öffentliche Challenges sind der Ort, an dem VAD auf Audio trifft, auf das niemand abgestimmt hat. Die Zahlen von DIHARD III zeigen das Kernproblem: Die Fehlalarmrate der Baseline sprang von 3,98% auf den Entwicklungsdaten auf 15,07% auf der Kernmenge der Evaluierung, während sich ihre Auslassungsrate weit weniger veränderte. Detektoren passen sich zu stark an das Hintergrundrauschen an, mit dem sie trainiert wurden, und neues Rauschen wird zu Phantomsprache.
Die Ergebnisse von Fearless Steps zeigen das andere Ende. NASA-Apollo-Missionsaudio ist verrauscht, mehrkanalig und Jahrzehnte alt, und doch senkte das beste System der Phase-3 die Detektionskosten auf 1,47%, etwa ein Zehntel der Baseline. Die Übersicht zu Fearless Steps Phase-3 zeigt auch die Grenze: Phase-3 schlug das Phase-2-Bestergebnis von 1,07% nicht, und die Apollo-13-Teilmenge blieb schwieriger als Apollo-11.
| Metrik | Wert | Quelle |
|---|---|---|
| DIHARD-III-Baseline, Entwicklungs-Kernmenge: Auslassung / Fehlalarm / Gesamtfehler | 1,84% / 3,98% / 2,30% | Paper zur Third DIHARD Diarization Challenge, arXiv 2020 |
| DIHARD-III-Baseline, Evaluierungs-Kernmenge: Auslassung / Fehlalarm / Gesamtfehler | 4,97% / 15,07% / 7,26% | Paper zur Third DIHARD Diarization Challenge, arXiv 2020 |
| DIHARD-III-Baseline, vollständige Evaluierungsmenge: Auslassung / Fehlalarm / Gesamtfehler | 4,35% / 14,65% / 6,51% | Paper zur Third DIHARD Diarization Challenge, arXiv 2020 |
| Größe der DIHARD-III-Evaluierungs-Kernmenge und Sprachanteil | 184 Aufnahmen, 22,73 Stunden, 77,35% Sprache, 11 Domänen | Paper zur Third DIHARD Diarization Challenge, arXiv 2020 |
| Teilnahme an Fearless Steps Phase-3 (alle Tracks) | 9 Organisationen in 14 aufgabenspezifischen Teams, 235 Systemeinreichungen | Joglekar et al., Interspeech 2021 |
| Detektionskosten der Baseline bei Fearless Steps Phase-3, Entwicklung gegenüber Evaluierung | 12,84% gegenüber 15,16% | Joglekar et al., Interspeech 2021 |
| Beste Detektionskosten bei Fearless Steps Phase-3: vollständige Evaluierung / Apollo-13-Teilmenge / Teilmenge ungesehener Kanäle | 1,47% / 2,37% / 1,67% | Joglekar et al., Interspeech 2021 |
| Beste Detektionskosten bei Fearless Steps Phase-2 (nach Phase-3 weiterhin Stand der Technik) | 1,07% | Joglekar et al., Interspeech 2021 |
Hinweis zu Ausreißern: Das DIHARD-III-Paper sagt, die Sprachaktivitätserkennung “bleibt für einige der abgedeckten Domänen ein schwieriges Problem” und dass die Diarisierung ohne genaue Segmentierung “für manche katastrophal” einbrach, wobei Hörbücher die Ausnahme bildeten. Die vollständigen Tabellen stehen im Paper zur DIHARD-III-Challenge. Jüngste verfügbare Daten: DIHARD III (2020 bis 2021) und Fearless Steps Phase-3 (2021); keine der beiden Challenges hat einen neueren Track zur Sprachaktivitätserkennung ausgetragen.
3. Offene Modelle im direkten Vergleich: pyannote, Silero und WebRTC
Die meisten Produkte liefern einen von drei offenen Detektoren aus: den signalverarbeitungsbasierten VAD aus Googles WebRTC-Projekt, den neuronalen Silero-VAD oder das Segmentierungsmodell pyannote. Die unabhängigen Daten stimmen in der Rangfolge überein, und der Abstand ist genau dort am größten, wo Produkte versagen: bei reinem Rauschen. Bei Umgebungsgeräusch-Clips aus ESC-50 erreichte WebRTC VAD eine Genauigkeit von 0, das heißt, er hielt jeden Rausch-Clip für Sprache, während Silero v6 zu 0,87 richtiglag (Silero VAD Quality Metrics, Angabe des Projekts selbst).
Das Paper zu pyannote 2.0 ist die bessere Referenz für die Aufteilung in Fehlalarme und Auslassungen, da es beide getrennt auf drei öffentlichen Mengen ausweist (Bredin und Laurent, arXiv 2021). Seine Abstimmung minimiert ihre Summe, sodass es nahe an einem Gleichgewicht landet (3,9% gegenüber 3,3% bei DIHARD 3). Das Silero-Modell aus der Zeit von 2021 in derselben Tabelle zeigt das klassische unausgewogene Profil: wenige Auslassungen, viele Fehlalarme. Die unten verwendete ROC-AUC ist ein Wert von 0 bis 1 dafür, wie gut ein Detektor über alle Schwellenwerte hinweg Sprache von Nicht-Sprache trennt; der Matthews-Korrelationskoeffizient (MCC) ist ein Wert von -1 bis 1, der aussagekräftig bleibt, wenn eine Klasse dominiert.
| Metrik | Wert | Quelle |
|---|---|---|
| DIHARD 3: Fehlalarm / Auslassung / Gesamtfehler der Detektion, pyannote 2.0 gegenüber Silero VAD (Version von 2021) | 3,9% / 3,3% / 7,3% gegenüber 17,0% / 4,0% / 21,0% | Bredin und Laurent, arXiv 2021 |
| AMI-Meetings: Fehlalarm / Auslassung, pyannote 2.0 gegenüber Silero VAD (Version von 2021) | 3,6% / 3,2% gegenüber 9,4% / 1,7% | Bredin und Laurent, arXiv 2021 |
| VoxConverse: Fehlalarm / Auslassung, pyannote 2.0 gegenüber Silero VAD (Version von 2021) | 1,8% / 0,8% gegenüber 3,0% / 1,1% | Bredin und Laurent, arXiv 2021 |
| ROC-AUC auf einer domänenübergreifenden Validierungsmenge von 17 Stunden: WebRTC / Silero v5 / Silero v6 | 0,73 / 0,96 / 0,97 | Silero VAD Quality Metrics Wiki (Angabe des Projekts) |
| ROC-AUC auf 80 Stunden verrauschter MSDWild-Sprache: WebRTC gegenüber Silero v6 | 0,62 gegenüber 0,79 | Silero VAD Quality Metrics Wiki (Angabe des Projekts) |
| Anteil der korrekt abgelehnten ESC-50-Rausch-Clips: WebRTC / Silero v5 / Silero v6 | 0 / 0,61 / 0,87 | Silero VAD Quality Metrics Wiki (Angabe des Projekts) |
| Genauigkeit von Silero VAD v5 auf Äußerungsebene bei ESC-50 (unabhängige Prüfung) | 61% | Wang et al., Calm-Whisper, arXiv 2025 |
| MCC bei 50-ms-Fenstern auf 1,1 Stunden Podcasts, Filmen und Musik: RMS / WebRTC / Silero | 0,11 / 0,41 / 0,72 | McKinnon et al., Google, arXiv 2026 |
Kontext: Das Google-Team stellte fest, dass das Hinzufügen von Hysterese (eine Regel, die den aktuellen Sprach- oder Nicht-Sprach-Zustand beibehält, bis sich die Evidenz klar ändert) den MCC von WebRTC von 0,41 auf 0,47 hob und für Silero nichts Nützliches bewirkte (McKinnon et al., arXiv 2026). Sileros eigene Release-Notes zu v6.0 geben 16% weniger Fehler bei verrauschten realen Daten und 11% weniger bei der domänenübergreifenden Validierung gegenüber v5 an, eine Angabe des Projekts, die noch nicht unabhängig reproduziert wurde.
4. Rauschen und SNR: Wo die Erkennung zusammenbricht
Das Signal-Rausch-Verhältnis (SNR) ist der Pegel der Sprache über dem Hintergrund in Dezibel; 0 dB bedeutet, dass Sprache und Rauschen gleich laut sind. Alle Datensätze hier zeigen dasselbe Muster: Saubere Sprache ist ein gelöstes Problem, Musik und Rauschen sind es nicht. Im Filmdatensatz AVA-Speech von Google lag saubere Sprache bei einem geschätzten SNR von 40,8 dB, Sprache über Musik aber nur bei 11,7 dB, und selbst die Richtig-Positiv-Rate eines großen ResNet-Detektors fiel von 0,992 bei sauberer Sprache auf 0,787 bei Sprache mit Musik (Chaudhuri et al., AVA-Speech).
Die Verbesserung der Trefferquote (Recall) bei verrauschter Sprache kostet meist Fehlalarme. Huaweis winziger VAD von 2025 steigerte die Genauigkeit bei verrauschter Sprache auf MS-SNSD mit einer Vorverarbeitungsstufe von 15,9% auf 89,9%, doch seine Genauigkeit bei Nicht-Sprache auf derselben Menge fiel von 99,1% auf 87,7% (Jafarzadeh Asl et al., arXiv 2025). Es gibt nichts umsonst: Der Arbeitspunkt wandert nur entlang der Kompromisskurve.
| Metrik | Wert | Quelle |
|---|---|---|
| Geschätzter SNR bei AVA-Speech: saubere Sprache / Sprache mit Rauschen / Sprache mit Musik | 40,8 dB / 16,2 dB / 11,7 dB | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Richtig-Positiv-Rate bei AVA-Speech bei einer festen Falsch-Positiv-Rate von 0,315, WebRTC VAD: sauber / Rauschen / Musik | 0,786 / 0,706 / 0,733 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Richtig-Positiv-Rate bei AVA-Speech bei derselben Falsch-Positiv-Rate, ResNet-960-Modell: sauber / Rauschen / Musik | 0,992 / 0,944 / 0,787 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Mittlerer F1-Wert und mittlere AUC bei 0 dB (Stimmengewirr, Auto- und Maschinenrauschen), WebRTC VAD gegenüber MagicNet | F1 0,581 gegenüber 0,859; AUC 0,691 gegenüber 0,956 | Jia et al., arXiv 2024 |
| Genauigkeit bei verrauschter Sprache auf MS-SNSD, SG-VAD-Baseline gegenüber Huawei-VAD mit Vorverarbeitung | 15,9% gegenüber 89,9% | Jafarzadeh Asl et al., arXiv 2025 |
| Genauigkeit bei Nicht-Sprache auf MS-SNSD, SG-VAD-Baseline gegenüber Huawei-VAD mit Vorverarbeitung | 99,1% gegenüber 87,7% | Jafarzadeh Asl et al., arXiv 2025 |
| Falsch-Positiv-Rate, die nötig ist, um 99% der Sprache zu erfassen, SG-VAD gegenüber Huawei-VAD mit Vorverarbeitung | 58% gegenüber 28% | Jafarzadeh Asl et al., arXiv 2025 |
| Mittlere durchschnittliche Genauigkeit (mAP) des persönlichen VAD (Zielsprecher), Baseline gegenüber bestem Modell: sauberer Testsatz gegenüber Testsatz mit hinzugefügtem Rauschen und Nachhall | 0,900 gegenüber 0,969 sauber; 0,801 gegenüber 0,928 verrauscht | Ding et al., Google, Personal VAD, arXiv 2019 |
Kontext: Eine Studie vom Dezember 2025 trainierte hybride CNN-Detektoren mit kasachischer Sprache, gemischt mit Rauschen von -18 dB bis +30 dB; die besten Modelle erreichten einen F1-Wert von 99,6% und blieben oberhalb von -12 dB robust, während auf einem einzigen Rauschpegel trainierte Modelle schlecht generalisierten (Kulakayeva et al., ETASR 2025). Die Amazon-Übersicht zu Filmen und Fernsehsendungen stellte außerdem fest, dass Modelle mit etwa 2M Parametern weniger rauschrobust waren als Modelle mit etwa 0,5M. Jüngste verfügbare Daten zu AVA-Speech und Personal VAD: 2018 und 2019.
5. Frame-Größe, Latenz und Rechenbudget
VAD läuft vor allem anderen, muss also billig sein. Die Budgets in der Literatur sind winzig: WebRTC VAD entscheidet auf Frames von 10, 20 oder 30 ms (py-webrtcvad-Dokumentation), und im AVA-Speech-Benchmark brauchte er 0,06 ms pro Entscheidung, gegenüber 265 ms beim genauesten ResNet-Modell, das dafür die Richtig-Positiv-Rate über alle Sprache von 0,722 auf 0,917 hob.
Die Arbeiten von 2024 bis 2026 schließen diese Lücke von der Modellseite her. MagicNet läuft mit einem Echtzeitfaktor (Verarbeitungszeit geteilt durch Audiodauer) von 0,034 bei 22,7K Parametern, nahe an den 0,015 von WebRTC, während Silero angibt, dass sein Modell von etwa 2 MB einen Abschnitt von 30+ ms auf einem CPU-Thread in weniger als 1 ms verarbeitet (Silero-VAD-README, Angabe des Projekts). Personal VAD zeigt den anderen Grund, klein zu bleiben: Google baute ihn, um die Spracherkennung auf dem Gerät zu steuern, sodass der Erkenner nur für den registrierten Nutzer aufwacht, was Rechenaufwand und Akkuverbrauch senkt.
| Metrik | Wert | Quelle |
|---|---|---|
| Frame-Längen, Aggressivitätsmodi und Abtastraten von WebRTC VAD | 10, 20 oder 30 ms; Modi 0 bis 3; 8, 16, 32 oder 48 kHz, 16-Bit-Mono-PCM | py-webrtcvad-Dokumentation |
| Latenz pro Entscheidung, AVA-Speech-Benchmark: WebRTC / CNN tiny_320 / CNN ResNet-960 | 0,06 ms / 2,23 ms / 265 ms | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Echtzeitfaktor auf einer Intel-Xeon-CPU: WebRTC / MagicNet / MarbleNet | 0,015 / 0,034 / 0,038 | Jia et al., arXiv 2024 |
| Parameter: MagicNet / CRNN / MarbleNet | 22,7K / 36,8K / 85,2K | Jia et al., arXiv 2024 |
| Verarbeitungszeit und Modellgröße von Silero VAD | Unter 1 ms pro Abschnitt von 30+ ms auf einem CPU-Thread; etwa 2 MB; ONNX bis zu 4- bis 5-mal schneller | Silero-VAD-README (Angabe des Projekts) |
| Frame-Schritt und Eingabeabschnitt des Segmentierungsmodells von pyannote 2.0 | Etwa 16 ms; Abschnitte von 5 s | Bredin und Laurent, arXiv 2021 |
| Entscheidungsintervall des Online-SAD EML und Echtzeitfaktor auf einer CPU (Apollo-Audio) | Etwa alle 0,1 s; etwa 0,002 | Ghahabi und Fischer, arXiv 2021 |
| Größe von Personal VAD, reines Embedding-Modell gegenüber Pipeline auf Basis der Sprecherverifikation | 0,13M gegenüber 4,88M + 0,06M Parameter, eine Entscheidung alle 10 ms | Ding et al., Google, Personal VAD, arXiv 2019 |
Kontext: Die Frame-Größe ist auch ein Hebel für die Genauigkeit. Googles Fensterstudie von 2026 mittelte Vorhersagen über Fenster von 10 ms bis 10 s und fand Silero bei der Einstellung von 100 ms klar vor WebRTC. Längere Fenster glätten das Flackern, fügen aber Verzögerung hinzu, weshalb Echtzeit-Sprachwerkzeuge den nativen Frame kurz halten und danach glätten.
6. Telefonie-DTX: Eingesparte Bandbreite durch nicht gesendete Stille
In der Telefonie zahlt sich VAD über die diskontinuierliche Übertragung (DTX) aus: Hört der Detektor keine Sprache, stellt das Telefon das Senden von Sprachpaketen ein, und die Gegenstelle spielt synthetisches “Komfortrauschen” ab, damit die Leitung nicht tot klingt. Die Avaya-Dokumentation hält fest, dass mehr als 40% der Übertragung eines Gesprächs aus Stille bestehen, weil in der Regel jeweils nur eine Seite spricht (Avaya-Aura-Dokumentation, Herstellerhinweis).
Die Planungszahlen sind vorsichtiger, als der Stilleanteil vermuten lässt. Cisco rät Ingenieuren, die VAD-Einsparung nur über viele gleichzeitige Gespräche hinweg einzukalkulieren (Ciscos Leitfaden zur Bandbreite pro Gespräch, Herstellerhinweis), weil ein einzelnes Gespräch aus lauter Sprache bestehen kann und Wartemusik oder Fax den Detektor aushebeln. Avaya benennt den Fehlerkompromiss direkt: Ist er zu aggressiv, werden Wortanfänge und -enden abgeschnitten (Auslassungen), ist er nicht aggressiv genug, wird keine Bandbreite gespart (Fehlalarme). Wie das Paket-Timing anschließend die Gesprächsqualität prägt, siehe unsere Statistiken zu VoIP-Jitter-Buffer und POLQA.
| Metrik | Wert | Quelle |
|---|---|---|
| Bandbreiteneinsparung durch VAD, als Durchschnitt über mehr als 24 Gespräche | Bis zu 35 Prozent, nicht bei jedem einzelnen Gespräch erreicht | Cisco, Voice Over IP Per Call Bandwidth Consumption (Herstellerhinweis) |
| Verbindungen, auf denen Cisco sagt, dass VAD-Einsparungen nicht eingerechnet werden dürfen | Verbindungen mit weniger als 24 gleichzeitigen Sprachgesprächen | Cisco, Voice Over IP Per Call Bandwidth Consumption (Herstellerhinweis) |
| Ethernet-Bandbreite pro Gespräch bei Standard-Nutzlastgrößen, G.711 gegenüber G.729 | 87,2 kbps gegenüber 31,2 kbps | Cisco, Voice Over IP Per Call Bandwidth Consumption (Herstellerhinweis) |
| Anteil der Übertragung eines Gesprächs, der Stille ist | Mehr als 40% | Avaya-Aura-10.2.x-Dokumentation (Herstellerhinweis) |
| Standardzustand der Sprachpausenunterdrückung im Avaya Communication Manager | Deaktiviert, außer bei G.729B, wo sie eingebaut ist | Avaya-Aura-10.2.x-Dokumentation (Herstellerhinweis) |
| Kernbitrate von ITU-T G.729; Rolle von Annex B | 8 kbit/s; Annex B fügt VAD, DTX und Komfortrauschen hinzu, abgestimmt auf Leitungen, mit den Anhängen II und III für VoIP | Zusammenfassung von ITU-T Rec. G.729 (06/2012) |
| Aktualisierungsintervall des Komfortrauschens beim EVS-Codec: Standard / Bereich bei fester Rate / adaptiver Bereich | Alle 8 Frames / 1 bis 100 Frames / 8 bis 50 Frames | 3GPP TS 26.449, EVS-Komfortrauschgenerierung |
Kontext: Die EVS-Übersicht des 3GPP sagt, dass DTX die durchschnittlich benötigte Bitrate senkt, “was zu einer effizienteren Übertragung mit geringerer Last und damit höherer Kapazität führt”, nennt aber keinen einzelnen Prozentwert (Übersicht 3GPP TS 26.441). Die Zusammenfassung zu ITU-T G.729 stammt vom Juni 2012; sie bleibt der jüngste verfügbare Text zu dieser Codec-Familie.
7. Folgeschäden: Wie sich VAD-Fehler in ASR und Diarisierung fortpflanzen
Ein VAD-Fehler ist selten der letzte Fehler. Ein Fehlalarm reicht dem Spracherkenner Rauschen zum Transkribieren, eine Auslassung löscht Wörter, die keine spätere Stufe zurückholen kann. Das klarste kontrollierte Ergebnis stammt von der AGH University of Krakow: Bei Common-Voice-Sprache, die bei 9 dB SNR mit Nicht-Sprachgeräuschen aufgefüllt wurde, lag die Wortfehlerrate von Whisper mit vorgeschaltetem WebRTC VAD bei 68,3% und mit Silero VAD bei 8,0% (Barański et al., arXiv 2025). Allein die Wahl des Detektors verschob den Fehler um etwa den Faktor acht. Raten über 100% sind hier möglich, weil erfundene Wörter als Einfügungen zählen. Unsere Statistiken zu Halluzinationen in der Spracherkennung behandeln die Erkennerseite dieses Fehlers ausführlich.
Gutes VAD bringt auch Geschwindigkeit und Zeitgenauigkeit. WhisperX nutzt den pyannote-VAD, um Audio in reine Sprachabschnitte zu zerlegen und sie gestapelt zu verarbeiten, was es 11,8-mal schneller als reines Whisper machte und die Präzision der Wortzeitstempel bei AMI-Meetings erhöhte (Bain et al., WhisperX, arXiv 2023). Auf der Diarisierungsseite stellte ein Benchmark der ETH Zürich von 2025 über 196,6 Stunden fest, dass “ausgelassene Sprache den dominierenden Fehlerfall bei allen Diarisierungsmodellen darstellt” (Lanzendörfer et al., arXiv 2025); unsere Statistiken zur Diarisierungsfehlerrate bei Sprechern verfolgen das gesamte Fehlerbudget.
| Metrik | Wert | Quelle |
|---|---|---|
| Wortfehlerrate von Whisper bei Sprache mit Nicht-Sprachgeräuschen davor oder danach, WebRTC VAD gegenüber Silero VAD | 68,3% gegenüber 8,0% | Barański et al., arXiv 2025 |
| Gleicher Vergleich, wenn das Rauschen die Sprache überlappt, WebRTC VAD gegenüber Silero VAD | 75,4% gegenüber 10,8% | Barański et al., arXiv 2025 |
| Transkriptionsgeschwindigkeit mit VAD-basierter Stapelverarbeitung, WhisperX gegenüber Whisper | 11,8x gegenüber 1,0x | Bain et al., WhisperX, arXiv 2023 |
| Präzision / Trefferquote der Wortzeitstempel bei AMI-Meetings (Toleranzfenster von 200 ms), WhisperX gegenüber Whisper | 84,1 / 60,3 gegenüber 78,9 / 52,1 | Bain et al., WhisperX, arXiv 2023 |
| Durchschnittliche nichtvokale Zeit pro Aufnahme, Sprecher mit Aphasie gegenüber Kontrollsprechern (gemessen mit pyannote, bestätigt mit Silero) | 6,8 s gegenüber 1,3 s (p < 2,2e-16) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Durchschnittliche nichtvokale Zeit, Aufnahmen, in denen Whisper halluzinierte, gegenüber Aufnahmen, in denen es nicht halluzinierte | 5,3 s gegenüber 3,5 s | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Zusätzliche Diarisierungsschwierigkeit, wenn Systeme die Sprache selbst finden müssen (Track 2), statt Referenz-Sprachbereiche zu erhalten (Track 1) | “In der Größenordnung von 5%” sowohl für DER als auch für JER | Paper zur Third DIHARD Diarization Challenge, arXiv 2020 |
| Umfang des Diarisierungs-Benchmarks hinter dem Befund zu ausgelassener Sprache | 196,6 Stunden, 4 Datensätze, 5 Sprachen | Lanzendörfer et al., ETH Zürich, arXiv 2025 |
Hinweis zu Ausreißern: Dieselbe Krakauer Tabelle zeigt, dass VAD notwendig, aber nicht hinreichend ist. Silero VAD plus ein Schritt zur Entfernung von Schleifen und eine Liste bekannter halluzinierter Phrasen schnitt besser ab als Silero allein (6,5% gegenüber 8,0% Wortfehlerrate bei nicht überlappendem Audio). Jüngste verfügbare Daten zu WhisperX: 2023.
Zusammenfassung: Sprachaktivitätserkennung in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Kostenfunktion des NIST für Sprachaktivitätserkennung | 0,75 x Auslassungsrate + 0,25 x Fehlalarmrate | NIST IR 8242, OpenSAT-2017-Pilot |
| DIHARD-III-Baseline, Evaluierungs-Kernmenge: Auslassung / Fehlalarm | 4,97% / 15,07% | Paper zur Third DIHARD Diarization Challenge, arXiv 2020 |
| Detektionskosten bei Fearless Steps Phase-3, Baseline gegenüber Bestwert (Evaluierung) | 15,16% gegenüber 1,47% | Joglekar et al., Interspeech 2021 |
| Bewertungs-Toleranzfenster bei Fearless Steps, Phase-3 gegenüber Phase-2 | 0,25 s gegenüber 0,5 s | Joglekar et al., Interspeech 2021 |
| DIHARD 3 Fehlalarm / Auslassung, pyannote 2.0 | 3,9% / 3,3% | Bredin und Laurent, arXiv 2021 |
| DIHARD 3 Fehlalarm / Auslassung, Silero VAD (Version von 2021) | 17,0% / 4,0% | Bredin und Laurent, arXiv 2021 |
| Korrekt abgelehnte ESC-50-Rausch-Clips, WebRTC gegenüber Silero v6 | 0 gegenüber 0,87 | Silero VAD Quality Metrics Wiki (Angabe des Projekts) |
| MCC bei 50-ms-Fenstern, WebRTC gegenüber Silero | 0,41 gegenüber 0,72 | McKinnon et al., Google, arXiv 2026 |
| Mittlere AUC bei 0 dB SNR, WebRTC gegenüber MagicNet | 0,691 gegenüber 0,956 | Jia et al., arXiv 2024 |
| Richtig-Positiv-Rate des ResNet bei AVA-Speech, saubere Sprache gegenüber Sprache mit Musik | 0,992 gegenüber 0,787 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Genauigkeit bei verrauschter Sprache auf MS-SNSD, Baseline gegenüber Huawei-VAD mit Vorverarbeitung | 15,9% gegenüber 89,9% | Jafarzadeh Asl et al., arXiv 2025 |
| Latenz pro Entscheidung, WebRTC gegenüber ResNet-960 | 0,06 ms gegenüber 265 ms | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| VAD-Bandbreiteneinsparung als Durchschnitt über mehr als 24 Gespräche | Bis zu 35 Prozent | Cisco, Per Call Bandwidth Consumption (Herstellerhinweis) |
| Anteil der Übertragung eines Gesprächs, der Stille ist | Mehr als 40% | Avaya-Aura-10.2.x-Dokumentation (Herstellerhinweis) |
| Standard-Aktualisierungsintervall des EVS-Komfortrauschens | Alle 8 Frames | 3GPP TS 26.449 |
| Wortfehlerrate von Whisper hinter WebRTC VAD gegenüber Silero VAD | 68,3% gegenüber 8,0% | Barański et al., arXiv 2025 |
| Beschleunigung von WhisperX durch VAD-basierte Stapelverarbeitung | 11,8x | Bain et al., WhisperX, arXiv 2023 |
Methodik und Quellen
- NIST IR 8242, Evaluierungsbericht zum OpenSAT-2017-Pilot: Kostenfunktion, Toleranzfenster, Teilnahme.
- Seite der NIST-OpenSAT-Evaluierungsreihe: Evaluierungsjahre, Domänen und Programmstatus.
- Paper zur Third DIHARD Diarization Challenge (arXiv 2012.01477): Auslassungs- und Fehlalarmraten der Baseline für Sprachaktivitätserkennung, Datensatzgrößen, Befunde zu Track 1 gegenüber Track 2.
- Joglekar et al., Fearless Steps Challenge Phase-3, Interspeech 2021: Ergebnisse zu Detektionskosten bei Apollo-Audio und Toleranzfenster.
- Ghahabi und Fischer, EML online SAD for Fearless Steps Phase-III, arXiv 2021: Entscheidungsintervall und Echtzeitfaktor.
- Bredin und Laurent, End-to-end speaker segmentation for overlap-aware resegmentation, arXiv 2021: Fehlalarm- und Auslassungsraten bei AMI, DIHARD 3 und VoxConverse.
- Silero VAD Quality Metrics Wiki, Silero-VAD-README und Silero-VAD-Releases: vom Projekt gemeldete Angaben zu Genauigkeit, Geschwindigkeit und Releases.
- McKinnon et al., Window Size Versus Accuracy Experiments in Voice Activity Detectors, Google, arXiv 2026: MCC-Vergleich von RMS, WebRTC und Silero.
- py-webrtcvad-Dokumentation: Frame-Größen, Modi und Abtastraten von WebRTC VAD.
- Chaudhuri et al., AVA-Speech, Interspeech 2018: Label-Anteile, geschätzter SNR, Richtig-Positiv-Raten je Bedingung und Latenz.
- Jia et al., A Real-Time Voice Activity Detection Based on Lightweight Neural Network, arXiv 2024: F1-Wert und AUC bei 0 dB, Parameter und Echtzeitfaktor.
- Jafarzadeh Asl et al., Tiny Noise-Robust Voice Activity Detector for Voice Assistants, Huawei, arXiv 2025: Kompromiss zwischen Genauigkeit bei verrauschter Sprache und bei Nicht-Sprache.
- Kulakayeva et al., Robust Neural Network-Based VAD under Low SNR, ETASR 2025: SNR-Bereich und Robustheitsschwelle.
- Sharma et al., Empirical review of VAD for movies and TV shows, Neurocomputing 2022: Label-Rauschen und Befunde zur Modellgröße.
- Ding et al., Personal VAD, Google, arXiv 2019: Genauigkeit, Größe und Frame-Rate des Zielsprecher-VAD.
- Cisco, Voice Over IP Per Call Bandwidth Consumption: Hinweise zu VAD-Einsparungen und Bandbreite pro Gespräch.
- Avaya Aura 10.2.x, Silence suppression or voice activity detection: Stilleanteil und Standardwerte.
- Zusammenfassung zu ITU-T Rec. G.729 (06/2012), 3GPP TS 26.449 EVS comfort noise generation und Übersicht 3GPP TS 26.441 EVS: Funktionsweise von DTX und Komfortrauschen (3GPP-Text über den iTecSpec-Spiegel gelesen).
- Barański et al., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, arXiv 2025: Wortfehlerrate hinter WebRTC gegenüber Silero VAD.
- Bain et al., WhisperX, arXiv 2023: Ergebnisse zu Beschleunigung und Wortzeitstempeln durch VAD-basierte Stapelverarbeitung.
- Wang et al., Calm-Whisper, arXiv 2025: unabhängige Prüfung der Genauigkeit von Silero v5 auf ESC-50.
- Koenecke et al., Careless Whisper, ACM FAccT 2024: nichtvokale Zeit und Halluzination.
- Lanzendörfer et al., Benchmarking Diarization Models, ETH Zürich, arXiv 2025: ausgelassene Sprache als dominierender Diarisierungsfehler.
- Daten-Hinweis: Ein Großteil der Benchmark-Basis ist älter als drei Jahre (OpenSAT 2017, AVA-Speech 2018, Personal VAD 2019, DIHARD III 2020 bis 2021, Fearless Steps Phase-3 2021, WhisperX 2023), weil seither keine öffentliche Challenge zur Sprachaktivitätserkennung stattgefunden hat; sie gelten als die jüngsten verfügbaren Daten. Die DIHARD-3-Baseline-Zeile im pyannote-Paper (4,0% Fehlalarm, 4,2% Auslassung) stimmt nicht mit den Evaluierungszahlen des DIHARD-III-Papers selbst überein (15,07% und 4,97% auf der Kernmenge), wahrscheinlich wegen einer anderen Aufteilung oder Konfiguration, weshalb wir jede nur mit ihrer eigenen Quelle zitieren. Das Silero-Modell in der pyannote-Tabelle von 2021 ist älter als Silero v5 und v6. Das Google-Paper von 2026 gibt Silero ein natives Fenster von 16 ms an, während das Silero-README von Abschnitten von 30+ ms spricht. AVA-Speech beschreibt sich selbst sowohl mit “45 Stunden” als auch mit “etwa 46 Stunden”. Das Personal-VAD-Paper sagt nicht vollständig, ob die Modelle des verrauschten Tests anders trainiert wurden. Die Zahlen zu Silero, Cisco und Avaya sind Angaben oder Hinweise der Herausgeber selbst. Ciscos 35 Prozent sind eine Planungszahl für den Durchschnittsfall, keine Messung eines einzelnen Netzes.
- Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn die Papers der ICASSP 2027 erscheinen und das Silero-VAD-Projekt seine Quality-Metrics-Seite das nächste Mal aktualisiert.