Oficjalny detektor bazowy DIHARD III przeoczył 4,97% mowy na rdzeniowym zbiorze ewaluacyjnym, ale błędnie oznaczył nie-mowę jako mowę w 15,07% przypadków, czyli trzy razy częściej niż przeoczał. Ta różnica to cała historia wykrywania aktywności głosowej (VAD): każdy detektor zamienia przeoczenia (prawdziwą mowę, którą odrzuca) na fałszywe alarmy (ciszę, muzykę lub hałas, które przepuszcza), a testy porównawcze rozstrzygają, który błąd jest ważniejszy. W wyzwaniu Fearless Steps Phase-3 na nagraniach NASA Apollo najlepszy system obniżył koszt detekcji systemu bazowego z 15,16% do 1,47%, natomiast przy stosunku sygnału do szumu 0 dB WebRTC VAD uzyskał średnio zaledwie 0,581 w mierze F1. U źródła wszystkiego głównym wrogiem jest hałas, dlatego VAD i opóźnienie neuronowego tłumienia szumów zwykle stroi się razem. Zebraliśmy dane z ewaluacji OpenSAT organizacji NIST, wyzwań DIHARD III i Fearless Steps, badań Google AVA-Speech oraz badania rozmiaru okna z 2026 roku, specyfikacji kodeków 3GPP i ITU-T, wytycznych telefonicznych Cisco i Avaya oraz ponad tuzina recenzowanych artykułów i preprintów.
TL;DR
- NIST oceniał wykrywanie aktywności mowy jako 0,75 × wskaźnik przeoczeń + 0,25 × wskaźnik fałszywych alarmów, przez co przeoczenie było trzy razy bardziej kosztowne (NIST IR 8242, pilotaż OpenSAT 2017).
- System bazowy DIHARD III miał 4,97% przeoczeń i 15,07% fałszywych alarmów na rdzeniowym zbiorze ewaluacyjnym (artykuł o wyzwaniu Third DIHARD Diarization Challenge, arXiv 2020).
- Najlepszy system Fearless Steps Phase-3 osiągnął koszt detekcji 1,47% na danych ewaluacyjnych wobec 15,16% dla systemu bazowego (Joglekar i in., Interspeech 2021).
- Na nagraniach DIHARD 3 pyannote 2.0 miał 3,9% fałszywych alarmów i 3,3% przeoczeń, wobec 17,0% i 4,0% dla Silero VAD dostępnego w 2021 roku (Bredin i Laurent, arXiv 2021).
- Na zbiorze szumów środowiskowych ESC-50 WebRTC VAD uzyskał skuteczność 0, Silero v5 0,61, a Silero v6 0,87 (Silero VAD Quality Metrics, deklaracja projektu).
- Przy oknach 50 ms współczynnik korelacji Matthewsa Silero wyniósł 0,72, wobec 0,41 dla WebRTC i 0,11 dla prostego detektora głośności (RMS) (McKinnon i in., Google, arXiv 2026).
- Przy 0 dB SNR WebRTC VAD uzyskał średnie AUC 0,691, wobec 0,956 dla MagicNet z 22,7K parametrów (Jia i in., arXiv 2024).
- WebRTC VAD potrzebował 0,06 ms na decyzję, duży VAD ResNet 265 ms (Chaudhuri i in., AVA-Speech, Interspeech 2018).
- Cisco planuje, że VAD zaoszczędzi do 35 procent pasma głosowego, ale tylko jako średnia z ponad 24 rozmów (Cisco, Per Call Bandwidth Consumption).
- Wskaźnik błędów słów Whisper na mowie dopełnionej szumem wyniósł 68,3% za WebRTC VAD i 8,0% za Silero VAD (Barański i in., arXiv 2025).
1. Jak ocenia się błędy VAD: przeoczenia a fałszywe alarmy
Zanim porównasz jakiekolwiek dwie liczby VAD, sprawdź zasady oceny. „Fałszywy alarm” to nie-mowa oznaczona jako mowa; „przeoczenie” to mowa oznaczona jako nie-mowa. Następnie oceniający decydują, ile kosztuje każdy błąd i ile luzu dać wokół krawędzi segmentów. Ten luz nazywa się marginesem tolerancji (collar): krótkie okno wokół każdej prawdziwej granicy mowy, w którym błędów się nie liczy. NIST ważył przeoczenia na 0,75, a fałszywe alarmy na 0,25, uzasadniając to tym, że „przeoczone detekcje uważa się za ważniejsze niż fałszywe alarmy” (NIST IR 8242, pilotaż OpenSAT 2017).
Od tamtej pory trend zmierza ku ostrzejszej ocenie. Marginesy tolerancji zmalały z 0,5 s do 0,25 s w Fearless Steps i całkowicie zniknęły w DIHARD III, więc wynik z 2026 roku oceniony bez marginesu nie jest porównywalny z wynikiem z 2017 roku ocenionym z marginesem. Sama seria NIST jest zakończona: strona programu OpenSAT podaje jego status jako zakończony, bez ewaluacji po 2020 roku.
| Metryka | Wartość | Źródło |
|---|---|---|
| Wagi funkcji kosztu detekcji używane do oceny wykrywania aktywności mowy | DCF = 0,75 × P_Miss + 0,25 × P_FA | NIST IR 8242, pilotaż OpenSAT 2017 |
| Nieoceniane okno (margines tolerancji) wokół każdego referencyjnego segmentu mowy, pilotaż OpenSAT 2017 | 0,5 s | NIST IR 8242, pilotaż OpenSAT 2017 |
| Zespoły, które przesłały wyniki do pilotażu OpenSAT 2017, wobec zarejestrowanych ośrodków | 22 wobec 33 | NIST IR 8242, pilotaż OpenSAT 2017 |
| Ostatnia ewaluacja OpenSAT i jej dziedzina | OpenSAT20 (2020), wyłącznie angielskojęzyczna łączność służb bezpieczeństwa publicznego | Strona serii ewaluacji NIST OpenSAT |
| Margines tolerancji oceny, Fearless Steps Phase-3 wobec Phase-2 | 0,25 s wobec 0,5 s | Joglekar i in., Fearless Steps Phase-3, Interspeech 2021 |
| Margines tolerancji użyty w DIHARD III | Brak („bez użycia marginesów tolerancji”), mowa nakładająca się jest oceniana | Artykuł o wyzwaniu Third DIHARD Diarization Challenge, arXiv 2020 |
| Zgodność między 3 ludzkimi oceniającymi, którzy oznaczali każdy klip AVA-Speech | Kappa Fleissa 0,74 („znaczna”) | Chaudhuri i in., AVA-Speech, Interspeech 2018 |
| Długość segmentu użyta do oceny Silero i konkurencyjnych VAD | 31,25 ms, próg dostrojony na 17-godzinnym wielodziedzinowym zbiorze walidacyjnym | Wiki Silero VAD Quality Metrics (deklaracja projektu) |
Kontekst: nawet dane referencyjne są zaszumione. Badanie Amazon obejmujące 450 godzin filmów i seriali wykazało, że wysokiej jakości pliki napisów używane jako etykiety zawierają do 15% szumu etykiet (Sharma i in., Neurocomputing 2022). Najnowsze dostępne dane dla zasad oceny NIST i AVA: 2017 do 2019 oraz 2018.
2. Wyniki wyzwań: wskaźniki przeoczeń i fałszywych alarmów na trudnym dźwięku
Publiczne wyzwania to miejsce, w którym VAD spotyka dźwięk, pod który nikt go nie stroił. Liczby z DIHARD III pokazują sedno problemu: wskaźnik fałszywych alarmów systemu bazowego skoczył z 3,98% na danych deweloperskich do 15,07% na rdzeniowym zbiorze ewaluacyjnym, podczas gdy wskaźnik przeoczeń zmienił się znacznie mniej. Detektory przeuczają się na szum tła, na którym były trenowane, a nowy szum zamienia się w fantomową mowę.
Wyniki Fearless Steps pokazują przeciwny koniec skali. Nagrania z misji NASA Apollo są zaszumione, wielokanałowe i sprzed dziesiątek lat, a mimo to najlepszy system Phase-3 obniżył koszt detekcji do 1,47%, czyli około jednej dziesiątej wartości bazowej. Przegląd Fearless Steps Phase-3 pokazuje też granicę: Phase-3 nie pobiła najlepszego wyniku Phase-2, wynoszącego 1,07%, a podzbiór Apollo-13 pozostał trudniejszy niż Apollo-11.
| Metryka | Wartość | Źródło |
|---|---|---|
| System bazowy DIHARD III, rdzeniowy zbiór deweloperski: przeoczenia / fałszywe alarmy / błąd łączny | 1,84% / 3,98% / 2,30% | Artykuł o wyzwaniu Third DIHARD Diarization Challenge, arXiv 2020 |
| System bazowy DIHARD III, rdzeniowy zbiór ewaluacyjny: przeoczenia / fałszywe alarmy / błąd łączny | 4,97% / 15,07% / 7,26% | Artykuł o wyzwaniu Third DIHARD Diarization Challenge, arXiv 2020 |
| System bazowy DIHARD III, pełny zbiór ewaluacyjny: przeoczenia / fałszywe alarmy / błąd łączny | 4,35% / 14,65% / 6,51% | Artykuł o wyzwaniu Third DIHARD Diarization Challenge, arXiv 2020 |
| Rozmiar rdzeniowego zbioru ewaluacyjnego DIHARD III i udział mowy | 184 nagrania, 22,73 godziny, 77,35% mowy, 11 dziedzin | Artykuł o wyzwaniu Third DIHARD Diarization Challenge, arXiv 2020 |
| Udział w Fearless Steps Phase-3 (wszystkie ścieżki) | 9 organizacji w 14 zespołach przypisanych do zadań, 235 zgłoszeń systemów | Joglekar i in., Interspeech 2021 |
| Koszt detekcji systemu bazowego Fearless Steps Phase-3, zbiór deweloperski wobec ewaluacyjnego | 12,84% wobec 15,16% | Joglekar i in., Interspeech 2021 |
| Najlepszy koszt detekcji Fearless Steps Phase-3: pełna ewaluacja / podzbiór Apollo-13 / podzbiór nieznanych kanałów | 1,47% / 2,37% / 1,67% | Joglekar i in., Interspeech 2021 |
| Najlepszy koszt detekcji Fearless Steps Phase-2 (wciąż stan wiedzy po Phase-3) | 1,07% | Joglekar i in., Interspeech 2021 |
Uwaga o wartościach odstających: artykuł o DIHARD III stwierdza, że wykrywanie aktywności mowy „pozostaje trudnym problemem w niektórych z objętych dziedzin”, a bez dokładnej segmentacji diaryzacja pogarszała się „katastrofalnie w niektórych”, z wyjątkiem audiobooków. Pełne tabele są w artykule o wyzwaniu DIHARD III. Najnowsze dostępne dane: DIHARD III (2020 do 2021) i Fearless Steps Phase-3 (2021); żadne z wyzwań nie przeprowadziło nowszej ścieżki wykrywania aktywności mowy.
3. Otwarte modele twarzą w twarz: pyannote, Silero i WebRTC
Większość produktów dostarcza jeden z trzech otwartych detektorów: VAD oparty na przetwarzaniu sygnałów z projektu WebRTC firmy Google, neuronowy VAD Silero albo model segmentacji pyannote. Niezależne dane zgadzają się co do rankingu, a różnica jest największa dokładnie tam, gdzie produkty zawodzą: na dźwięku zawierającym wyłącznie szum. Na klipach szumów środowiskowych ESC-50 WebRTC VAD uzyskał skuteczność 0, czyli uznał każdy klip szumu za mowę, podczas gdy Silero v6 poprawnie rozpoznał 0,87 (Silero VAD Quality Metrics, deklaracja samego projektu).
Artykuł o pyannote 2.0 jest lepszym odniesieniem dla podziału na fałszywe alarmy i przeoczenia, ponieważ podaje je osobno na trzech publicznych zbiorach (Bredin i Laurent, arXiv 2021). Jego strojenie minimalizuje ich sumę, więc ląduje blisko równowagi (3,9% wobec 3,3% na DIHARD 3). Model Silero z 2021 roku w tej samej tabeli pokazuje klasyczny, niesymetryczny profil: mało przeoczeń, dużo fałszywych alarmów. ROC-AUC, używane poniżej, to ocena od 0 do 1 tego, jak dobrze detektor oddziela mowę od nie-mowy dla wszystkich progów; współczynnik korelacji Matthewsa (MCC) to ocena od -1 do 1, która pozostaje rzetelna, gdy jedna klasa dominuje.
| Metryka | Wartość | Źródło |
|---|---|---|
| DIHARD 3: fałszywe alarmy / przeoczenia / łączny błąd detekcji, pyannote 2.0 wobec Silero VAD (wersja z 2021) | 3,9% / 3,3% / 7,3% wobec 17,0% / 4,0% / 21,0% | Bredin i Laurent, arXiv 2021 |
| Spotkania AMI: fałszywe alarmy / przeoczenia, pyannote 2.0 wobec Silero VAD (wersja z 2021) | 3,6% / 3,2% wobec 9,4% / 1,7% | Bredin i Laurent, arXiv 2021 |
| VoxConverse: fałszywe alarmy / przeoczenia, pyannote 2.0 wobec Silero VAD (wersja z 2021) | 1,8% / 0,8% wobec 3,0% / 1,1% | Bredin i Laurent, arXiv 2021 |
| ROC-AUC na 17-godzinnym wielodziedzinowym zbiorze walidacyjnym: WebRTC / Silero v5 / Silero v6 | 0,73 / 0,96 / 0,97 | Wiki Silero VAD Quality Metrics (deklaracja projektu) |
| ROC-AUC na 80 godzinach zaszumionej mowy MSDWild: WebRTC wobec Silero v6 | 0,62 wobec 0,79 | Wiki Silero VAD Quality Metrics (deklaracja projektu) |
| Udział klipów szumu ESC-50 poprawnie odrzuconych: WebRTC / Silero v5 / Silero v6 | 0 / 0,61 / 0,87 | Wiki Silero VAD Quality Metrics (deklaracja projektu) |
| Skuteczność na poziomie wypowiedzi Silero VAD v5 na ESC-50 (niezależna weryfikacja) | 61% | Wang i in., Calm-Whisper, arXiv 2025 |
| MCC przy oknach 50 ms na 1,1 godziny podcastów, filmów i muzyki: RMS / WebRTC / Silero | 0,11 / 0,41 / 0,72 | McKinnon i in., Google, arXiv 2026 |
Kontekst: zespół Google stwierdził, że dodanie histerezy (reguły utrzymującej bieżący stan mowy lub nie-mowy, dopóki dowody wyraźnie się nie zmienią) podniosło MCC WebRTC z 0,41 do 0,47 i nie dało nic użytecznego dla Silero (McKinnon i in., arXiv 2026). Własne notatki do wydania Silero v6.0 twierdzą o 16% mniej błędów na zaszumionych danych z życia i o 11% mniej na walidacji wielodziedzinowej niż w v5, co jest deklaracją projektu jeszcze niepowtórzoną niezależnie.
4. Hałas i SNR: gdzie wykrywanie zawodzi
Stosunek sygnału do szumu (SNR) to poziom mowy ponad tłem w decybelach; 0 dB oznacza, że mowa i szum są równie głośne. Każdy zbiór danych pokazuje tu ten sam wzorzec: czysta mowa to problem rozwiązany, a muzyka i hałas nie. W zbiorze filmowym Google AVA-Speech czysta mowa miała szacowany SNR 40,8 dB, ale mowa na tle muzyki tylko 11,7 dB, a nawet odsetek prawdziwych pozytywów dużego detektora ResNet spadł z 0,992 na czystej mowie do 0,787 na mowie z muzyką (Chaudhuri i in., AVA-Speech).
Poprawa wykrywania zaszumionej mowy zwykle kosztuje fałszywe alarmy. Niewielki VAD Huawei z 2025 roku podniósł skuteczność dla zaszumionej mowy na MS-SNSD z 15,9% do 89,9% dzięki etapowi wstępnego przetwarzania, ale jego skuteczność dla nie-mowy na tym samym zbiorze spadła z 99,1% do 87,7% (Jafarzadeh Asl i in., arXiv 2025). Nie ma darmowego lunchu: punkt pracy po prostu przesuwa się wzdłuż krzywej kompromisu.
| Metryka | Wartość | Źródło |
|---|---|---|
| Szacowany SNR w AVA-Speech: czysta mowa / mowa z szumem / mowa z muzyką | 40,8 dB / 16,2 dB / 11,7 dB | Chaudhuri i in., AVA-Speech, Interspeech 2018 |
| Odsetek prawdziwych pozytywów w AVA-Speech przy stałym odsetku fałszywych pozytywów 0,315, WebRTC VAD: czysta / szum / muzyka | 0,786 / 0,706 / 0,733 | Chaudhuri i in., AVA-Speech, Interspeech 2018 |
| Odsetek prawdziwych pozytywów w AVA-Speech przy tym samym odsetku fałszywych pozytywów, model ResNet-960: czysta / szum / muzyka | 0,992 / 0,944 / 0,787 | Chaudhuri i in., AVA-Speech, Interspeech 2018 |
| Średnie F1 i AUC przy 0 dB (gwar, samochód, hałas maszyn), WebRTC VAD wobec MagicNet | F1 0,581 wobec 0,859; AUC 0,691 wobec 0,956 | Jia i in., arXiv 2024 |
| Skuteczność dla zaszumionej mowy w MS-SNSD, system bazowy SG-VAD wobec Huawei VAD z przetwarzaniem wstępnym | 15,9% wobec 89,9% | Jafarzadeh Asl i in., arXiv 2025 |
| Skuteczność dla nie-mowy w MS-SNSD, system bazowy SG-VAD wobec Huawei VAD z przetwarzaniem wstępnym | 99,1% wobec 87,7% | Jafarzadeh Asl i in., arXiv 2025 |
| Odsetek fałszywych pozytywów potrzebny do wychwycenia 99% mowy, SG-VAD wobec Huawei VAD z przetwarzaniem wstępnym | 58% wobec 28% | Jafarzadeh Asl i in., arXiv 2025 |
| Średnia precyzja uśredniona (mAP) personalnego VAD (dla docelowego mówcy), system bazowy wobec najlepszego modelu: czysty zbiór testowy wobec zbioru testowego z dodanym szumem i pogłosem | 0,900 wobec 0,969 czysty; 0,801 wobec 0,928 zaszumiony | Ding i in., Google, Personal VAD, arXiv 2019 |
Kontekst: badanie z grudnia 2025 roku trenowało hybrydowe detektory CNN na mowie kazachskiej zmieszanej z szumem od -18 dB do +30 dB; najlepsze modele osiągnęły wynik F1 99,6% i pozostały odporne powyżej -12 dB, podczas gdy modele trenowane przy jednym poziomie szumu uogólniały się słabo (Kulakayeva i in., ETASR 2025). Przegląd Amazon dotyczący filmów i seriali wykazał też, że modele o około 2M parametrów były mniej odporne na hałas niż modele o około 0,5M. Najnowsze dostępne dane dla AVA-Speech i Personal VAD: 2018 i 2019.
5. Rozmiar ramki, opóźnienie i budżet obliczeniowy
VAD działa przed wszystkim innym, więc musi być tani. Budżety w literaturze są maleńkie: WebRTC VAD podejmuje decyzje na ramkach 10, 20 lub 30 ms (dokumentacja py-webrtcvad), a w teście AVA-Speech potrzebował 0,06 ms na decyzję, wobec 265 ms dla najdokładniejszego modelu ResNet, który w zamian podniósł odsetek prawdziwych pozytywów dla całej mowy z 0,722 do 0,917.
Prace z lat 2024 do 2026 zamykają tę lukę od strony modelu. MagicNet działa ze współczynnikiem czasu rzeczywistego (czas przetwarzania podzielony przez czas trwania dźwięku) 0,034 przy 22,7K parametrów, blisko 0,015 dla WebRTC, a Silero twierdzi, że jej model o rozmiarze około 2 MB przetwarza fragment 30+ ms w czasie poniżej 1 ms na jednym wątku procesora (Silero VAD README, deklaracja projektu). Personal VAD pokazuje inny powód, by pozostać małym: Google zbudowało go do bramkowania rozpoznawania mowy na urządzeniu, tak by rozpoznawacz budził się tylko dla zarejestrowanego użytkownika, co zmniejsza obliczenia i zużycie baterii.
| Metryka | Wartość | Źródło |
|---|---|---|
| Długości ramek WebRTC VAD, tryby agresywności i częstotliwości próbkowania | 10, 20 lub 30 ms; tryby od 0 do 3; 8, 16, 32 lub 48 kHz, 16-bitowy mono PCM | Dokumentacja py-webrtcvad |
| Opóźnienie na decyzję, test AVA-Speech: WebRTC / CNN tiny_320 / CNN ResNet-960 | 0,06 ms / 2,23 ms / 265 ms | Chaudhuri i in., AVA-Speech, Interspeech 2018 |
| Współczynnik czasu rzeczywistego na procesorze Intel Xeon: WebRTC / MagicNet / MarbleNet | 0,015 / 0,034 / 0,038 | Jia i in., arXiv 2024 |
| Parametry: MagicNet / CRNN / MarbleNet | 22,7K / 36,8K / 85,2K | Jia i in., arXiv 2024 |
| Czas przetwarzania i rozmiar modelu Silero VAD | Poniżej 1 ms na fragment 30+ ms na jednym wątku procesora; około 2 MB; ONNX do 4-5 razy szybszy | Silero VAD README (deklaracja projektu) |
| Krok ramki i fragment wejściowy modelu segmentacji pyannote 2.0 | Około 16 ms; fragmenty po 5 s | Bredin i Laurent, arXiv 2021 |
| Odstęp między decyzjami i współczynnik czasu rzeczywistego online SAD EML na jednym procesorze (nagrania Apollo) | Około co 0,1 s; około 0,002 | Ghahabi i Fischer, arXiv 2021 |
| Rozmiar Personal VAD, model oparty tylko na osadzeniach wobec potoku opartego na weryfikacji mówcy | 0,13M wobec 4,88M + 0,06M parametrów, jedna decyzja co 10 ms | Ding i in., Google, Personal VAD, arXiv 2019 |
Kontekst: rozmiar ramki jest też dźwignią dokładności. Badanie okien Google z 2026 roku uśredniało predykcje po oknach od 10 ms do 10 s i stwierdziło wyraźną przewagę Silero nad WebRTC przy ustawieniu 100 ms. Dłuższe okna wygładzają migotanie, ale dodają opóźnienie, dlatego narzędzia głosowe czasu rzeczywistego utrzymują krótką ramkę natywną i wygładzają wynik dopiero potem.
6. DTX w telefonii: pasmo oszczędzone dzięki niewysyłaniu ciszy
W telefonii VAD zwraca się dzięki transmisji nieciągłej (DTX): gdy detektor nie słyszy mowy, telefon przestaje wysyłać pakiety głosowe, a druga strona odtwarza syntetyczny „szum komfortu”, by linia nie brzmiała jak martwa. Dokumentacja Avaya zauważa, że ponad 40% transmisji w rozmowie to cisza, ponieważ zwykle mówi naraz tylko jedna strona (dokumentacja Avaya Aura, wytyczne dostawcy).
Liczby planistyczne są ostrożniejsze, niż sugeruje udział ciszy. Cisco każe inżynierom liczyć na oszczędności z VAD tylko przy wielu jednoczesnych rozmowach (przewodnik Cisco po paśmie na rozmowę, wytyczne dostawcy), ponieważ pojedyncza rozmowa może składać się wyłącznie z mówienia, a muzyka podczas oczekiwania lub faks pokonują detektor. Avaya wprost nazywa kompromis między błędami: zbyt agresywny VAD ucina początki i końce słów (przeoczenia), a niewystarczająco agresywny nie oszczędza pasma (fałszywe alarmy). O tym, jak czas pakietów kształtuje dalej jakość rozmowy, przeczytasz w naszych statystykach bufora jittera VoIP i POLQA.
| Metryka | Wartość | Źródło |
|---|---|---|
| Oszczędność pasma dzięki VAD, jako średnia z ponad 24 rozmów | Do 35 procent, nieosiągana w każdej pojedynczej rozmowie | Cisco, Voice Over IP Per Call Bandwidth Consumption (wytyczne dostawcy) |
| Łącza, na których według Cisco nie wolno liczyć oszczędności z VAD | Łącza obsługujące mniej niż 24 jednoczesne rozmowy głosowe | Cisco, Voice Over IP Per Call Bandwidth Consumption (wytyczne dostawcy) |
| Pasmo Ethernet na rozmowę przy domyślnych rozmiarach ładunku, G.711 wobec G.729 | 87,2 kbps wobec 31,2 kbps | Cisco, Voice Over IP Per Call Bandwidth Consumption (wytyczne dostawcy) |
| Udział ciszy w transmisji rozmowy | Ponad 40% | Dokumentacja Avaya Aura 10.2.x (wytyczne dostawcy) |
| Domyślny stan tłumienia ciszy w Avaya Communication Manager | Wyłączone, z wyjątkiem G.729B, gdzie jest wbudowane | Dokumentacja Avaya Aura 10.2.x (wytyczne dostawcy) |
| Podstawowa przepływność ITU-T G.729; rola Annex B | 8 kbit/s; Annex B dodaje VAD, DTX i szum komfortu, jest dostrojony do obwodów, a Appendices II i III dotyczą VoIP | Podsumowanie ITU-T Rec. G.729 (06/2012) |
| Odstęp aktualizacji szumu komfortu w kodeku EVS: domyślny / zakres stałej szybkości / zakres adaptacyjny | Co 8 ramek / od 1 do 100 ramek / od 8 do 50 ramek | 3GPP TS 26.449, generowanie szumu komfortu w EVS |
Kontekst: przegląd EVS przygotowany przez 3GPP stwierdza, że DTX obniża średnią wymaganą przepływność, „prowadząc do wydajniejszej transmisji ze zmniejszonym obciążeniem, a tym samym zwiększoną pojemnością”, ale nie podaje jednego procentu (przegląd 3GPP TS 26.441). Podsumowanie ITU-T G.729 pochodzi z czerwca 2012 roku; pozostaje najnowszym dostępnym tekstem dla tej rodziny kodeków.
7. Szkody w dalszych etapach: jak błędy VAD przenoszą się na ASR i diaryzację
Błąd VAD rzadko jest błędem ostatecznym. Fałszywy alarm daje rozpoznawaczowi mowy szum do transkrypcji; przeoczenie usuwa słowa, których żaden późniejszy etap nie odzyska. Najczytelniejszy kontrolowany wynik pochodzi z Akademii Górniczo-Hutniczej w Krakowie: na mowie z Common Voice dopełnionej dźwiękami niebędącymi mową przy SNR 9 dB wskaźnik błędów słów Whisper wyniósł 68,3% z WebRTC VAD z przodu i 8,0% z Silero VAD (Barański i in., arXiv 2025). Sam wybór detektora zmienił błąd około ośmiokrotnie. Wskaźniki powyżej 100% są tu możliwe, ponieważ zmyślone słowa liczą się jako wstawienia. Nasze statystyki halucynacji rozpoznawania mowy szczegółowo omawiają tę awarię od strony rozpoznawacza.
Dobry VAD kupuje też szybkość i dokładność czasowania. WhisperX używa VAD z pyannote do cięcia dźwięku na fragmenty zawierające wyłącznie mowę i przetwarzania ich w paczkach, co uczyniło go 11,8 raza szybszym od zwykłego Whispera i poprawiło precyzję czasowania słów na spotkaniach AMI (Bain i in., WhisperX, arXiv 2023). Po stronie diaryzacji test porównawczy ETH Zurich z 2025 roku obejmujący 196,6 godziny wykazał, że „przeoczona mowa jest dominującym przypadkiem porażki we wszystkich modelach diaryzacji” (Lanzendörfer i in., arXiv 2025); nasze statystyki wskaźnika błędów diaryzacji mówców śledzą cały budżet błędów.
| Metryka | Wartość | Źródło |
|---|---|---|
| Wskaźnik błędów słów Whisper na mowie z dźwiękami niebędącymi mową przed nią lub po niej, WebRTC VAD wobec Silero VAD | 68,3% wobec 8,0% | Barański i in., arXiv 2025 |
| To samo porównanie, gdy szum nakłada się na mowę, WebRTC VAD wobec Silero VAD | 75,4% wobec 10,8% | Barański i in., arXiv 2025 |
| Szybkość transkrypcji z dzieleniem na paczki opartym na VAD, WhisperX wobec Whispera | 11,8 raza wobec 1,0 raza | Bain i in., WhisperX, arXiv 2023 |
| Precyzja / czułość czasowania słów na spotkaniach AMI (margines tolerancji 200 ms), WhisperX wobec Whispera | 84,1 / 60,3 wobec 78,9 / 52,1 | Bain i in., WhisperX, arXiv 2023 |
| Średni czas bez głosu na nagranie, osoby z afazją wobec mówców z grupy kontrolnej (zmierzone przy użyciu pyannote, potwierdzone Silero) | 6,8 s wobec 1,3 s (p < 2.2e-16) | Koenecke i in., Careless Whisper, ACM FAccT 2024 |
| Średni czas bez głosu, nagrania, w których Whisper halucynował, wobec nagrań, w których nie halucynował | 5,3 s wobec 3,5 s | Koenecke i in., Careless Whisper, ACM FAccT 2024 |
| Dodatkowa trudność diaryzacji, gdy systemy muszą same znaleźć mowę (Ścieżka 2) zamiast otrzymać referencyjne obszary mowy (Ścieżka 1) | „Rzędu 5%” zarówno dla DER, jak i JER | Artykuł o wyzwaniu Third DIHARD Diarization Challenge, arXiv 2020 |
| Zakres testu diaryzacji stojącego za wnioskiem o przeoczonej mowie | 196,6 godziny, 4 zbiory danych, 5 języków | Lanzendörfer i in., ETH Zurich, arXiv 2025 |
Uwaga o wartościach odstających: ta sama tabela z Krakowa pokazuje, że VAD jest konieczny, ale niewystarczający. Silero VAD z krokiem usuwania pętli i listą znanych halucynowanych fraz poradził sobie lepiej niż samo Silero (6,5% wobec 8,0% wskaźnika błędów słów na dźwięku bez nakładania). Najnowsze dostępne dane dla WhisperX: 2023.
Podsumowanie: wykrywanie aktywności głosowej w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Funkcja kosztu aktywności mowy NIST | 0,75 × wskaźnik przeoczeń + 0,25 × wskaźnik fałszywych alarmów | NIST IR 8242, pilotaż OpenSAT 2017 |
| System bazowy DIHARD III, rdzeń ewaluacyjny: przeoczenia / fałszywe alarmy | 4,97% / 15,07% | Artykuł o wyzwaniu Third DIHARD Diarization Challenge, arXiv 2020 |
| Koszt detekcji Fearless Steps Phase-3, system bazowy wobec najlepszego (ewaluacja) | 15,16% wobec 1,47% | Joglekar i in., Interspeech 2021 |
| Margines tolerancji oceny Fearless Steps, Phase-3 wobec Phase-2 | 0,25 s wobec 0,5 s | Joglekar i in., Interspeech 2021 |
| DIHARD 3 fałszywe alarmy / przeoczenia, pyannote 2.0 | 3,9% / 3,3% | Bredin i Laurent, arXiv 2021 |
| DIHARD 3 fałszywe alarmy / przeoczenia, Silero VAD (wersja z 2021) | 17,0% / 4,0% | Bredin i Laurent, arXiv 2021 |
| Klipy szumu ESC-50 poprawnie odrzucone, WebRTC wobec Silero v6 | 0 wobec 0,87 | Wiki Silero VAD Quality Metrics (deklaracja projektu) |
| MCC przy oknach 50 ms, WebRTC wobec Silero | 0,41 wobec 0,72 | McKinnon i in., Google, arXiv 2026 |
| Średnie AUC przy 0 dB SNR, WebRTC wobec MagicNet | 0,691 wobec 0,956 | Jia i in., arXiv 2024 |
| Odsetek prawdziwych pozytywów ResNet w AVA-Speech, czysta mowa wobec mowy z muzyką | 0,992 wobec 0,787 | Chaudhuri i in., AVA-Speech, Interspeech 2018 |
| Skuteczność dla zaszumionej mowy w MS-SNSD, system bazowy wobec Huawei VAD z przetwarzaniem wstępnym | 15,9% wobec 89,9% | Jafarzadeh Asl i in., arXiv 2025 |
| Opóźnienie na decyzję, WebRTC wobec ResNet-960 | 0,06 ms wobec 265 ms | Chaudhuri i in., AVA-Speech, Interspeech 2018 |
| Oszczędność pasma dzięki VAD jako średnia z ponad 24 rozmów | Do 35 procent | Cisco, Per Call Bandwidth Consumption (wytyczne dostawcy) |
| Udział ciszy w transmisji rozmowy | Ponad 40% | Dokumentacja Avaya Aura 10.2.x (wytyczne dostawcy) |
| Domyślny odstęp aktualizacji szumu komfortu w EVS | Co 8 ramek | 3GPP TS 26.449 |
| Wskaźnik błędów słów Whisper za WebRTC VAD wobec Silero VAD | 68,3% wobec 8,0% | Barański i in., arXiv 2025 |
| Przyspieszenie WhisperX dzięki dzieleniu na paczki opartemu na VAD | 11,8 raza | Bain i in., WhisperX, arXiv 2023 |
Metodologia i źródła
- NIST IR 8242, raport z pilotażowej ewaluacji OpenSAT 2017: funkcja kosztu, margines tolerancji, uczestnictwo.
- Strona serii ewaluacji NIST OpenSAT: lata ewaluacji, dziedziny i status programu.
- Artykuł o wyzwaniu The Third DIHARD Diarization Challenge (arXiv 2012.01477): bazowe wskaźniki przeoczeń i fałszywych alarmów wykrywania aktywności mowy, rozmiary zbiorów danych, wnioski o Ścieżce 1 i Ścieżce 2.
- Joglekar i in., Fearless Steps Challenge Phase-3, Interspeech 2021: wyniki kosztu detekcji na nagraniach Apollo i marginesy tolerancji.
- Ghahabi i Fischer, EML online SAD for Fearless Steps Phase-III, arXiv 2021: odstęp między decyzjami i współczynnik czasu rzeczywistego.
- Bredin i Laurent, End-to-end speaker segmentation for overlap-aware resegmentation, arXiv 2021: wskaźniki fałszywych alarmów i przeoczeń na AMI, DIHARD 3 i VoxConverse.
- Wiki Silero VAD Quality Metrics, Silero VAD README i wydania Silero VAD: deklaracje projektu dotyczące dokładności, szybkości i wydań.
- McKinnon i in., Window Size Versus Accuracy Experiments in Voice Activity Detectors, Google, arXiv 2026: porównanie MCC dla RMS, WebRTC i Silero.
- Dokumentacja py-webrtcvad: rozmiary ramek, tryby i częstotliwości próbkowania WebRTC VAD.
- Chaudhuri i in., AVA-Speech, Interspeech 2018: udziały etykiet, szacowany SNR, odsetki prawdziwych pozytywów dla poszczególnych warunków i opóźnienie.
- Jia i in., A Real-Time Voice Activity Detection Based on Lightweight Neural Network, arXiv 2024: F1 i AUC przy 0 dB, parametry i współczynnik czasu rzeczywistego.
- Jafarzadeh Asl i in., Tiny Noise-Robust Voice Activity Detector for Voice Assistants, Huawei, arXiv 2025: kompromis między skutecznością dla zaszumionej mowy a dla nie-mowy.
- Kulakayeva i in., Robust Neural Network-Based VAD under Low SNR, ETASR 2025: zakres SNR i próg odporności.
- Sharma i in., Empirical review of VAD for movies and TV shows, Neurocomputing 2022: szum etykiet i wnioski o rozmiarze modelu.
- Ding i in., Personal VAD, Google, arXiv 2019: precyzja, rozmiar i częstość ramek VAD dla docelowego mówcy.
- Cisco, Voice Over IP Per Call Bandwidth Consumption: wytyczne dotyczące oszczędności z VAD i pasmo na rozmowę.
- Avaya Aura 10.2.x, Silence suppression or voice activity detection: udział ciszy i wartości domyślne.
- Podsumowanie ITU-T Rec. G.729 (06/2012), 3GPP TS 26.449, generowanie szumu komfortu w EVS i przegląd EVS 3GPP TS 26.441: mechanika DTX i szumu komfortu (tekst 3GPP czytany przez lustro iTecSpec).
- Barański i in., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, arXiv 2025: wskaźnik błędów słów za WebRTC VAD wobec Silero VAD.
- Bain i in., WhisperX, arXiv 2023: wyniki przyspieszenia i czasowania słów dzięki dzieleniu na paczki opartemu na VAD.
- Wang i in., Calm-Whisper, arXiv 2025: niezależna weryfikacja skuteczności Silero v5 na ESC-50.
- Koenecke i in., Careless Whisper, ACM FAccT 2024: czas bez głosu i halucynacje.
- Lanzendörfer i in., Benchmarking Diarization Models, ETH Zurich, arXiv 2025: przeoczona mowa jako dominująca przyczyna porażek diaryzacji.
- Uwaga o danych: znaczna część bazy testowej jest starsza niż trzy lata (OpenSAT 2017, AVA-Speech 2018, Personal VAD 2019, DIHARD III 2020 do 2021, Fearless Steps Phase-3 2021, WhisperX 2023), ponieważ od tamtej pory nie odbyło się żadne publiczne wyzwanie wykrywania aktywności mowy; traktuj je jako najnowsze dostępne dane. Wiersz bazowy DIHARD 3 w artykule o pyannote (4,0% fałszywych alarmów, 4,2% przeoczeń) nie zgadza się z własnymi wynikami ewaluacji z artykułu o DIHARD III (15,07% i 4,97% na zbiorze rdzeniowym), prawdopodobnie z powodu innego podziału lub konfiguracji, dlatego każdy z nich cytujemy wyłącznie z jego własnym źródłem. Model Silero w tabeli pyannote z 2021 roku jest wcześniejszy niż Silero v5 i v6. Artykuł Google z 2026 roku przypisuje Silero natywne okno 16 ms, podczas gdy Silero README mówi o fragmentach 30+ ms. AVA-Speech opisuje się zarówno jako „45 godzin”, jak i „około 46 godzin”. Artykuł o Personal VAD nie wyjaśnia w pełni, czy modele w teście z szumem trenowano inaczej. Liczby Silero, Cisco i Avaya to deklaracje lub wytyczne samych wydawców. Wartość 35 procent od Cisco to przeciętna liczba planistyczna, a nie pomiar żadnej konkretnej sieci.
- Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnego odświeżenia spodziewamy się po opublikowaniu artykułów z ICASSP 2027 i kolejnej aktualizacji strony Quality Metrics przez projekt Silero VAD.