Detektor acuan resmi DIHARD III melewatkan 4,97% ucapan pada set inti evaluasi, tetapi salah menandai bunyi non-ucapan sebagai ucapan dengan tingkat 15,07%, tiga kali lipat tingkat luputnya sendiri. Kesenjangan itu adalah inti seluruh cerita deteksi aktivitas suara (VAD): setiap detektor menukar luput (ucapan asli yang dibuangnya) dengan alarm palsu (hening, musik, atau derau yang diloloskannya), dan tolok ukur menentukan kesalahan mana yang lebih penting. Dalam tantangan Fearless Steps Phase-3 pada audio NASA Apollo, sistem terbaik memangkas biaya deteksi sistem acuan dari 15,16% menjadi 1,47%, sementara pada rasio sinyal terhadap derau 0 dB, WebRTC VAD rata-rata hanya mendapat skor F1 0,581. Di hulu segalanya, derau adalah musuh utama, itulah sebabnya VAD dan latensi peredaman derau neural biasanya disetel bersamaan. Kami menghimpun data dari evaluasi OpenSAT milik NIST, tantangan DIHARD III dan Fearless Steps, studi AVA-Speech dan ukuran jendela 2026 dari Google, spesifikasi kodek 3GPP dan ITU-T, panduan telefoni Cisco dan Avaya, serta lebih dari selusin makalah yang telah ditelaah sejawat dan makalah pracetak.
TL;DR
- NIST menilai deteksi aktivitas ucapan sebagai 0,75 x tingkat luput + 0,25 x tingkat alarm palsu, sehingga satu luput berbiaya tiga kali lipat (NIST IR 8242, uji percontohan OpenSAT 2017).
- Sistem acuan DIHARD III memiliki 4,97% luput dan 15,07% alarm palsu pada set inti evaluasi (makalah Third DIHARD Diarization Challenge, arXiv 2020).
- Sistem Fearless Steps Phase-3 terbaik mencapai biaya deteksi 1,47% pada data evaluasi dibandingkan 15,16% pada sistem acuan (Joglekar dkk., Interspeech 2021).
- Pada audio DIHARD 3, pyannote 2.0 memiliki 3,9% alarm palsu dan 3,3% luput, dibandingkan 17,0% dan 4,0% untuk Silero VAD yang tersedia pada 2021 (Bredin dan Laurent, arXiv 2021).
- Pada set derau lingkungan ESC-50, WebRTC VAD mendapat akurasi 0, Silero v5 0,61, dan Silero v6 0,87 (Silero VAD Quality Metrics, klaim proyek).
- Pada jendela 50 ms, koefisien korelasi Matthews Silero adalah 0,72 dibandingkan 0,41 untuk WebRTC dan 0,11 untuk detektor kenyaringan sederhana (RMS) (McKinnon dkk., Google, arXiv 2026).
- Pada SNR 0 dB, WebRTC VAD rata-rata mendapat AUC 0,691 dibandingkan 0,956 untuk MagicNet yang berparameter 22,7K (Jia dkk., arXiv 2024).
- WebRTC VAD membutuhkan 0,06 ms per keputusan, VAD ResNet besar 265 ms (Chaudhuri dkk., AVA-Speech, Interspeech 2018).
- Cisco merencanakan VAD menghemat hingga 35 persen bandwidth suara, tetapi hanya sebagai rata-rata atas lebih dari 24 panggilan (Cisco, Per Call Bandwidth Consumption).
- Tingkat kesalahan kata Whisper pada ucapan yang disisipi derau adalah 68,3% di belakang WebRTC VAD dan 8,0% di belakang Silero VAD (Barański dkk., arXiv 2025).
1. Cara Kesalahan VAD Dinilai: Luput versus Alarm Palsu
Sebelum membandingkan dua angka VAD mana pun, periksa aturan penilaiannya. “Alarm palsu” adalah bunyi non-ucapan yang diberi label ucapan; “luput” adalah ucapan yang diberi label non-ucapan. Para evaluator lalu menentukan seberapa besar biaya setiap kesalahan dan seberapa besar kelonggaran di sekitar tepi segmen. Kelonggaran itu disebut “jendela toleransi”: jendela pendek di sekitar setiap batas ucapan sebenarnya, tempat kesalahan tidak dihitung. NIST membobotkan luput sebesar 0,75 dan alarm palsu sebesar 0,25, dengan alasan bahwa “deteksi yang terlewat dianggap lebih kritis daripada alarm palsu” (NIST IR 8242, uji percontohan OpenSAT 2017).
Sejak itu tren bergerak ke penilaian yang lebih ketat. Jendela toleransi menyusut dari 0,5 s menjadi 0,25 s di Fearless Steps dan hilang sepenuhnya di DIHARD III, sehingga angka 2026 yang dinilai tanpa jendela toleransi tidak sebanding dengan angka 2017 yang dinilai dengannya. Seri NIST sendiri sudah berakhir: halaman program OpenSAT mencantumkan statusnya sebagai selesai, tanpa evaluasi setelah 2020.
| Metrik | Nilai | Sumber |
|---|---|---|
| Bobot fungsi biaya deteksi yang dipakai untuk menilai deteksi aktivitas ucapan | DCF = 0,75 x P_Miss + 0,25 x P_FA | NIST IR 8242, uji percontohan OpenSAT 2017 |
| Jendela yang tidak dinilai (jendela toleransi) di sekitar setiap segmen ucapan acuan, uji percontohan OpenSAT 2017 | 0,5 s | NIST IR 8242, uji percontohan OpenSAT 2017 |
| Tim yang mengirimkan hasil ke uji percontohan OpenSAT 2017 versus lokasi yang terdaftar | 22 versus 33 | NIST IR 8242, uji percontohan OpenSAT 2017 |
| Evaluasi OpenSAT terakhir dan domainnya | OpenSAT20 (2020), hanya komunikasi keselamatan publik berbahasa Inggris | Halaman seri evaluasi NIST OpenSAT |
| Jendela toleransi penilaian, Fearless Steps Phase-3 versus Phase-2 | 0,25 s versus 0,5 s | Joglekar dkk., Fearless Steps Phase-3, Interspeech 2021 |
| Jendela toleransi penilaian yang dipakai di DIHARD III | Tidak ada (“tanpa penggunaan jendela kelonggaran”), ucapan yang tumpang tindih dinilai | Makalah Third DIHARD Diarization Challenge, arXiv 2020 |
| Kesepakatan antara 3 penilai manusia yang melabeli setiap klip AVA-Speech | Kappa Fleiss 0,74 (“substansial”) | Chaudhuri dkk., AVA-Speech, Interspeech 2018 |
| Panjang segmen yang dipakai untuk menilai Silero dan VAD pesaing | 31,25 ms, ambang disetel pada set validasi multi-domain 17 jam | Wiki Silero VAD Quality Metrics (klaim proyek) |
Konteks: bahkan kebenaran dasar pun berderau. Studi Amazon atas 450 jam film dan acara TV menemukan bahwa berkas subtitle berkualitas tinggi yang dipakai sebagai label mengandung hingga 15% derau label (Sharma dkk., Neurocomputing 2022). Data terbaru yang tersedia untuk aturan penilaian NIST dan AVA: 2017 hingga 2019 dan 2018.
2. Hasil Tantangan: Tingkat Luput dan Alarm Palsu pada Audio Sulit
Tantangan publik adalah tempat VAD bertemu audio yang tidak disetel oleh siapa pun. Angka DIHARD III menunjukkan masalah intinya: tingkat alarm palsu sistem acuan melonjak dari 3,98% pada data pengembangan menjadi 15,07% pada set inti evaluasi, sementara tingkat luputnya bergerak jauh lebih sedikit. Detektor terlalu menyesuaikan diri dengan derau latar yang dipakai melatihnya, dan derau baru berubah menjadi ucapan hantu.
Hasil Fearless Steps menunjukkan ujung yang berlawanan. Audio misi NASA Apollo berderau, multi-kanal, dan berusia puluhan tahun, tetapi sistem Phase-3 terbaik menurunkan biaya deteksi menjadi 1,47%, sekitar sepersepuluh sistem acuan. Ikhtisar Fearless Steps Phase-3 juga menunjukkan batasnya: Phase-3 tidak mengalahkan hasil terbaik Phase-2 sebesar 1,07%, dan subset Apollo-13 tetap lebih sulit daripada Apollo-11.
| Metrik | Nilai | Sumber |
|---|---|---|
| Sistem acuan DIHARD III, set inti pengembangan: luput / alarm palsu / galat keseluruhan | 1,84% / 3,98% / 2,30% | Makalah Third DIHARD Diarization Challenge, arXiv 2020 |
| Sistem acuan DIHARD III, set inti evaluasi: luput / alarm palsu / galat keseluruhan | 4,97% / 15,07% / 7,26% | Makalah Third DIHARD Diarization Challenge, arXiv 2020 |
| Sistem acuan DIHARD III, set penuh evaluasi: luput / alarm palsu / galat keseluruhan | 4,35% / 14,65% / 6,51% | Makalah Third DIHARD Diarization Challenge, arXiv 2020 |
| Ukuran set inti evaluasi DIHARD III dan porsi ucapannya | 184 rekaman, 22,73 jam, 77,35% ucapan, 11 domain | Makalah Third DIHARD Diarization Challenge, arXiv 2020 |
| Partisipasi Fearless Steps Phase-3 (semua trek) | 9 organisasi dalam 14 tim per tugas, 235 pengiriman sistem | Joglekar dkk., Interspeech 2021 |
| Biaya deteksi sistem acuan Fearless Steps Phase-3, pengembangan versus evaluasi | 12,84% versus 15,16% | Joglekar dkk., Interspeech 2021 |
| Biaya deteksi terbaik Fearless Steps Phase-3: evaluasi penuh / subset Apollo-13 / subset kanal yang belum pernah dilihat | 1,47% / 2,37% / 1,67% | Joglekar dkk., Interspeech 2021 |
| Biaya deteksi terbaik Fearless Steps Phase-2 (masih yang terdepan setelah Phase-3) | 1,07% | Joglekar dkk., Interspeech 2021 |
Catatan pencilan: makalah DIHARD III menyatakan bahwa deteksi aktivitas ucapan “tetap menjadi masalah yang menantang untuk beberapa domain yang tercakup,” dan bahwa tanpa segmentasi yang akurat, diarisasi menurun “secara katastrofik untuk sebagian,” dengan buku audio sebagai pengecualian. Tabel lengkap ada di makalah tantangan DIHARD III. Data terbaru yang tersedia: DIHARD III (2020 hingga 2021) dan Fearless Steps Phase-3 (2021); tidak satu pun tantangan itu menjalankan trek aktivitas ucapan yang lebih baru.
3. Model Terbuka Diadu Langsung: pyannote, Silero, dan WebRTC
Kebanyakan produk memakai salah satu dari tiga detektor terbuka: VAD pemrosesan sinyal dari proyek WebRTC Google, VAD neural Silero, atau model segmentasi pyannote. Data independen sepakat soal peringkatnya, dan kesenjangannya terbesar tepat di tempat produk gagal: audio yang hanya berisi derau. Pada klip derau lingkungan ESC-50, WebRTC VAD mendapat akurasi 0, artinya ia menyebut setiap klip derau sebagai ucapan, sementara Silero v6 benar sebesar 0,87 (Silero VAD Quality Metrics, klaim proyek itu sendiri).
Makalah pyannote 2.0 adalah acuan yang lebih baik untuk pembagian alarm palsu versus luput, karena melaporkan keduanya secara terpisah pada tiga set publik (Bredin dan Laurent, arXiv 2021). Penyetelannya meminimalkan jumlah keduanya, sehingga mendarat dekat keseimbangan (3,9% versus 3,3% pada DIHARD 3). Model Silero era 2021 dalam tabel yang sama menunjukkan profil timpang klasik: sedikit luput, banyak alarm palsu. ROC-AUC, yang dipakai di bawah, adalah skor 0 sampai 1 tentang seberapa baik sebuah detektor memisahkan ucapan dari non-ucapan di semua ambang; koefisien korelasi Matthews (MCC) adalah skor -1 sampai 1 yang tetap jujur ketika satu kelas mendominasi.
| Metrik | Nilai | Sumber |
|---|---|---|
| DIHARD 3: alarm palsu / luput / total galat deteksi, pyannote 2.0 versus Silero VAD (versi 2021) | 3,9% / 3,3% / 7,3% versus 17,0% / 4,0% / 21,0% | Bredin dan Laurent, arXiv 2021 |
| Rapat AMI: alarm palsu / luput, pyannote 2.0 versus Silero VAD (versi 2021) | 3,6% / 3,2% versus 9,4% / 1,7% | Bredin dan Laurent, arXiv 2021 |
| VoxConverse: alarm palsu / luput, pyannote 2.0 versus Silero VAD (versi 2021) | 1,8% / 0,8% versus 3,0% / 1,1% | Bredin dan Laurent, arXiv 2021 |
| ROC-AUC pada set validasi multi-domain 17 jam: WebRTC / Silero v5 / Silero v6 | 0,73 / 0,96 / 0,97 | Wiki Silero VAD Quality Metrics (klaim proyek) |
| ROC-AUC pada 80 jam ucapan MSDWild yang berderau: WebRTC versus Silero v6 | 0,62 versus 0,79 | Wiki Silero VAD Quality Metrics (klaim proyek) |
| Porsi klip derau ESC-50 yang ditolak dengan benar: WebRTC / Silero v5 / Silero v6 | 0 / 0,61 / 0,87 | Wiki Silero VAD Quality Metrics (klaim proyek) |
| Akurasi tingkat ujaran Silero VAD v5 pada ESC-50 (pemeriksaan independen) | 61% | Wang dkk., Calm-Whisper, arXiv 2025 |
| MCC pada jendela 50 ms atas 1,1 jam podcast, film, dan musik: RMS / WebRTC / Silero | 0,11 / 0,41 / 0,72 | McKinnon dkk., Google, arXiv 2026 |
Konteks: tim Google menemukan bahwa menambahkan histeresis (aturan yang mempertahankan status ucapan atau non-ucapan saat ini sampai bukti jelas berubah) menaikkan MCC WebRTC dari 0,41 menjadi 0,47 dan tidak berguna apa pun bagi Silero (McKinnon dkk., arXiv 2026). Catatan rilis v6.0 Silero sendiri mengklaim 16% lebih sedikit kesalahan pada data kehidupan nyata yang berderau dan 11% lebih sedikit pada validasi multi-domain dibandingkan v5, klaim proyek yang belum direproduksi secara independen.
4. Derau dan SNR: Titik Deteksi Mulai Gagal
Rasio sinyal terhadap derau (SNR) adalah level ucapan di atas latar belakang, dalam desibel; 0 dB berarti ucapan dan derau sama kerasnya. Setiap set data di sini menunjukkan pola yang sama: ucapan bersih adalah masalah yang sudah terpecahkan, sedangkan musik dan derau belum. Dalam set film AVA-Speech milik Google, ucapan bersih berada pada SNR perkiraan 40,8 dB, tetapi ucapan di atas musik hanya 11,7 dB, dan bahkan tingkat positif benar detektor ResNet besar turun dari 0,992 pada ucapan bersih menjadi 0,787 pada ucapan dengan musik (Chaudhuri dkk., AVA-Speech).
Memperbaiki recall ucapan berderau biasanya mengorbankan alarm palsu. VAD mungil Huawei tahun 2025 menaikkan akurasi ucapan berderau pada MS-SNSD dari 15,9% menjadi 89,9% dengan tahap prapemrosesan, tetapi akurasi non-ucapannya pada set yang sama turun dari 99,1% menjadi 87,7% (Jafarzadeh Asl dkk., arXiv 2025). Tidak ada makan siang gratis: titik operasinya hanya bergeser di sepanjang kurva tarik-ulur.
| Metrik | Nilai | Sumber |
|---|---|---|
| Perkiraan SNR AVA-Speech: ucapan bersih / ucapan dengan derau / ucapan dengan musik | 40,8 dB / 16,2 dB / 11,7 dB | Chaudhuri dkk., AVA-Speech, Interspeech 2018 |
| Tingkat positif benar AVA-Speech pada tingkat positif palsu tetap 0,315, WebRTC VAD: bersih / derau / musik | 0,786 / 0,706 / 0,733 | Chaudhuri dkk., AVA-Speech, Interspeech 2018 |
| Tingkat positif benar AVA-Speech pada tingkat positif palsu yang sama, model ResNet-960: bersih / derau / musik | 0,992 / 0,944 / 0,787 | Chaudhuri dkk., AVA-Speech, Interspeech 2018 |
| Rata-rata F1 dan AUC pada 0 dB (derau keramaian, mobil, mesin), WebRTC VAD versus MagicNet | F1 0,581 versus 0,859; AUC 0,691 versus 0,956 | Jia dkk., arXiv 2024 |
| Akurasi ucapan berderau MS-SNSD, sistem acuan SG-VAD versus Huawei VAD dengan prapemrosesan | 15,9% versus 89,9% | Jafarzadeh Asl dkk., arXiv 2025 |
| Akurasi non-ucapan MS-SNSD, sistem acuan SG-VAD versus Huawei VAD dengan prapemrosesan | 99,1% versus 87,7% | Jafarzadeh Asl dkk., arXiv 2025 |
| Tingkat positif palsu yang dibutuhkan untuk menangkap 99% ucapan, SG-VAD versus Huawei VAD dengan prapemrosesan | 58% versus 28% | Jafarzadeh Asl dkk., arXiv 2025 |
| Mean average precision VAD personal (pembicara target), sistem acuan versus model terbaik: set uji bersih versus set uji dengan derau dan gema tambahan | 0,900 versus 0,969 bersih; 0,801 versus 0,928 berderau | Ding dkk., Google, Personal VAD, arXiv 2019 |
Konteks: studi Desember 2025 melatih detektor CNN hibrida pada ucapan bahasa Kazakh yang dicampur derau dari -18 dB hingga +30 dB; model terbaik mencapai skor F1 99,6% dan tetap tangguh di atas -12 dB, sedangkan model yang dilatih pada satu level derau saja menggeneralisasi dengan buruk (Kulakayeva dkk., ETASR 2025). Tinjauan Amazon atas film dan acara TV juga menemukan bahwa model dengan sekitar 2 juta parameter kurang tangguh terhadap derau dibandingkan model dengan sekitar 0,5 juta. Data terbaru yang tersedia untuk AVA-Speech dan Personal VAD: 2018 dan 2019.
5. Ukuran Frame, Latensi, dan Anggaran Komputasi
VAD berjalan sebelum segalanya, sehingga harus murah. Anggaran dalam literatur sangat kecil: WebRTC VAD memutuskan pada frame 10, 20, atau 30 ms (dokumentasi py-webrtcvad), dan dalam tolok ukur AVA-Speech ia membutuhkan 0,06 ms per keputusan, dibandingkan 265 ms untuk model ResNet yang paling akurat, yang sebagai imbalannya menaikkan tingkat positif benar pada seluruh ucapan dari 0,722 menjadi 0,917.
Karya 2024 hingga 2026 menutup kesenjangan itu dari sisi model. MagicNet berjalan pada faktor waktu nyata (waktu pemrosesan dibagi durasi audio) 0,034 dengan 22,7K parameter, mendekati 0,015 milik WebRTC, sementara Silero menyatakan modelnya yang sekitar 2 MB memproses potongan 30+ ms dalam waktu kurang dari 1 ms pada satu thread CPU (README Silero VAD, klaim proyek). Personal VAD menunjukkan alasan lain untuk tetap kecil: Google membangunnya untuk menjaga gerbang pengenalan ucapan di perangkat sehingga pengenal hanya aktif untuk pengguna yang terdaftar, mengurangi komputasi dan pemakaian baterai.
| Metrik | Nilai | Sumber |
|---|---|---|
| Panjang frame, mode agresivitas, dan laju sampel WebRTC VAD | 10, 20, atau 30 ms; mode 0 sampai 3; 8, 16, 32, atau 48 kHz, PCM mono 16-bit | Dokumentasi py-webrtcvad |
| Latensi per keputusan, tolok ukur AVA-Speech: WebRTC / CNN tiny_320 / CNN ResNet-960 | 0,06 ms / 2,23 ms / 265 ms | Chaudhuri dkk., AVA-Speech, Interspeech 2018 |
| Faktor waktu nyata pada CPU Intel Xeon: WebRTC / MagicNet / MarbleNet | 0,015 / 0,034 / 0,038 | Jia dkk., arXiv 2024 |
| Parameter: MagicNet / CRNN / MarbleNet | 22,7K / 36,8K / 85,2K | Jia dkk., arXiv 2024 |
| Waktu pemrosesan dan ukuran model Silero VAD | Di bawah 1 ms per potongan 30+ ms pada satu thread CPU; sekitar 2 MB; ONNX hingga 4-5x lebih cepat | README Silero VAD (klaim proyek) |
| Langkah frame model segmentasi pyannote 2.0 dan potongan masukan | Sekitar 16 ms; potongan 5 s | Bredin dan Laurent, arXiv 2021 |
| Interval keputusan SAD daring EML dan faktor waktu nyata pada satu CPU (audio Apollo) | Sekitar setiap 0,1 s; sekitar 0,002 | Ghahabi dan Fischer, arXiv 2021 |
| Ukuran Personal VAD, model embedding saja versus alur berbasis verifikasi pembicara | 0,13M versus 4,88M + 0,06M parameter, satu keputusan setiap 10 ms | Ding dkk., Google, Personal VAD, arXiv 2019 |
Konteks: ukuran frame juga merupakan tuas akurasi. Studi ukuran jendela Google 2026 merata-ratakan prediksi pada jendela dari 10 ms hingga 10 s, dan menemukan Silero jelas lebih unggul daripada WebRTC pada pengaturan 100 ms. Jendela yang lebih panjang meredam kedipan tetapi menambah tundaan, itulah sebabnya alat suara waktu nyata menjaga frame asli tetap pendek dan menghaluskannya sesudahnya.
6. DTX Telefoni: Bandwidth yang Dihemat dengan Tidak Mengirim Keheningan
Dalam telefoni, VAD terbayar lewat transmisi terputus-putus (DTX): ketika detektor tidak mendengar ucapan, telepon berhenti mengirim paket suara dan sisi seberang memutar “derau kenyamanan” sintetis agar saluran tidak terdengar mati. Dokumentasi Avaya mencatat bahwa lebih dari 40% transmisi sebuah percakapan adalah keheningan, karena biasanya hanya satu pihak yang berbicara pada satu waktu (dokumentasi Avaya Aura, panduan vendor).
Angka perencanaannya lebih hati-hati daripada porsi keheningan yang tersirat. Cisco meminta para insinyur mengandalkan penghematan VAD hanya pada banyak panggilan simultan (panduan bandwidth per panggilan Cisco, panduan vendor), karena satu panggilan bisa saja penuh bicara, dan musik tunggu atau faks mengalahkan detektor. Avaya menyebut langsung tarik-ulur kesalahannya: terlalu agresif, awal dan akhir kata terpotong (luput); kurang agresif, tidak ada bandwidth yang dihemat (alarm palsu). Untuk melihat bagaimana pengaturan waktu paket kemudian membentuk kualitas panggilan, lihat statistik jitter buffer VoIP dan POLQA kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Penghematan bandwidth dari VAD, sebagai rata-rata atas lebih dari 24 panggilan | Hingga 35 persen, tidak terwujud pada setiap panggilan individual | Cisco, Voice Over IP Per Call Bandwidth Consumption (panduan vendor) |
| Tautan yang penghematan VAD-nya tidak boleh dihitung menurut Cisco | Tautan yang membawa kurang dari 24 panggilan suara simultan | Cisco, Voice Over IP Per Call Bandwidth Consumption (panduan vendor) |
| Bandwidth Ethernet per panggilan pada ukuran payload default, G.711 versus G.729 | 87,2 kbps versus 31,2 kbps | Cisco, Voice Over IP Per Call Bandwidth Consumption (panduan vendor) |
| Porsi transmisi percakapan yang berupa keheningan | Lebih dari 40% | Dokumentasi Avaya Aura 10.2.x (panduan vendor) |
| Status default penekanan keheningan di Avaya Communication Manager | Nonaktif, kecuali untuk G.729B yang sudah terpasang bawaan | Dokumentasi Avaya Aura 10.2.x (panduan vendor) |
| Laju bit inti ITU-T G.729; peran Annex B | 8 kbit/s; Annex B menambahkan VAD, DTX, dan derau kenyamanan, disetel untuk sirkuit, dengan Appendix II dan III untuk VoIP | Ringkasan ITU-T Rec. G.729 (06/2012) |
| Interval pembaruan derau kenyamanan kodek EVS: default / rentang laju tetap / rentang adaptif | Setiap 8 frame / 1 sampai 100 frame / 8 sampai 50 frame | 3GPP TS 26.449, pembangkitan derau kenyamanan EVS |
Konteks: ikhtisar EVS dari 3GPP menyatakan DTX mengurangi laju bit rata-rata yang dibutuhkan, “yang mengarah pada transmisi yang lebih efisien dengan beban berkurang sehingga kapasitas meningkat,” tetapi tidak memberikan satu persentase pun (ikhtisar 3GPP TS 26.441). Ringkasan ITU-T G.729 bertanggal Juni 2012; itu tetap menjadi teks terbaru yang tersedia untuk keluarga kodek tersebut.
7. Kerusakan Hilir: Bagaimana Kesalahan VAD Merambat ke ASR dan Diarisasi
Kesalahan VAD jarang menjadi kesalahan akhir. Alarm palsu memberi pengenal ucapan derau untuk ditranskripsi; luput menghapus kata yang tidak bisa dipulihkan tahap mana pun sesudahnya. Hasil terkendali yang paling jelas datang dari Universitas AGH Krakow: pada ucapan Common Voice yang disisipi bunyi non-ucapan pada SNR 9 dB, tingkat kesalahan kata Whisper adalah 68,3% dengan WebRTC VAD di depannya dan 8,0% dengan Silero VAD (Barański dkk., arXiv 2025). Pilihan detektor saja menggeser kesalahan dengan faktor sekitar delapan. Tingkat di atas 100% mungkin terjadi di sini karena kata-kata karangan dihitung sebagai penyisipan. Statistik halusinasi pengenalan ucapan kami membahas sisi pengenal dari kegagalan ini secara mendalam.
VAD yang baik juga membeli kecepatan dan akurasi pengaturan waktu. WhisperX memakai VAD pyannote untuk memotong audio menjadi potongan yang hanya berisi ucapan dan memprosesnya secara batch, yang membuatnya 11,8 kali lebih cepat daripada Whisper biasa dan meningkatkan presisi waktu kata pada rapat AMI (Bain dkk., WhisperX, arXiv 2023). Di sisi diarisasi, tolok ukur ETH Zurich 2025 atas 196,6 jam menemukan bahwa “ucapan yang terlewat merupakan kasus kegagalan dominan di semua model diarisasi” (Lanzendörfer dkk., arXiv 2025); statistik tingkat kesalahan diarisasi pembicara kami melacak anggaran kesalahan lengkapnya.
| Metrik | Nilai | Sumber |
|---|---|---|
| Tingkat kesalahan kata Whisper pada ucapan dengan bunyi non-ucapan sebelum atau sesudahnya, WebRTC VAD versus Silero VAD | 68,3% versus 8,0% | Barański dkk., arXiv 2025 |
| Perbandingan yang sama ketika derau tumpang tindih dengan ucapan, WebRTC VAD versus Silero VAD | 75,4% versus 10,8% | Barański dkk., arXiv 2025 |
| Kecepatan transkripsi dengan batch berbasis VAD, WhisperX versus Whisper | 11,8x versus 1,0x | Bain dkk., WhisperX, arXiv 2023 |
| Presisi / recall waktu kata pada rapat AMI (jendela toleransi 200 ms), WhisperX versus Whisper | 84,1 / 60,3 versus 78,9 / 52,1 | Bain dkk., WhisperX, arXiv 2023 |
| Rata-rata waktu non-vokal per rekaman, penutur dengan afasia versus penutur kontrol (diukur dengan pyannote, dikonfirmasi dengan Silero) | 6,8 s versus 1,3 s (p < 2,2e-16) | Koenecke dkk., Careless Whisper, ACM FAccT 2024 |
| Rata-rata waktu non-vokal, rekaman tempat Whisper berhalusinasi versus rekaman tempat ia tidak berhalusinasi | 5,3 s versus 3,5 s | Koenecke dkk., Careless Whisper, ACM FAccT 2024 |
| Kesulitan diarisasi tambahan ketika sistem harus menemukan ucapan sendiri (Trek 2) alih-alih menerima wilayah ucapan acuan (Trek 1) | “Sekitar 5%” untuk DER maupun JER | Makalah Third DIHARD Diarization Challenge, arXiv 2020 |
| Cakupan tolok ukur diarisasi di balik temuan ucapan terlewat | 196,6 jam, 4 set data, 5 bahasa | Lanzendörfer dkk., ETH Zurich, arXiv 2025 |
Catatan pencilan: tabel Krakow yang sama menunjukkan bahwa VAD itu perlu tetapi tidak cukup. Silero VAD ditambah langkah penghilang pengulangan dan daftar frasa halusinasi yang diketahui lebih baik daripada Silero saja (tingkat kesalahan kata 6,5% versus 8,0% pada audio tanpa tumpang tindih). Data terbaru yang tersedia untuk WhisperX: 2023.
Ringkasan: Deteksi Aktivitas Suara dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Fungsi biaya aktivitas ucapan NIST | 0,75 x tingkat luput + 0,25 x tingkat alarm palsu | NIST IR 8242, uji percontohan OpenSAT 2017 |
| Sistem acuan DIHARD III, inti evaluasi: luput / alarm palsu | 4,97% / 15,07% | Makalah Third DIHARD Diarization Challenge, arXiv 2020 |
| Biaya deteksi Fearless Steps Phase-3, sistem acuan versus terbaik (evaluasi) | 15,16% versus 1,47% | Joglekar dkk., Interspeech 2021 |
| Jendela toleransi penilaian Fearless Steps, Phase-3 versus Phase-2 | 0,25 s versus 0,5 s | Joglekar dkk., Interspeech 2021 |
| DIHARD 3 alarm palsu / luput, pyannote 2.0 | 3,9% / 3,3% | Bredin dan Laurent, arXiv 2021 |
| DIHARD 3 alarm palsu / luput, Silero VAD (versi 2021) | 17,0% / 4,0% | Bredin dan Laurent, arXiv 2021 |
| Klip derau ESC-50 yang ditolak dengan benar, WebRTC versus Silero v6 | 0 versus 0,87 | Wiki Silero VAD Quality Metrics (klaim proyek) |
| MCC pada jendela 50 ms, WebRTC versus Silero | 0,41 versus 0,72 | McKinnon dkk., Google, arXiv 2026 |
| Rata-rata AUC pada SNR 0 dB, WebRTC versus MagicNet | 0,691 versus 0,956 | Jia dkk., arXiv 2024 |
| Tingkat positif benar ResNet AVA-Speech, ucapan bersih versus ucapan dengan musik | 0,992 versus 0,787 | Chaudhuri dkk., AVA-Speech, Interspeech 2018 |
| Akurasi ucapan berderau MS-SNSD, sistem acuan versus Huawei VAD dengan prapemrosesan | 15,9% versus 89,9% | Jafarzadeh Asl dkk., arXiv 2025 |
| Latensi per keputusan, WebRTC versus ResNet-960 | 0,06 ms versus 265 ms | Chaudhuri dkk., AVA-Speech, Interspeech 2018 |
| Penghematan bandwidth VAD sebagai rata-rata atas lebih dari 24 panggilan | Hingga 35 persen | Cisco, Per Call Bandwidth Consumption (panduan vendor) |
| Porsi transmisi percakapan yang berupa keheningan | Lebih dari 40% | Dokumentasi Avaya Aura 10.2.x (panduan vendor) |
| Interval pembaruan derau kenyamanan default EVS | Setiap 8 frame | 3GPP TS 26.449 |
| Tingkat kesalahan kata Whisper di belakang WebRTC VAD versus Silero VAD | 68,3% versus 8,0% | Barański dkk., arXiv 2025 |
| Percepatan WhisperX dari batch berbasis VAD | 11,8x | Bain dkk., WhisperX, arXiv 2023 |
Metodologi dan Sumber
- NIST IR 8242, laporan evaluasi uji percontohan OpenSAT 2017: fungsi biaya, jendela toleransi, partisipasi.
- Halaman seri evaluasi NIST OpenSAT: tahun evaluasi, domain, dan status program.
- Makalah The Third DIHARD Diarization Challenge (arXiv 2012.01477): tingkat luput dan alarm palsu deteksi aktivitas ucapan sistem acuan, ukuran set data, temuan Trek 1 versus Trek 2.
- Joglekar dkk., Fearless Steps Challenge Phase-3, Interspeech 2021: hasil biaya deteksi audio Apollo dan jendela toleransi.
- Ghahabi dan Fischer, EML online SAD for Fearless Steps Phase-III, arXiv 2021: interval keputusan dan faktor waktu nyata.
- Bredin dan Laurent, End-to-end speaker segmentation for overlap-aware resegmentation, arXiv 2021: tingkat alarm palsu dan luput pada AMI, DIHARD 3, dan VoxConverse.
- Wiki Silero VAD Quality Metrics, README Silero VAD, dan rilis Silero VAD: klaim akurasi, kecepatan, dan rilis yang dilaporkan proyek.
- McKinnon dkk., Window Size Versus Accuracy Experiments in Voice Activity Detectors, Google, arXiv 2026: perbandingan MCC antara RMS, WebRTC, dan Silero.
- Dokumentasi py-webrtcvad: ukuran frame, mode, dan laju sampel WebRTC VAD.
- Chaudhuri dkk., AVA-Speech, Interspeech 2018: porsi label, perkiraan SNR, tingkat positif benar per kondisi, dan latensi.
- Jia dkk., A Real-Time Voice Activity Detection Based on Lightweight Neural Network, arXiv 2024: F1 0 dB, AUC, parameter, dan faktor waktu nyata.
- Jafarzadeh Asl dkk., Tiny Noise-Robust Voice Activity Detector for Voice Assistants, Huawei, arXiv 2025: tarik-ulur akurasi ucapan berderau versus non-ucapan.
- Kulakayeva dkk., Robust Neural Network-Based VAD under Low SNR, ETASR 2025: rentang SNR dan ambang ketahanan.
- Sharma dkk., Empirical review of VAD for movies and TV shows, Neurocomputing 2022: temuan derau label dan ukuran model.
- Ding dkk., Personal VAD, Google, arXiv 2019: presisi, ukuran, dan laju frame VAD pembicara target.
- Cisco, Voice Over IP Per Call Bandwidth Consumption: panduan penghematan VAD dan bandwidth per panggilan.
- Avaya Aura 10.2.x, Silence suppression or voice activity detection: porsi keheningan dan nilai default.
- Ringkasan ITU-T Rec. G.729 (06/2012), 3GPP TS 26.449 EVS comfort noise generation, dan ikhtisar 3GPP TS 26.441 EVS: mekanisme DTX dan derau kenyamanan (teks 3GPP dibaca melalui mirror iTecSpec).
- Barański dkk., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, arXiv 2025: tingkat kesalahan kata di belakang WebRTC versus Silero VAD.
- Bain dkk., WhisperX, arXiv 2023: percepatan dan hasil waktu kata dari batch berbasis VAD.
- Wang dkk., Calm-Whisper, arXiv 2025: pemeriksaan independen akurasi Silero v5 pada ESC-50.
- Koenecke dkk., Careless Whisper, ACM FAccT 2024: waktu non-vokal dan halusinasi.
- Lanzendörfer dkk., Benchmarking Diarization Models, ETH Zurich, arXiv 2025: ucapan terlewat sebagai kegagalan diarisasi yang dominan.
- Catatan data: sebagian besar basis tolok ukur berusia lebih dari tiga tahun (OpenSAT 2017, AVA-Speech 2018, Personal VAD 2019, DIHARD III 2020 hingga 2021, Fearless Steps Phase-3 2021, WhisperX 2023), karena tidak ada tantangan aktivitas ucapan publik yang berjalan sejak itu; perlakukan semuanya sebagai data terbaru yang tersedia. Baris sistem acuan DIHARD 3 dalam makalah pyannote (4,0% alarm palsu, 4,2% luput) tidak cocok dengan angka evaluasi makalah DIHARD III sendiri (15,07% dan 4,97% pada set inti), kemungkinan karena pembagian atau pengaturan yang berbeda, sehingga kami mengutip masing-masing hanya dengan sumbernya sendiri. Model Silero dalam tabel pyannote 2021 mendahului Silero v5 dan v6. Makalah Google 2026 memberi Silero jendela asli 16 ms sementara README Silero berbicara tentang potongan 30+ ms. AVA-Speech menyebut dirinya “45 jam” sekaligus “sekitar 46 jam”. Makalah Personal VAD tidak sepenuhnya menyatakan apakah model uji berderau dilatih secara berbeda. Angka Silero, Cisco, dan Avaya adalah klaim atau panduan dari penerbitnya sendiri. Angka 35 persen dari Cisco adalah angka perencanaan kasus rata-rata, bukan pengukuran jaringan mana pun.
- Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika makalah ICASSP 2027 dipublikasikan dan proyek Silero VAD memperbarui halaman Quality Metrics-nya.