Bộ phát hiện cơ sở chính thức của DIHARD III đã bỏ sót 4,97% lời nói trên tập lõi đánh giá, nhưng lại gán nhầm âm thanh không phải lời nói là lời nói với tỷ lệ 15,07%, gấp ba lần tỷ lệ bỏ sót của chính nó. Khoảng chênh đó là toàn bộ câu chuyện của phát hiện hoạt động giọng nói (VAD): mọi bộ phát hiện đều đánh đổi giữa bỏ sót (lời nói thật bị loại bỏ) và báo động giả (im lặng, nhạc hoặc tiếng ồn bị cho qua), và các bài đo chuẩn quyết định lỗi nào quan trọng hơn. Trong thử thách Fearless Steps Phase-3 trên âm thanh NASA Apollo, hệ thống tốt nhất đã giảm chi phí phát hiện của hệ thống cơ sở từ 15,16% xuống 1,47%, trong khi ở tỷ lệ tín hiệu trên nhiễu 0 dB, WebRTC VAD chỉ đạt điểm F1 trung bình 0,581. Ở thượng nguồn của mọi thứ, nhiễu là kẻ thù chính, đó là lý do VAD và độ trễ của khử nhiễu bằng nơ-ron thường được tinh chỉnh cùng nhau. Chúng tôi tổng hợp dữ liệu từ các đợt đánh giá OpenSAT của NIST, các thử thách DIHARD III và Fearless Steps, các nghiên cứu AVA-Speech và kích thước cửa sổ năm 2026 của Google, các đặc tả codec 3GPP và ITU-T, hướng dẫn viễn thông của Cisco và Avaya, cùng hơn một chục bài báo đã qua phản biện và bản thảo tiền công bố.
Tóm tắt nhanh
- NIST chấm điểm phát hiện hoạt động lời nói theo công thức 0,75 x tỷ lệ bỏ sót + 0,25 x tỷ lệ báo động giả, khiến một lần bỏ sót tốn gấp ba lần (NIST IR 8242, đợt thí điểm OpenSAT 2017).
- Hệ thống cơ sở DIHARD III có 4,97% bỏ sót và 15,07% báo động giả trên tập lõi đánh giá (bài báo Third DIHARD Diarization Challenge, arXiv 2020).
- Hệ thống Fearless Steps Phase-3 tốt nhất đạt chi phí phát hiện 1,47% trên dữ liệu đánh giá so với 15,16% của hệ thống cơ sở (Joglekar và cộng sự, Interspeech 2021).
- Trên âm thanh DIHARD 3, pyannote 2.0 có 3,9% báo động giả và 3,3% bỏ sót, so với 17,0% và 4,0% của Silero VAD có sẵn năm 2021 (Bredin và Laurent, arXiv 2021).
- Trên tập tiếng ồn môi trường ESC-50, WebRTC VAD đạt độ chính xác 0, Silero v5 đạt 0,61 và Silero v6 đạt 0,87 (Silero VAD Quality Metrics, tuyên bố của dự án).
- Với cửa sổ 50 ms, hệ số tương quan Matthews của Silero là 0,72 so với 0,41 của WebRTC và 0,11 của một bộ phát hiện độ lớn âm thanh (RMS) đơn giản (McKinnon và cộng sự, Google, arXiv 2026).
- Ở SNR 0 dB, WebRTC VAD đạt AUC trung bình 0,691 so với 0,956 của MagicNet có 22,7K tham số (Jia và cộng sự, arXiv 2024).
- WebRTC VAD mất 0,06 ms cho mỗi quyết định, một VAD ResNet lớn mất 265 ms (Chaudhuri và cộng sự, AVA-Speech, Interspeech 2018).
- Cisco lên kế hoạch cho VAD tiết kiệm tới 35 phần trăm băng thông thoại, nhưng chỉ là mức trung bình trên hơn 24 cuộc gọi (Cisco, Per Call Bandwidth Consumption).
- Tỷ lệ lỗi từ của Whisper trên lời nói bị chèn nhiễu là 68,3% khi đứng sau WebRTC VAD và 8,0% khi đứng sau Silero VAD (Barański và cộng sự, arXiv 2025).
1. Cách Chấm Điểm Lỗi VAD: Bỏ Sót so với Báo Động Giả
Trước khi so sánh bất kỳ hai con số VAD nào, hãy kiểm tra quy tắc chấm điểm. “Báo động giả” là âm thanh không phải lời nói bị gán nhãn là lời nói; “bỏ sót” là lời nói bị gán nhãn là không phải lời nói. Sau đó, người đánh giá quyết định mỗi loại lỗi tốn bao nhiêu và nới lỏng bao nhiêu quanh biên của đoạn. Phần nới lỏng đó được gọi là “cửa sổ dung sai”: một khoảng ngắn quanh mỗi ranh giới lời nói thực sự, nơi các lỗi không được tính. NIST gán trọng số 0,75 cho bỏ sót và 0,25 cho báo động giả, với lý do “các lần phát hiện bị bỏ sót được coi là nghiêm trọng hơn báo động giả” (NIST IR 8242, đợt thí điểm OpenSAT 2017).
Xu hướng kể từ đó là chấm điểm chặt chẽ hơn. Cửa sổ dung sai thu hẹp từ 0,5 s xuống 0,25 s trong Fearless Steps và biến mất hoàn toàn trong DIHARD III, nên một con số năm 2026 được chấm không có cửa sổ dung sai không thể so sánh với con số năm 2017 được chấm có cửa sổ. Bản thân loạt đánh giá của NIST đã kết thúc: trang chương trình OpenSAT ghi trạng thái là đã hoàn tất, không có đợt đánh giá nào sau năm 2020.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Trọng số của hàm chi phí phát hiện dùng để chấm điểm phát hiện hoạt động lời nói | DCF = 0,75 x P_Miss + 0,25 x P_FA | NIST IR 8242, đợt thí điểm OpenSAT 2017 |
| Khoảng không chấm điểm (cửa sổ dung sai) quanh mỗi đoạn lời nói tham chiếu, đợt thí điểm OpenSAT 2017 | 0,5 s | NIST IR 8242, đợt thí điểm OpenSAT 2017 |
| Số nhóm nộp kết quả cho đợt thí điểm OpenSAT 2017 so với số đơn vị đăng ký | 22 so với 33 | NIST IR 8242, đợt thí điểm OpenSAT 2017 |
| Đợt đánh giá OpenSAT cuối cùng và lĩnh vực của nó | OpenSAT20 (2020), chỉ gồm liên lạc an toàn công cộng bằng tiếng Anh | Trang loạt đánh giá NIST OpenSAT |
| Cửa sổ dung sai chấm điểm, Fearless Steps Phase-3 so với Phase-2 | 0,25 s so với 0,5 s | Joglekar và cộng sự, Fearless Steps Phase-3, Interspeech 2021 |
| Cửa sổ dung sai chấm điểm dùng trong DIHARD III | Không có (“không dùng cửa sổ nới lỏng”), lời nói chồng lấn được chấm điểm | Bài báo Third DIHARD Diarization Challenge, arXiv 2020 |
| Mức đồng thuận giữa 3 người gán nhãn đã gán nhãn mỗi đoạn AVA-Speech | Kappa Fleiss 0,74 (“đáng kể”) | Chaudhuri và cộng sự, AVA-Speech, Interspeech 2018 |
| Độ dài đoạn dùng để chấm điểm Silero và các VAD đối thủ | 31,25 ms, ngưỡng được chỉnh trên tập xác thực đa lĩnh vực dài 17 giờ | Wiki Silero VAD Quality Metrics (tuyên bố của dự án) |
Bối cảnh: ngay cả dữ liệu chuẩn cũng có nhiễu. Một nghiên cứu của Amazon trên 450 giờ phim và chương trình truyền hình cho thấy các tệp phụ đề chất lượng cao dùng làm nhãn chứa tới 15% nhiễu nhãn (Sharma và cộng sự, Neurocomputing 2022). Dữ liệu mới nhất hiện có về quy tắc chấm điểm của NIST và AVA: 2017 đến 2019 và 2018.
2. Kết Quả Thử Thách: Tỷ Lệ Bỏ Sót và Báo Động Giả trên Âm Thanh Khó
Các thử thách công khai là nơi VAD gặp những âm thanh mà không ai tinh chỉnh trước. Các con số DIHARD III cho thấy vấn đề cốt lõi: tỷ lệ báo động giả của hệ thống cơ sở tăng vọt từ 3,98% trên dữ liệu phát triển lên 15,07% trên tập lõi đánh giá, trong khi tỷ lệ bỏ sót thay đổi ít hơn nhiều. Các bộ phát hiện bị quá khớp với tiếng ồn nền mà chúng được huấn luyện, và tiếng ồn mới biến thành lời nói ma.
Kết quả Fearless Steps cho thấy đầu bên kia. Âm thanh các sứ mệnh NASA Apollo có nhiễu, nhiều kênh và đã có tuổi hàng chục năm, vậy mà hệ thống Phase-3 tốt nhất đã hạ chi phí phát hiện xuống 1,47%, khoảng một phần mười của hệ thống cơ sở. Tổng quan Fearless Steps Phase-3 cũng cho thấy giới hạn: Phase-3 không vượt được kết quả tốt nhất của Phase-2 là 1,07%, và tập con Apollo-13 vẫn khó hơn Apollo-11.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Hệ thống cơ sở DIHARD III, tập lõi phát triển: bỏ sót / báo động giả / lỗi tổng thể | 1,84% / 3,98% / 2,30% | Bài báo Third DIHARD Diarization Challenge, arXiv 2020 |
| Hệ thống cơ sở DIHARD III, tập lõi đánh giá: bỏ sót / báo động giả / lỗi tổng thể | 4,97% / 15,07% / 7,26% | Bài báo Third DIHARD Diarization Challenge, arXiv 2020 |
| Hệ thống cơ sở DIHARD III, tập đầy đủ đánh giá: bỏ sót / báo động giả / lỗi tổng thể | 4,35% / 14,65% / 6,51% | Bài báo Third DIHARD Diarization Challenge, arXiv 2020 |
| Kích thước tập lõi đánh giá DIHARD III và tỷ lệ lời nói | 184 bản ghi, 22,73 giờ, 77,35% lời nói, 11 lĩnh vực | Bài báo Third DIHARD Diarization Challenge, arXiv 2020 |
| Mức tham gia Fearless Steps Phase-3 (tất cả các nhánh) | 9 tổ chức trong 14 nhóm theo từng tác vụ, 235 bài nộp hệ thống | Joglekar và cộng sự, Interspeech 2021 |
| Chi phí phát hiện của hệ thống cơ sở Fearless Steps Phase-3, phát triển so với đánh giá | 12,84% so với 15,16% | Joglekar và cộng sự, Interspeech 2021 |
| Chi phí phát hiện tốt nhất Fearless Steps Phase-3: đánh giá đầy đủ / tập con Apollo-13 / tập con kênh chưa từng thấy | 1,47% / 2,37% / 1,67% | Joglekar và cộng sự, Interspeech 2021 |
| Chi phí phát hiện tốt nhất Fearless Steps Phase-2 (vẫn là mức tiên tiến nhất sau Phase-3) | 1,07% | Joglekar và cộng sự, Interspeech 2021 |
Lưu ý về ngoại lệ: bài báo DIHARD III nói rằng phát hiện hoạt động lời nói “vẫn là một bài toán đầy thách thức đối với một số lĩnh vực được bao quát,” và nếu không có phân đoạn chính xác thì phân tách người nói suy giảm “một cách thảm khốc đối với một số lĩnh vực,” với sách nói là ngoại lệ. Các bảng đầy đủ nằm trong bài báo thử thách DIHARD III. Dữ liệu mới nhất hiện có: DIHARD III (2020 đến 2021) và Fearless Steps Phase-3 (2021); cả hai thử thách đều chưa tổ chức nhánh hoạt động lời nói nào mới hơn.
3. Các Mô Hình Mã Nguồn Mở Đối Đầu Trực Tiếp: pyannote, Silero và WebRTC
Hầu hết sản phẩm dùng một trong ba bộ phát hiện mở: VAD xử lý tín hiệu từ dự án WebRTC của Google, VAD nơ-ron Silero, hoặc mô hình phân đoạn pyannote. Dữ liệu độc lập thống nhất về thứ hạng, và khoảng cách lớn nhất đúng ở nơi sản phẩm thất bại: âm thanh chỉ có nhiễu. Trên các đoạn tiếng ồn môi trường ESC-50, WebRTC VAD đạt độ chính xác 0, nghĩa là nó coi mọi đoạn tiếng ồn là lời nói, trong khi Silero v6 nhận đúng 0,87 (Silero VAD Quality Metrics, tuyên bố của chính dự án).
Bài báo pyannote 2.0 là tài liệu tham chiếu tốt hơn cho sự phân chia giữa báo động giả và bỏ sót, vì nó báo cáo riêng cả hai trên ba tập công khai (Bredin và Laurent, arXiv 2021). Việc tinh chỉnh của nó giảm thiểu tổng của chúng, nên kết quả nằm gần điểm cân bằng (3,9% so với 3,3% trên DIHARD 3). Mô hình Silero thời 2021 trong cùng bảng cho thấy hồ sơ lệch điển hình: ít bỏ sót, nhiều báo động giả. ROC-AUC, dùng bên dưới, là điểm từ 0 đến 1 cho biết một bộ phát hiện tách lời nói khỏi không phải lời nói tốt đến đâu trên mọi ngưỡng; hệ số tương quan Matthews (MCC) là điểm từ -1 đến 1 vẫn trung thực khi một lớp áp đảo.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| DIHARD 3: báo động giả / bỏ sót / tổng lỗi phát hiện, pyannote 2.0 so với Silero VAD (phiên bản 2021) | 3,9% / 3,3% / 7,3% so với 17,0% / 4,0% / 21,0% | Bredin và Laurent, arXiv 2021 |
| Các cuộc họp AMI: báo động giả / bỏ sót, pyannote 2.0 so với Silero VAD (phiên bản 2021) | 3,6% / 3,2% so với 9,4% / 1,7% | Bredin và Laurent, arXiv 2021 |
| VoxConverse: báo động giả / bỏ sót, pyannote 2.0 so với Silero VAD (phiên bản 2021) | 1,8% / 0,8% so với 3,0% / 1,1% | Bredin và Laurent, arXiv 2021 |
| ROC-AUC trên tập xác thực đa lĩnh vực 17 giờ: WebRTC / Silero v5 / Silero v6 | 0,73 / 0,96 / 0,97 | Wiki Silero VAD Quality Metrics (tuyên bố của dự án) |
| ROC-AUC trên 80 giờ lời nói MSDWild có nhiễu: WebRTC so với Silero v6 | 0,62 so với 0,79 | Wiki Silero VAD Quality Metrics (tuyên bố của dự án) |
| Tỷ lệ đoạn tiếng ồn ESC-50 bị từ chối đúng: WebRTC / Silero v5 / Silero v6 | 0 / 0,61 / 0,87 | Wiki Silero VAD Quality Metrics (tuyên bố của dự án) |
| Độ chính xác ở mức phát ngôn của Silero VAD v5 trên ESC-50 (kiểm tra độc lập) | 61% | Wang và cộng sự, Calm-Whisper, arXiv 2025 |
| MCC với cửa sổ 50 ms trên 1,1 giờ podcast, phim và nhạc: RMS / WebRTC / Silero | 0,11 / 0,41 / 0,72 | McKinnon và cộng sự, Google, arXiv 2026 |
Bối cảnh: nhóm Google nhận thấy việc thêm trễ từ trạng thái (một quy tắc giữ nguyên trạng thái lời nói hoặc không phải lời nói hiện tại cho đến khi bằng chứng thay đổi rõ ràng) đã nâng MCC của WebRTC từ 0,41 lên 0,47 và không đem lại tác dụng hữu ích nào cho Silero (McKinnon và cộng sự, arXiv 2026). Ghi chú phát hành v6.0 của chính Silero tuyên bố ít lỗi hơn 16% trên dữ liệu đời thực có nhiễu và ít hơn 11% trên xác thực đa lĩnh vực so với v5, một tuyên bố của dự án chưa được tái hiện độc lập.
4. Nhiễu và SNR: Nơi Việc Phát Hiện Sụp Đổ
Tỷ lệ tín hiệu trên nhiễu (SNR) là mức của lời nói so với nền, tính bằng decibel; 0 dB nghĩa là lời nói và nhiễu to bằng nhau. Mọi tập dữ liệu ở đây đều cho thấy cùng một quy luật: lời nói sạch là bài toán đã giải xong, còn nhạc và nhiễu thì chưa. Trong tập phim AVA-Speech của Google, lời nói sạch ở mức SNR ước tính 40,8 dB, nhưng lời nói trên nền nhạc chỉ 11,7 dB, và ngay cả tỷ lệ dương tính thật của một bộ phát hiện ResNet lớn cũng giảm từ 0,992 trên lời nói sạch xuống 0,787 trên lời nói có nhạc (Chaudhuri và cộng sự, AVA-Speech).
Cải thiện độ nhạy với lời nói có nhiễu thường phải trả giá bằng báo động giả. VAD siêu nhỏ năm 2025 của Huawei nâng độ chính xác lời nói có nhiễu trên MS-SNSD từ 15,9% lên 89,9% nhờ một bước tiền xử lý, nhưng độ chính xác với phần không phải lời nói trên cùng tập giảm từ 99,1% xuống 87,7% (Jafarzadeh Asl và cộng sự, arXiv 2025). Không có bữa trưa miễn phí: điểm vận hành chỉ dịch chuyển dọc theo đường đánh đổi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| SNR ước tính của AVA-Speech: lời nói sạch / lời nói có nhiễu / lời nói có nhạc | 40,8 dB / 16,2 dB / 11,7 dB | Chaudhuri và cộng sự, AVA-Speech, Interspeech 2018 |
| Tỷ lệ dương tính thật của AVA-Speech ở tỷ lệ dương tính giả cố định 0,315, WebRTC VAD: sạch / nhiễu / nhạc | 0,786 / 0,706 / 0,733 | Chaudhuri và cộng sự, AVA-Speech, Interspeech 2018 |
| Tỷ lệ dương tính thật của AVA-Speech ở cùng tỷ lệ dương tính giả, mô hình ResNet-960: sạch / nhiễu / nhạc | 0,992 / 0,944 / 0,787 | Chaudhuri và cộng sự, AVA-Speech, Interspeech 2018 |
| F1 và AUC trung bình ở 0 dB (tiếng ồn đám đông, ô tô, máy móc), WebRTC VAD so với MagicNet | F1 0,581 so với 0,859; AUC 0,691 so với 0,956 | Jia và cộng sự, arXiv 2024 |
| Độ chính xác lời nói có nhiễu MS-SNSD, hệ thống cơ sở SG-VAD so với Huawei VAD có tiền xử lý | 15,9% so với 89,9% | Jafarzadeh Asl và cộng sự, arXiv 2025 |
| Độ chính xác không phải lời nói MS-SNSD, hệ thống cơ sở SG-VAD so với Huawei VAD có tiền xử lý | 99,1% so với 87,7% | Jafarzadeh Asl và cộng sự, arXiv 2025 |
| Tỷ lệ dương tính giả cần thiết để bắt được 99% lời nói, SG-VAD so với Huawei VAD có tiền xử lý | 58% so với 28% | Jafarzadeh Asl và cộng sự, arXiv 2025 |
| Độ chính xác trung bình (mean average precision) của VAD cá nhân (người nói mục tiêu), hệ thống cơ sở so với mô hình tốt nhất: tập kiểm tra sạch so với tập kiểm tra có thêm nhiễu và tiếng vang | 0,900 so với 0,969 khi sạch; 0,801 so với 0,928 khi có nhiễu | Ding và cộng sự, Google, Personal VAD, arXiv 2019 |
Bối cảnh: một nghiên cứu tháng 12 năm 2025 huấn luyện các bộ phát hiện CNN lai trên lời nói tiếng Kazakh trộn với nhiễu từ -18 dB đến +30 dB; các mô hình tốt nhất đạt điểm F1 99,6% và vẫn bền vững trên -12 dB, còn các mô hình huấn luyện ở một mức nhiễu duy nhất thì tổng quát hóa kém (Kulakayeva và cộng sự, ETASR 2025). Bài tổng quan của Amazon về phim và truyền hình cũng thấy rằng các mô hình khoảng 2 triệu tham số kém bền vững trước nhiễu hơn các mô hình khoảng 0,5 triệu. Dữ liệu mới nhất hiện có về AVA-Speech và Personal VAD: 2018 và 2019.
5. Kích Thước Khung, Độ Trễ và Ngân Sách Tính Toán
VAD chạy trước mọi thứ khác, nên nó phải rẻ. Ngân sách trong các tài liệu rất nhỏ: WebRTC VAD quyết định trên khung 10, 20 hoặc 30 ms (tài liệu py-webrtcvad), và trong bài đo chuẩn AVA-Speech nó cần 0,06 ms cho mỗi quyết định, so với 265 ms của mô hình ResNet chính xác nhất, đổi lại mô hình này nâng tỷ lệ dương tính thật trên toàn bộ lời nói từ 0,722 lên 0,917.
Các công trình 2024 đến 2026 thu hẹp khoảng cách đó từ phía mô hình. MagicNet chạy ở hệ số thời gian thực (thời gian xử lý chia cho thời lượng âm thanh) 0,034 với 22,7K tham số, gần với 0,015 của WebRTC, trong khi Silero nói mô hình khoảng 2 MB của mình xử lý một đoạn 30+ ms trong chưa đầy 1 ms trên một luồng CPU (README của Silero VAD, tuyên bố của dự án). Personal VAD cho thấy lý do khác để giữ mô hình nhỏ: Google xây dựng nó để chặn cổng nhận dạng giọng nói trên thiết bị, sao cho bộ nhận dạng chỉ thức dậy với người dùng đã đăng ký, giảm tính toán và mức dùng pin.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ dài khung, chế độ mạnh tay và tần số lấy mẫu của WebRTC VAD | 10, 20 hoặc 30 ms; chế độ 0 đến 3; 8, 16, 32 hoặc 48 kHz, PCM mono 16 bit | Tài liệu py-webrtcvad |
| Độ trễ mỗi quyết định, bài đo chuẩn AVA-Speech: WebRTC / CNN tiny_320 / CNN ResNet-960 | 0,06 ms / 2,23 ms / 265 ms | Chaudhuri và cộng sự, AVA-Speech, Interspeech 2018 |
| Hệ số thời gian thực trên CPU Intel Xeon: WebRTC / MagicNet / MarbleNet | 0,015 / 0,034 / 0,038 | Jia và cộng sự, arXiv 2024 |
| Số tham số: MagicNet / CRNN / MarbleNet | 22,7K / 36,8K / 85,2K | Jia và cộng sự, arXiv 2024 |
| Thời gian xử lý và kích thước mô hình của Silero VAD | Dưới 1 ms cho mỗi đoạn 30+ ms trên một luồng CPU; khoảng 2 MB; ONNX nhanh hơn tới 4-5 lần | README của Silero VAD (tuyên bố của dự án) |
| Bước khung và đoạn đầu vào của mô hình phân đoạn pyannote 2.0 | Khoảng 16 ms; đoạn 5 s | Bredin và Laurent, arXiv 2021 |
| Khoảng thời gian ra quyết định của SAD trực tuyến EML và hệ số thời gian thực trên một CPU (âm thanh Apollo) | Khoảng mỗi 0,1 s; khoảng 0,002 | Ghahabi và Fischer, arXiv 2021 |
| Kích thước Personal VAD, mô hình chỉ dùng embedding so với quy trình dựa trên xác minh người nói | 0,13M so với 4,88M + 0,06M tham số, một quyết định mỗi 10 ms | Ding và cộng sự, Google, Personal VAD, arXiv 2019 |
Bối cảnh: kích thước khung cũng là một đòn bẩy về độ chính xác. Nghiên cứu kích thước cửa sổ năm 2026 của Google lấy trung bình các dự đoán trên các cửa sổ từ 10 ms đến 10 s, và thấy Silero vượt trội rõ rệt so với WebRTC ở thiết lập 100 ms. Cửa sổ dài hơn làm mượt hiện tượng chập chờn nhưng thêm độ trễ, đó là lý do các công cụ giọng nói thời gian thực giữ khung gốc ngắn rồi làm mượt sau đó.
6. DTX trong Điện Thoại: Băng Thông Tiết Kiệm Được Nhờ Không Gửi Khoảng Im Lặng
Trong điện thoại, VAD tự hoàn vốn thông qua truyền gián đoạn (DTX): khi bộ phát hiện không nghe thấy lời nói, điện thoại ngừng gửi gói thoại và đầu bên kia phát “nhiễu thoải mái” tổng hợp để đường truyền không nghe như đã chết. Tài liệu của Avaya ghi nhận hơn 40% lượng truyền của một cuộc hội thoại là im lặng, vì thường chỉ có một bên nói tại một thời điểm (tài liệu Avaya Aura, hướng dẫn của nhà cung cấp).
Các con số lập kế hoạch thận trọng hơn so với tỷ lệ im lặng gợi ý. Cisco yêu cầu kỹ sư chỉ tính mức tiết kiệm của VAD trên nhiều cuộc gọi đồng thời (hướng dẫn băng thông mỗi cuộc gọi của Cisco, hướng dẫn của nhà cung cấp), vì một cuộc gọi đơn lẻ có thể toàn là nói, và nhạc chờ hay fax sẽ đánh lừa bộ phát hiện. Avaya nêu thẳng sự đánh đổi về lỗi: quá mạnh tay thì phần đầu và cuối của từ bị cắt (bỏ sót), không đủ mạnh tay thì không tiết kiệm được băng thông (báo động giả). Để xem nhịp độ gói tin sau đó định hình chất lượng cuộc gọi ra sao, hãy xem thống kê bộ đệm jitter VoIP và POLQA của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Mức tiết kiệm băng thông nhờ VAD, tính trung bình trên hơn 24 cuộc gọi | Tới 35 phần trăm, không đạt được ở từng cuộc gọi riêng lẻ | Cisco, Voice Over IP Per Call Bandwidth Consumption (hướng dẫn của nhà cung cấp) |
| Các liên kết mà Cisco nói không được tính mức tiết kiệm của VAD | Liên kết mang ít hơn 24 cuộc gọi thoại đồng thời | Cisco, Voice Over IP Per Call Bandwidth Consumption (hướng dẫn của nhà cung cấp) |
| Băng thông Ethernet mỗi cuộc gọi ở kích thước payload mặc định, G.711 so với G.729 | 87,2 kbps so với 31,2 kbps | Cisco, Voice Over IP Per Call Bandwidth Consumption (hướng dẫn của nhà cung cấp) |
| Tỷ lệ lượng truyền của một cuộc hội thoại là im lặng | Hơn 40% | Tài liệu Avaya Aura 10.2.x (hướng dẫn của nhà cung cấp) |
| Trạng thái mặc định của chế độ triệt im lặng trong Avaya Communication Manager | Tắt, trừ G.729B nơi nó được tích hợp sẵn | Tài liệu Avaya Aura 10.2.x (hướng dẫn của nhà cung cấp) |
| Tốc độ bit lõi của ITU-T G.729; vai trò của Annex B | 8 kbit/s; Annex B bổ sung VAD, DTX và nhiễu thoải mái, tinh chỉnh cho mạch, cùng Appendix II và III cho VoIP | Tóm tắt ITU-T Rec. G.729 (06/2012) |
| Khoảng cập nhật nhiễu thoải mái của codec EVS: mặc định / dải tốc độ cố định / dải thích ứng | Mỗi 8 khung / 1 đến 100 khung / 8 đến 50 khung | 3GPP TS 26.449, tạo nhiễu thoải mái EVS |
Bối cảnh: tổng quan EVS của 3GPP nói DTX giảm tốc độ bit trung bình cần thiết, “dẫn đến truyền dẫn hiệu quả hơn với tải giảm và do đó dung lượng tăng,” nhưng không đưa ra một tỷ lệ phần trăm duy nhất nào (tổng quan 3GPP TS 26.441). Bản tóm tắt ITU-T G.729 có từ tháng 6 năm 2012; nó vẫn là văn bản mới nhất hiện có cho họ codec này.
7. Thiệt Hại Phía Sau: Lỗi VAD Lan Sang ASR và Phân Tách Người Nói Như Thế Nào
Lỗi VAD hiếm khi là lỗi cuối cùng. Một báo động giả đưa tiếng ồn cho bộ nhận dạng giọng nói để phiên âm; một lần bỏ sót xóa các từ mà không bước nào sau đó khôi phục được. Kết quả có kiểm soát rõ ràng nhất đến từ Đại học AGH Kraków: trên lời nói Common Voice bị chèn âm thanh không phải lời nói ở SNR 9 dB, tỷ lệ lỗi từ của Whisper là 68,3% khi có WebRTC VAD đứng trước và 8,0% khi có Silero VAD (Barański và cộng sự, arXiv 2025). Riêng việc chọn bộ phát hiện đã làm lỗi thay đổi khoảng tám lần. Tỷ lệ trên 100% là có thể ở đây vì các từ bịa ra được tính là lỗi chèn. Thống kê ảo giác nhận dạng giọng nói của chúng tôi phân tích sâu phần bộ nhận dạng của thất bại này.
VAD tốt còn mua được tốc độ và độ chính xác về thời điểm. WhisperX dùng VAD của pyannote để cắt âm thanh thành các đoạn chỉ có lời nói rồi xử lý theo lô, giúp nó nhanh hơn Whisper thường 11,8 lần và nâng độ chính xác thời điểm từ trên các cuộc họp AMI (Bain và cộng sự, WhisperX, arXiv 2023). Về phía phân tách người nói, một bài đo chuẩn của ETH Zurich năm 2025 trên 196,6 giờ thấy rằng “lời nói bị bỏ sót là trường hợp thất bại chiếm ưu thế ở mọi mô hình phân tách người nói” (Lanzendörfer và cộng sự, arXiv 2025); thống kê tỷ lệ lỗi phân tách người nói của chúng tôi theo dõi toàn bộ ngân sách lỗi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tỷ lệ lỗi từ của Whisper trên lời nói có âm thanh không phải lời nói đứng trước hoặc sau, WebRTC VAD so với Silero VAD | 68,3% so với 8,0% | Barański và cộng sự, arXiv 2025 |
| Cùng phép so sánh khi nhiễu chồng lên lời nói, WebRTC VAD so với Silero VAD | 75,4% so với 10,8% | Barański và cộng sự, arXiv 2025 |
| Tốc độ phiên âm với xử lý theo lô dựa trên VAD, WhisperX so với Whisper | 11,8x so với 1,0x | Bain và cộng sự, WhisperX, arXiv 2023 |
| Độ chính xác / độ phủ về thời điểm từ trên các cuộc họp AMI (cửa sổ dung sai 200 ms), WhisperX so với Whisper | 84,1 / 60,3 so với 78,9 / 52,1 | Bain và cộng sự, WhisperX, arXiv 2023 |
| Thời gian không phát âm trung bình mỗi bản ghi, người nói bị mất ngôn ngữ so với người nói đối chứng (đo bằng pyannote, xác nhận bằng Silero) | 6,8 s so với 1,3 s (p < 2,2e-16) | Koenecke và cộng sự, Careless Whisper, ACM FAccT 2024 |
| Thời gian không phát âm trung bình, các bản ghi mà Whisper bị ảo giác so với các bản ghi mà nó không bị | 5,3 s so với 3,5 s | Koenecke và cộng sự, Careless Whisper, ACM FAccT 2024 |
| Độ khó phân tách người nói tăng thêm khi hệ thống phải tự tìm lời nói (Nhánh 2) thay vì nhận các vùng lời nói tham chiếu (Nhánh 1) | “Cỡ 5%” đối với cả DER và JER | Bài báo Third DIHARD Diarization Challenge, arXiv 2020 |
| Phạm vi của bài đo chuẩn phân tách người nói đứng sau phát hiện về lời nói bị bỏ sót | 196,6 giờ, 4 tập dữ liệu, 5 ngôn ngữ | Lanzendörfer và cộng sự, ETH Zurich, arXiv 2025 |
Lưu ý về ngoại lệ: chính bảng Kraków đó cho thấy VAD là cần nhưng chưa đủ. Silero VAD cộng với bước loại bỏ vòng lặp và danh sách các cụm từ ảo giác đã biết cho kết quả tốt hơn Silero đơn lẻ (tỷ lệ lỗi từ 6,5% so với 8,0% trên âm thanh không chồng lấn). Dữ liệu mới nhất hiện có về WhisperX: 2023.
Tổng Kết: Phát Hiện Hoạt Động Giọng Nói qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Hàm chi phí hoạt động lời nói của NIST | 0,75 x tỷ lệ bỏ sót + 0,25 x tỷ lệ báo động giả | NIST IR 8242, đợt thí điểm OpenSAT 2017 |
| Hệ thống cơ sở DIHARD III, lõi đánh giá: bỏ sót / báo động giả | 4,97% / 15,07% | Bài báo Third DIHARD Diarization Challenge, arXiv 2020 |
| Chi phí phát hiện Fearless Steps Phase-3, hệ thống cơ sở so với tốt nhất (đánh giá) | 15,16% so với 1,47% | Joglekar và cộng sự, Interspeech 2021 |
| Cửa sổ dung sai chấm điểm Fearless Steps, Phase-3 so với Phase-2 | 0,25 s so với 0,5 s | Joglekar và cộng sự, Interspeech 2021 |
| DIHARD 3 báo động giả / bỏ sót, pyannote 2.0 | 3,9% / 3,3% | Bredin và Laurent, arXiv 2021 |
| DIHARD 3 báo động giả / bỏ sót, Silero VAD (phiên bản 2021) | 17,0% / 4,0% | Bredin và Laurent, arXiv 2021 |
| Đoạn tiếng ồn ESC-50 bị từ chối đúng, WebRTC so với Silero v6 | 0 so với 0,87 | Wiki Silero VAD Quality Metrics (tuyên bố của dự án) |
| MCC với cửa sổ 50 ms, WebRTC so với Silero | 0,41 so với 0,72 | McKinnon và cộng sự, Google, arXiv 2026 |
| AUC trung bình ở SNR 0 dB, WebRTC so với MagicNet | 0,691 so với 0,956 | Jia và cộng sự, arXiv 2024 |
| Tỷ lệ dương tính thật của ResNet AVA-Speech, lời nói sạch so với lời nói có nhạc | 0,992 so với 0,787 | Chaudhuri và cộng sự, AVA-Speech, Interspeech 2018 |
| Độ chính xác lời nói có nhiễu MS-SNSD, hệ thống cơ sở so với Huawei VAD có tiền xử lý | 15,9% so với 89,9% | Jafarzadeh Asl và cộng sự, arXiv 2025 |
| Độ trễ mỗi quyết định, WebRTC so với ResNet-960 | 0,06 ms so với 265 ms | Chaudhuri và cộng sự, AVA-Speech, Interspeech 2018 |
| Mức tiết kiệm băng thông của VAD tính trung bình trên hơn 24 cuộc gọi | Tới 35 phần trăm | Cisco, Per Call Bandwidth Consumption (hướng dẫn của nhà cung cấp) |
| Tỷ lệ lượng truyền của một cuộc hội thoại là im lặng | Hơn 40% | Tài liệu Avaya Aura 10.2.x (hướng dẫn của nhà cung cấp) |
| Khoảng cập nhật nhiễu thoải mái mặc định của EVS | Mỗi 8 khung | 3GPP TS 26.449 |
| Tỷ lệ lỗi từ của Whisper khi đứng sau WebRTC VAD so với sau Silero VAD | 68,3% so với 8,0% | Barański và cộng sự, arXiv 2025 |
| Mức tăng tốc của WhisperX nhờ xử lý theo lô dựa trên VAD | 11,8x | Bain và cộng sự, WhisperX, arXiv 2023 |
Phương Pháp Luận và Nguồn
- NIST IR 8242, báo cáo đánh giá đợt thí điểm OpenSAT 2017: hàm chi phí, cửa sổ dung sai, mức tham gia.
- Trang loạt đánh giá NIST OpenSAT: các năm đánh giá, lĩnh vực và trạng thái chương trình.
- Bài báo The Third DIHARD Diarization Challenge (arXiv 2012.01477): tỷ lệ bỏ sót và báo động giả của hệ thống cơ sở phát hiện hoạt động lời nói, kích thước tập dữ liệu, các phát hiện Nhánh 1 so với Nhánh 2.
- Joglekar và cộng sự, Fearless Steps Challenge Phase-3, Interspeech 2021: kết quả chi phí phát hiện trên âm thanh Apollo và cửa sổ dung sai.
- Ghahabi và Fischer, EML online SAD for Fearless Steps Phase-III, arXiv 2021: khoảng thời gian ra quyết định và hệ số thời gian thực.
- Bredin và Laurent, End-to-end speaker segmentation for overlap-aware resegmentation, arXiv 2021: tỷ lệ báo động giả và bỏ sót trên AMI, DIHARD 3 và VoxConverse.
- Wiki Silero VAD Quality Metrics, README của Silero VAD và các bản phát hành Silero VAD: các tuyên bố về độ chính xác, tốc độ và phát hành do dự án báo cáo.
- McKinnon và cộng sự, Window Size Versus Accuracy Experiments in Voice Activity Detectors, Google, arXiv 2026: so sánh MCC giữa RMS, WebRTC và Silero.
- Tài liệu py-webrtcvad: kích thước khung, chế độ và tần số lấy mẫu của WebRTC VAD.
- Chaudhuri và cộng sự, AVA-Speech, Interspeech 2018: tỷ lệ nhãn, SNR ước tính, tỷ lệ dương tính thật theo từng điều kiện và độ trễ.
- Jia và cộng sự, A Real-Time Voice Activity Detection Based on Lightweight Neural Network, arXiv 2024: F1 ở 0 dB, AUC, số tham số và hệ số thời gian thực.
- Jafarzadeh Asl và cộng sự, Tiny Noise-Robust Voice Activity Detector for Voice Assistants, Huawei, arXiv 2025: đánh đổi độ chính xác giữa lời nói có nhiễu và không phải lời nói.
- Kulakayeva và cộng sự, Robust Neural Network-Based VAD under Low SNR, ETASR 2025: dải SNR và ngưỡng bền vững.
- Sharma và cộng sự, Empirical review of VAD for movies and TV shows, Neurocomputing 2022: các phát hiện về nhiễu nhãn và kích thước mô hình.
- Ding và cộng sự, Personal VAD, Google, arXiv 2019: độ chính xác, kích thước và tốc độ khung của VAD người nói mục tiêu.
- Cisco, Voice Over IP Per Call Bandwidth Consumption: hướng dẫn về mức tiết kiệm của VAD và băng thông mỗi cuộc gọi.
- Avaya Aura 10.2.x, Silence suppression or voice activity detection: tỷ lệ im lặng và giá trị mặc định.
- Tóm tắt ITU-T Rec. G.729 (06/2012), 3GPP TS 26.449 EVS comfort noise generation và tổng quan 3GPP TS 26.441 EVS: cơ chế DTX và nhiễu thoải mái (văn bản 3GPP được đọc qua bản sao iTecSpec).
- Barański và cộng sự, Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, arXiv 2025: tỷ lệ lỗi từ khi đứng sau WebRTC so với Silero VAD.
- Bain và cộng sự, WhisperX, arXiv 2023: mức tăng tốc và kết quả thời điểm từ nhờ xử lý theo lô dựa trên VAD.
- Wang và cộng sự, Calm-Whisper, arXiv 2025: kiểm tra độc lập độ chính xác của Silero v5 trên ESC-50.
- Koenecke và cộng sự, Careless Whisper, ACM FAccT 2024: thời gian không phát âm và ảo giác.
- Lanzendörfer và cộng sự, Benchmarking Diarization Models, ETH Zurich, arXiv 2025: lời nói bị bỏ sót là thất bại chiếm ưu thế của phân tách người nói.
- Lưu ý về dữ liệu: phần lớn nền tảng đo chuẩn đã cũ hơn ba năm (OpenSAT 2017, AVA-Speech 2018, Personal VAD 2019, DIHARD III 2020 đến 2021, Fearless Steps Phase-3 2021, WhisperX 2023), vì từ đó đến nay không có thử thách hoạt động lời nói công khai nào được tổ chức; hãy coi chúng là dữ liệu mới nhất hiện có. Dòng hệ thống cơ sở DIHARD 3 trong bài báo pyannote (4,0% báo động giả, 4,2% bỏ sót) không khớp với số liệu đánh giá của chính bài báo DIHARD III (15,07% và 4,97% trên tập lõi), có thể do cách chia tập hoặc thiết lập khác nhau, nên chúng tôi chỉ trích dẫn từng số cùng nguồn riêng của nó. Mô hình Silero trong bảng pyannote năm 2021 có trước Silero v5 và v6. Bài báo Google 2026 cho Silero cửa sổ gốc 16 ms trong khi README của Silero nói về các đoạn 30+ ms. AVA-Speech tự mô tả vừa là “45 giờ” vừa là “khoảng 46 giờ”. Bài báo Personal VAD không nói đầy đủ liệu các mô hình thử nghiệm có nhiễu có được huấn luyện khác đi hay không. Các con số của Silero, Cisco và Avaya là tuyên bố hoặc hướng dẫn của chính nhà xuất bản. Con số 35 phần trăm của Cisco là con số lập kế hoạch cho trường hợp trung bình, không phải là phép đo của bất kỳ mạng nào.
- Cập nhật lần cuối: ngày 31 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi các bài báo ICASSP 2027 được công bố và dự án Silero VAD cập nhật trang Quality Metrics của mình.