Официальный детектор базовой системы DIHARD III пропустил 4,97% речи на основном оценочном наборе, но ошибочно принял неречевые звуки за речь в 15,07% случаев, что втрое больше его собственной доли пропусков. Этот разрыв и есть вся суть детекции речевой активности (VAD): каждый детектор обменивает пропуски (настоящую речь, которую он отбрасывает) на ложные тревоги (тишину, музыку или шум, которые он пропускает), а бенчмарки решают, какая ошибка важнее. В соревновании Fearless Steps Phase-3 на аудио миссий NASA Apollo лучшая система снизила стоимость детекции базовой системы с 15,16% до 1,47%, тогда как при отношении сигнал/шум 0 дБ WebRTC VAD показал в среднем F1 всего 0,581. Главный враг на входе - шум, поэтому VAD и задержку нейросетевого шумоподавления обычно настраивают вместе. Мы свели данные оценок NIST OpenSAT, соревнований DIHARD III и Fearless Steps, AVA-Speech и исследований Google 2026 года о размере окна, спецификаций кодеков 3GPP и ITU-T, телефонных рекомендаций Cisco и Avaya, а также более чем десятка рецензируемых статей и препринтов.
Кратко (TL;DR)
- NIST оценивал детекцию речевой активности как 0,75 x доля пропусков + 0,25 x доля ложных тревог, делая пропуск втрое дороже (NIST IR 8242, пилот OpenSAT 2017).
- У базовой системы DIHARD III было 4,97% пропусков и 15,07% ложных тревог на основном оценочном наборе (статья о Third DIHARD Diarization Challenge, arXiv 2020).
- Лучшая система Fearless Steps Phase-3 достигла стоимости детекции 1,47% на оценочных данных против 15,16% у базовой (Joglekar et al., Interspeech 2021).
- На аудио DIHARD 3 у pyannote 2.0 было 3,9% ложных тревог и 3,3% пропусков против 17,0% и 4,0% у Silero VAD, доступного в 2021 году (Bredin и Laurent, arXiv 2021).
- На наборе природных шумов ESC-50 WebRTC VAD показал точность 0, Silero v5 - 0,61, а Silero v6 - 0,87 (Silero VAD Quality Metrics, заявление проекта).
- При окнах 50 мс коэффициент корреляции Мэтьюса у Silero составил 0,72 против 0,41 у WebRTC и 0,11 у простого детектора громкости (RMS) (McKinnon et al., Google, arXiv 2026).
- При ОСШ 0 дБ WebRTC VAD показал в среднем AUC 0,691 против 0,956 у MagicNet с 22,7 тыс. параметров (Jia et al., arXiv 2024).
- WebRTC VAD тратил 0,06 мс на решение, большой VAD на ResNet - 265 мс (Chaudhuri et al., AVA-Speech, Interspeech 2018).
- Cisco закладывает, что VAD экономит до 35 процентов полосы для голоса, но лишь в среднем по более чем 24 звонкам (Cisco, Per Call Bandwidth Consumption).
- Доля ошибочных слов у Whisper на речи, дополненной шумом, составила 68,3% за WebRTC VAD и 8,0% за Silero VAD (Barański et al., arXiv 2025).
1. Как оцениваются ошибки VAD: пропуски и ложные тревоги
Прежде чем сравнивать любые два показателя VAD, проверьте правила оценки. «Ложная тревога» - это неречевой звук, помеченный как речь; «пропуск» - это речь, помеченная как неречевой звук. Затем оценщики решают, сколько стоит каждая ошибка и какой допуск давать на границах сегментов. Этот допуск называется «collar» (допуск на границах): короткое окно вокруг каждой истинной границы речи, в котором ошибки не засчитываются. NIST взвешивал пропуски с коэффициентом 0,75, а ложные тревоги с коэффициентом 0,25, исходя из того, что «пропущенные обнаружения считаются более критичными, чем ложные тревоги» (NIST IR 8242, пилот OpenSAT 2017).
С тех пор тенденция - к более строгой оценке. Допуски сократились с 0,5 с до 0,25 с в Fearless Steps и полностью исчезли в DIHARD III, поэтому показатель 2026 года, оценённый без допуска, несопоставим с показателем 2017 года, оценённым с ним. Сама серия NIST завершена: страница программы OpenSAT указывает её статус как завершённый, без оценок после 2020 года.
| Показатель | Значение | Источник |
|---|---|---|
| Веса функции стоимости детекции, используемые для оценки детекции речевой активности | DCF = 0,75 x P_Miss + 0,25 x P_FA | NIST IR 8242, пилот OpenSAT 2017 |
| Неоцениваемое окно (допуск) вокруг каждого эталонного речевого сегмента, пилот OpenSAT 2017 | 0,5 с | NIST IR 8242, пилот OpenSAT 2017 |
| Команды, приславшие результаты на пилот OpenSAT 2017, против зарегистрировавшихся площадок | 22 против 33 | NIST IR 8242, пилот OpenSAT 2017 |
| Последняя оценка OpenSAT и её предметная область | OpenSAT20 (2020), только англоязычные коммуникации служб общественной безопасности | Страница серии оценок NIST OpenSAT |
| Допуск при оценке, Fearless Steps Phase-3 против Phase-2 | 0,25 с против 0,5 с | Joglekar et al., Fearless Steps Phase-3, Interspeech 2021 |
| Допуск при оценке, использованный в DIHARD III | Отсутствует («без использования допусков на границах»), перекрывающаяся речь оценивалась | Статья о Third DIHARD Diarization Challenge, arXiv 2020 |
| Согласие между тремя разметчиками-людьми, размечавшими каждый клип AVA-Speech | Каппа Флейсса 0,74 («существенное») | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Длина сегмента для оценки Silero и конкурирующих VAD | 31,25 мс, порог настроен на 17-часовом мультидоменном валидационном наборе | Вики Silero VAD Quality Metrics (заявление проекта) |
Контекст: даже эталонная разметка содержит шум. Исследование Amazon на 450 часах фильмов и ТВ-передач показало, что качественные файлы субтитров, используемые как разметка, содержат до 15% шума разметки (Sharma et al., Neurocomputing 2022). Самые свежие доступные данные о правилах оценки NIST и AVA: 2017-2019 и 2018 годы.
2. Результаты соревнований: доли пропусков и ложных тревог на сложном аудио
Открытые соревнования - это место, где VAD встречается с аудио, под которое никто не настраивался. Данные DIHARD III показывают главную проблему: доля ложных тревог у базовой системы подскочила с 3,98% на данных для разработки до 15,07% на основном оценочном наборе, тогда как доля пропусков изменилась гораздо меньше. Детекторы переобучаются под фоновый шум, на котором их учили, а новый шум превращается в фантомную речь.
Результаты Fearless Steps показывают противоположный край. Аудио миссий NASA Apollo шумное, многоканальное и десятилетней давности, и всё же лучшая система Phase-3 снизила стоимость детекции до 1,47%, примерно в десять раз ниже базовой. Обзор Fearless Steps Phase-3 показывает и предел: Phase-3 не превзошла лучший результат Phase-2, равный 1,07%, а подмножество Apollo-13 осталось сложнее, чем Apollo-11.
| Показатель | Значение | Источник |
|---|---|---|
| Базовая система DIHARD III, основной набор для разработки: пропуски / ложные тревоги / общая ошибка | 1,84% / 3,98% / 2,30% | Статья о Third DIHARD Diarization Challenge, arXiv 2020 |
| Базовая система DIHARD III, основной оценочный набор: пропуски / ложные тревоги / общая ошибка | 4,97% / 15,07% / 7,26% | Статья о Third DIHARD Diarization Challenge, arXiv 2020 |
| Базовая система DIHARD III, полный оценочный набор: пропуски / ложные тревоги / общая ошибка | 4,35% / 14,65% / 6,51% | Статья о Third DIHARD Diarization Challenge, arXiv 2020 |
| Размер основного оценочного набора DIHARD III и доля речи | 184 записи, 22,73 часа, 77,35% речи, 11 предметных областей | Статья о Third DIHARD Diarization Challenge, arXiv 2020 |
| Участие в Fearless Steps Phase-3 (все треки) | 9 организаций в 14 командах по отдельным задачам, 235 поданных систем | Joglekar et al., Interspeech 2021 |
| Стоимость детекции базовой системы Fearless Steps Phase-3, разработка против оценки | 12,84% против 15,16% | Joglekar et al., Interspeech 2021 |
| Лучшая стоимость детекции Fearless Steps Phase-3: полная оценка / подмножество Apollo-13 / подмножество неизвестных каналов | 1,47% / 2,37% / 1,67% | Joglekar et al., Interspeech 2021 |
| Лучшая стоимость детекции Fearless Steps Phase-2 (всё ещё передний край после Phase-3) | 1,07% | Joglekar et al., Interspeech 2021 |
Примечание о выбросах: в статье DIHARD III сказано, что детекция речевой активности «остаётся сложной задачей для некоторых из охваченных предметных областей», а без точной сегментации диаризация деградировала «катастрофически для некоторых», за исключением аудиокниг. Полные таблицы приведены в статье о соревновании DIHARD III. Самые свежие доступные данные: DIHARD III (2020-2021) и Fearless Steps Phase-3 (2021); ни одно из соревнований не проводило более нового трека по детекции речевой активности.
3. Открытые модели лицом к лицу: pyannote, Silero и WebRTC
Большинство продуктов использует один из трёх открытых детекторов: VAD на основе обработки сигналов из проекта Google WebRTC, нейросетевой VAD Silero или модель сегментации pyannote. Независимые данные сходятся в рейтинге, а разрыв больше всего там, где продукты ошибаются: на аудио, содержащем только шум. На клипах природных шумов ESC-50 WebRTC VAD показал точность 0, то есть назвал речью каждый клип с шумом, тогда как Silero v6 верно определил 0,87 (Silero VAD Quality Metrics, заявление самого проекта).
Статья о pyannote 2.0 - лучший источник для разделения ложных тревог и пропусков, потому что в ней приведены оба показателя отдельно на трёх открытых наборах (Bredin и Laurent, arXiv 2021). Его настройка минимизирует их сумму, поэтому он оказывается близко к балансу (3,9% против 3,3% на DIHARD 3). Модель Silero времён 2021 года в той же таблице показывает классический перекошенный профиль: мало пропусков, много ложных тревог. ROC-AUC, используемая ниже, - это оценка от 0 до 1 того, насколько хорошо детектор отделяет речь от неречи при всех порогах; коэффициент корреляции Мэтьюса (MCC) - оценка от -1 до 1, которая остаётся честной, когда один класс преобладает.
| Показатель | Значение | Источник |
|---|---|---|
| DIHARD 3: ложные тревоги / пропуски / общая ошибка детекции, pyannote 2.0 против Silero VAD (версия 2021 года) | 3,9% / 3,3% / 7,3% против 17,0% / 4,0% / 21,0% | Bredin и Laurent, arXiv 2021 |
| Совещания AMI: ложные тревоги / пропуски, pyannote 2.0 против Silero VAD (версия 2021 года) | 3,6% / 3,2% против 9,4% / 1,7% | Bredin и Laurent, arXiv 2021 |
| VoxConverse: ложные тревоги / пропуски, pyannote 2.0 против Silero VAD (версия 2021 года) | 1,8% / 0,8% против 3,0% / 1,1% | Bredin и Laurent, arXiv 2021 |
| ROC-AUC на 17-часовом мультидоменном валидационном наборе: WebRTC / Silero v5 / Silero v6 | 0,73 / 0,96 / 0,97 | Вики Silero VAD Quality Metrics (заявление проекта) |
| ROC-AUC на 80 часах шумной речи MSDWild: WebRTC против Silero v6 | 0,62 против 0,79 | Вики Silero VAD Quality Metrics (заявление проекта) |
| Доля клипов с шумом ESC-50, верно отвергнутых: WebRTC / Silero v5 / Silero v6 | 0 / 0,61 / 0,87 | Вики Silero VAD Quality Metrics (заявление проекта) |
| Точность Silero VAD v5 на уровне высказываний на ESC-50 (независимая проверка) | 61% | Wang et al., Calm-Whisper, arXiv 2025 |
| MCC при окнах 50 мс на 1,1 часа подкастов, фильмов и музыки: RMS / WebRTC / Silero | 0,11 / 0,41 / 0,72 | McKinnon et al., Google, arXiv 2026 |
Контекст: команда Google обнаружила, что добавление гистерезиса (правила, удерживающего текущее состояние речи или неречи, пока свидетельства явно не изменятся) подняло MCC у WebRTC с 0,41 до 0,47 и не дало ничего полезного для Silero (McKinnon et al., arXiv 2026). В собственных примечаниях к релизу v6.0 Silero заявляет о 16% меньшем числе ошибок на шумных реальных данных и об 11% меньшем на мультидоменной валидации по сравнению с v5 - это заявление проекта, которое пока не воспроизведено независимо.
4. Шум и ОСШ: где детекция ломается
Отношение сигнал/шум (ОСШ) - это уровень речи над фоном в децибелах; 0 дБ означает, что речь и шум одинаково громки. Все наборы данных здесь показывают одну и ту же картину: чистая речь - решённая задача, а музыка и шум - нет. В наборе фильмов AVA-Speech от Google чистая речь имела оценочное ОСШ 40,8 дБ, а речь поверх музыки - всего 11,7 дБ, и даже доля истинно положительных у большого детектора на ResNet упала с 0,992 на чистой речи до 0,787 на речи с музыкой (Chaudhuri et al., AVA-Speech).
Исправление полноты на шумной речи обычно стоит ложных тревог. Крошечный VAD Huawei 2025 года поднял точность на шумной речи в MS-SNSD с 15,9% до 89,9% с помощью этапа предобработки, но его точность на неречи на том же наборе упала с 99,1% до 87,7% (Jafarzadeh Asl et al., arXiv 2025). Бесплатных обедов не бывает: рабочая точка лишь смещается вдоль кривой компромисса.
| Показатель | Значение | Источник |
|---|---|---|
| Оценочное ОСШ в AVA-Speech: чистая речь / речь с шумом / речь с музыкой | 40,8 дБ / 16,2 дБ / 11,7 дБ | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Доля истинно положительных в AVA-Speech при фиксированной доле ложноположительных 0,315, WebRTC VAD: чистая / шум / музыка | 0,786 / 0,706 / 0,733 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Доля истинно положительных в AVA-Speech при той же доле ложноположительных, модель ResNet-960: чистая / шум / музыка | 0,992 / 0,944 / 0,787 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Средние F1 и AUC при 0 дБ (шум многоголосья, автомобиля и оборудования), WebRTC VAD против MagicNet | F1 0,581 против 0,859; AUC 0,691 против 0,956 | Jia et al., arXiv 2024 |
| Точность на шумной речи в MS-SNSD, базовая SG-VAD против VAD Huawei с предобработкой | 15,9% против 89,9% | Jafarzadeh Asl et al., arXiv 2025 |
| Точность на неречи в MS-SNSD, базовая SG-VAD против VAD Huawei с предобработкой | 99,1% против 87,7% | Jafarzadeh Asl et al., arXiv 2025 |
| Доля ложноположительных, необходимая для улавливания 99% речи, SG-VAD против VAD Huawei с предобработкой | 58% против 28% | Jafarzadeh Asl et al., arXiv 2025 |
| Средняя точность (mAP) персонального VAD (для целевого диктора), базовая модель против лучшей: чистый тестовый набор против тестового набора с добавленными шумом и реверберацией | 0,900 против 0,969 на чистом; 0,801 против 0,928 на шумном | Ding et al., Google, Personal VAD, arXiv 2019 |
Контекст: исследование декабря 2025 года обучило гибридные детекторы на основе CNN на казахской речи, смешанной с шумом от -18 дБ до +30 дБ; лучшие модели достигли F1 99,6% и сохраняли устойчивость выше -12 дБ, тогда как модели, обученные на одном уровне шума, обобщались плохо (Kulakayeva et al., ETASR 2025). Обзор Amazon по фильмам и ТВ-передачам также показал, что модели примерно с 2 млн параметров менее устойчивы к шуму, чем модели примерно с 0,5 млн. Самые свежие доступные данные по AVA-Speech и Personal VAD: 2018 и 2019 годы.
5. Размер кадра, задержка и вычислительный бюджет
VAD работает раньше всего остального, поэтому должен быть дешёвым. Бюджеты в литературе крошечные: WebRTC VAD принимает решения по кадрам в 10, 20 или 30 мс (документация py-webrtcvad), а в бенчмарке AVA-Speech ему требовалось 0,06 мс на решение против 265 мс у самой точной модели ResNet, которая взамен подняла долю истинно положительных на всей речи с 0,722 до 0,917.
Работы 2024-2026 годов закрывают этот разрыв со стороны моделей. MagicNet работает с коэффициентом реального времени (время обработки, делённое на длительность аудио) 0,034 при 22,7 тыс. параметров, близко к 0,015 у WebRTC, а Silero сообщает, что его модель примерно в 2 МБ обрабатывает фрагмент 30+ мс менее чем за 1 мс на одном потоке процессора (README Silero VAD, заявление проекта). Personal VAD показывает вторую причину оставаться маленьким: Google создал его для управления распознаванием речи на устройстве, чтобы распознаватель просыпался только для зарегистрированного пользователя, сокращая вычисления и расход батареи.
| Показатель | Значение | Источник |
|---|---|---|
| Длины кадров, режимы агрессивности и частоты дискретизации WebRTC VAD | 10, 20 или 30 мс; режимы от 0 до 3; 8, 16, 32 или 48 кГц, 16-битный моно PCM | Документация py-webrtcvad |
| Задержка на решение, бенчмарк AVA-Speech: WebRTC / CNN tiny_320 / CNN ResNet-960 | 0,06 мс / 2,23 мс / 265 мс | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Коэффициент реального времени на процессоре Intel Xeon: WebRTC / MagicNet / MarbleNet | 0,015 / 0,034 / 0,038 | Jia et al., arXiv 2024 |
| Параметры: MagicNet / CRNN / MarbleNet | 22,7 тыс. / 36,8 тыс. / 85,2 тыс. | Jia et al., arXiv 2024 |
| Время обработки и размер модели Silero VAD | Менее 1 мс на фрагмент 30+ мс на одном потоке процессора; около 2 МБ; ONNX до 4-5 раз быстрее | README Silero VAD (заявление проекта) |
| Шаг кадра и входной фрагмент модели сегментации pyannote 2.0 | Около 16 мс; фрагменты по 5 с | Bredin и Laurent, arXiv 2021 |
| Интервал решений онлайн-SAD EML и коэффициент реального времени на одном процессоре (аудио Apollo) | Примерно каждые 0,1 с; около 0,002 | Ghahabi и Fischer, arXiv 2021 |
| Размер Personal VAD, модель только на эмбеддингах против конвейера на основе верификации диктора | 0,13 млн против 4,88 млн + 0,06 млн параметров, одно решение каждые 10 мс | Ding et al., Google, Personal VAD, arXiv 2019 |
Контекст: размер кадра - это также рычаг точности. Исследование окон Google 2026 года усредняло предсказания по окнам от 10 мс до 10 с и обнаружило, что Silero явно опережает WebRTC при настройке в 100 мс. Более длинные окна сглаживают мерцание, но добавляют задержку, поэтому инструменты обработки голоса в реальном времени держат собственный кадр коротким и сглаживают результат позже.
6. Телефонная DTX: полоса, сэкономленная на неотправке тишины
В телефонии VAD окупается за счёт прерывистой передачи (DTX): когда детектор не слышит речи, телефон прекращает отправку голосовых пакетов, а дальний конец воспроизводит синтетический «комфортный шум», чтобы линия не казалась мёртвой. В документации Avaya отмечено, что более 40% передачи в разговоре приходится на тишину, потому что обычно говорит только одна сторона (документация Avaya Aura, рекомендации производителя).
Плановые цифры осторожнее, чем предполагает доля тишины. Cisco советует инженерам рассчитывать на экономию от VAD только по многим одновременным звонкам (руководство Cisco по полосе на один звонок, рекомендации производителя), потому что отдельный звонок может состоять из сплошной речи, а музыка на удержании или факс сбивают детектор. Avaya прямо называет компромисс между ошибками: слишком агрессивный детектор обрезает начала и концы слов (пропуски), недостаточно агрессивный не экономит полосу (ложные тревоги). О том, как тайминг пакетов затем формирует качество звонка, см. нашу статистику джиттер-буфера VoIP и POLQA.
| Показатель | Значение | Источник |
|---|---|---|
| Экономия полосы от VAD в среднем по более чем 24 звонкам | До 35 процентов, достигается не в каждом отдельном звонке | Cisco, Voice Over IP Per Call Bandwidth Consumption (рекомендации производителя) |
| Каналы, на которых, по словам Cisco, экономию от VAD учитывать нельзя | Каналы менее чем с 24 одновременными голосовыми звонками | Cisco, Voice Over IP Per Call Bandwidth Consumption (рекомендации производителя) |
| Полоса Ethernet на один звонок при размерах полезной нагрузки по умолчанию, G.711 против G.729 | 87,2 кбит/с против 31,2 кбит/с | Cisco, Voice Over IP Per Call Bandwidth Consumption (рекомендации производителя) |
| Доля передачи в разговоре, приходящаяся на тишину | Более 40% | Документация Avaya Aura 10.2.x (рекомендации производителя) |
| Состояние подавления тишины по умолчанию в Avaya Communication Manager | Отключено, кроме G.729B, где оно встроено | Документация Avaya Aura 10.2.x (рекомендации производителя) |
| Базовая скорость потока ITU-T G.729; роль Annex B | 8 кбит/с; Annex B добавляет VAD, DTX и комфортный шум, рассчитанные на каналы с коммутацией каналов, а Приложения II и III - для VoIP | Краткое описание ITU-T Rec. G.729 (06/2012) |
| Интервал обновления комфортного шума кодека EVS: по умолчанию / диапазон при фиксированной скорости / адаптивный диапазон | Каждые 8 кадров / от 1 до 100 кадров / от 8 до 50 кадров | 3GPP TS 26.449, генерация комфортного шума EVS |
Контекст: в обзоре EVS от 3GPP сказано, что DTX снижает среднюю требуемую скорость потока, «что приводит к более эффективной передаче со сниженной нагрузкой и, следовательно, повышенной ёмкостью», но единого процента не приводится (обзор 3GPP TS 26.441). Краткое описание ITU-T G.729 датировано июнем 2012 года; это по-прежнему самый свежий доступный текст по данному семейству кодеков.
7. Каскадный ущерб: как ошибки VAD переходят в ASR и диаризацию
Ошибка VAD редко бывает последней. Ложная тревога отдаёт распознавателю речи шум для расшифровки; пропуск стирает слова, которые не вернёт ни один последующий этап. Самый ясный контролируемый результат получен в AGH University of Krakow: на речи Common Voice, дополненной неречевыми звуками при ОСШ 9 дБ, доля ошибочных слов у Whisper составила 68,3% при WebRTC VAD перед ним и 8,0% при Silero VAD (Barański et al., arXiv 2025). Один лишь выбор детектора изменил ошибку примерно в восемь раз. Значения выше 100% здесь возможны, потому что выдуманные слова считаются вставками. Наша статистика галлюцинаций распознавания речи подробно освещает сторону распознавателя в этом сбое.
Хороший VAD также даёт скорость и точность временных меток. WhisperX использует VAD из pyannote, чтобы нарезать аудио на фрагменты только с речью и обрабатывать их пакетами, что сделало его в 11,8 раза быстрее обычного Whisper и повысило точность временных меток слов на совещаниях AMI (Bain et al., WhisperX, arXiv 2023). Со стороны диаризации бенчмарк ETH Zurich 2025 года на 196,6 часа показал, что «пропущенная речь является основным случаем сбоя у всех моделей диаризации» (Lanzendörfer et al., arXiv 2025); наша статистика ошибок диаризации дикторов прослеживает весь бюджет ошибок.
| Показатель | Значение | Источник |
|---|---|---|
| Доля ошибочных слов у Whisper на речи с неречевыми звуками до или после неё, WebRTC VAD против Silero VAD | 68,3% против 8,0% | Barański et al., arXiv 2025 |
| То же сравнение, когда шум накладывается на речь, WebRTC VAD против Silero VAD | 75,4% против 10,8% | Barański et al., arXiv 2025 |
| Скорость расшифровки при пакетной обработке на основе VAD, WhisperX против Whisper | 11,8x против 1,0x | Bain et al., WhisperX, arXiv 2023 |
| Точность / полнота временных меток слов на совещаниях AMI (допуск 200 мс), WhisperX против Whisper | 84,1 / 60,3 против 78,9 / 52,1 | Bain et al., WhisperX, arXiv 2023 |
| Среднее неголосовое время на запись, говорящие с афазией против говорящих контрольной группы (измерено с pyannote, подтверждено с Silero) | 6,8 с против 1,3 с (p < 2,2e-16) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Среднее неголосовое время, записи, на которых Whisper галлюцинировал, против записей, на которых не галлюцинировал | 5,3 с против 3,5 с | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Дополнительная сложность диаризации, когда системы должны сами находить речь (Трек 2), вместо получения эталонных речевых областей (Трек 1) | «Порядка 5%» как для DER, так и для JER | Статья о Third DIHARD Diarization Challenge, arXiv 2020 |
| Охват бенчмарка диаризации, лежащего в основе вывода о пропущенной речи | 196,6 часа, 4 набора данных, 5 языков | Lanzendörfer et al., ETH Zurich, arXiv 2025 |
Примечание о выбросах: та же краковская таблица показывает, что VAD необходим, но недостаточен. Silero VAD плюс этап устранения зацикливания и список известных галлюцинируемых фраз справился лучше, чем один Silero (6,5% против 8,0% доли ошибочных слов на аудио без перекрытий). Самые свежие доступные данные по WhisperX: 2023 год.
Итоги: детекция речевой активности в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Функция стоимости NIST для детекции речевой активности | 0,75 x доля пропусков + 0,25 x доля ложных тревог | NIST IR 8242, пилот OpenSAT 2017 |
| Базовая система DIHARD III, основной оценочный набор: пропуски / ложные тревоги | 4,97% / 15,07% | Статья о Third DIHARD Diarization Challenge, arXiv 2020 |
| Стоимость детекции Fearless Steps Phase-3, базовая против лучшей (оценка) | 15,16% против 1,47% | Joglekar et al., Interspeech 2021 |
| Допуск при оценке Fearless Steps, Phase-3 против Phase-2 | 0,25 с против 0,5 с | Joglekar et al., Interspeech 2021 |
| DIHARD 3 ложные тревоги / пропуски, pyannote 2.0 | 3,9% / 3,3% | Bredin и Laurent, arXiv 2021 |
| DIHARD 3 ложные тревоги / пропуски, Silero VAD (версия 2021 года) | 17,0% / 4,0% | Bredin и Laurent, arXiv 2021 |
| Клипы с шумом ESC-50, верно отвергнутые, WebRTC против Silero v6 | 0 против 0,87 | Вики Silero VAD Quality Metrics (заявление проекта) |
| MCC при окнах 50 мс, WebRTC против Silero | 0,41 против 0,72 | McKinnon et al., Google, arXiv 2026 |
| Средний AUC при ОСШ 0 дБ, WebRTC против MagicNet | 0,691 против 0,956 | Jia et al., arXiv 2024 |
| Доля истинно положительных у ResNet в AVA-Speech, чистая речь против речи с музыкой | 0,992 против 0,787 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Точность на шумной речи в MS-SNSD, базовая против VAD Huawei с предобработкой | 15,9% против 89,9% | Jafarzadeh Asl et al., arXiv 2025 |
| Задержка на решение, WebRTC против ResNet-960 | 0,06 мс против 265 мс | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Экономия полосы от VAD в среднем по более чем 24 звонкам | До 35 процентов | Cisco, Per Call Bandwidth Consumption (рекомендации производителя) |
| Доля передачи в разговоре, приходящаяся на тишину | Более 40% | Документация Avaya Aura 10.2.x (рекомендации производителя) |
| Интервал обновления комфортного шума EVS по умолчанию | Каждые 8 кадров | 3GPP TS 26.449 |
| Доля ошибочных слов у Whisper за WebRTC VAD против Silero VAD | 68,3% против 8,0% | Barański et al., arXiv 2025 |
| Ускорение WhisperX от пакетной обработки на основе VAD | 11,8x | Bain et al., WhisperX, arXiv 2023 |
Методология и источники
- NIST IR 8242, отчёт об оценке пилота OpenSAT 2017: функция стоимости, допуск, участие.
- Страница серии оценок NIST OpenSAT: годы оценок, предметные области и статус программы.
- Статья о Third DIHARD Diarization Challenge (arXiv 2012.01477): доли пропусков и ложных тревог базовой системы детекции речевой активности, размеры наборов данных, выводы по Треку 1 и Треку 2.
- Joglekar et al., Fearless Steps Challenge Phase-3, Interspeech 2021: результаты по стоимости детекции на аудио Apollo и допуски.
- Ghahabi и Fischer, EML online SAD for Fearless Steps Phase-III, arXiv 2021: интервал решений и коэффициент реального времени.
- Bredin и Laurent, End-to-end speaker segmentation for overlap-aware resegmentation, arXiv 2021: доли ложных тревог и пропусков на AMI, DIHARD 3 и VoxConverse.
- Вики Silero VAD Quality Metrics, README Silero VAD и релизы Silero VAD: заявления проекта о точности, скорости и релизах.
- McKinnon et al., Window Size Versus Accuracy Experiments in Voice Activity Detectors, Google, arXiv 2026: сравнение MCC для RMS, WebRTC и Silero.
- Документация py-webrtcvad: размеры кадров, режимы и частоты дискретизации WebRTC VAD.
- Chaudhuri et al., AVA-Speech, Interspeech 2018: доли разметки, оценочное ОСШ, доли истинно положительных по условиям и задержка.
- Jia et al., A Real-Time Voice Activity Detection Based on Lightweight Neural Network, arXiv 2024: F1 и AUC при 0 дБ, параметры и коэффициент реального времени.
- Jafarzadeh Asl et al., Tiny Noise-Robust Voice Activity Detector for Voice Assistants, Huawei, arXiv 2025: компромисс между точностью на шумной речи и на неречи.
- Kulakayeva et al., Robust Neural Network-Based VAD under Low SNR, ETASR 2025: диапазон ОСШ и порог устойчивости.
- Sharma et al., Empirical review of VAD for movies and TV shows, Neurocomputing 2022: шум разметки и выводы о размере модели.
- Ding et al., Personal VAD, Google, arXiv 2019: точность, размер и частота кадров VAD для целевого диктора.
- Cisco, Voice Over IP Per Call Bandwidth Consumption: рекомендации по экономии от VAD и полоса на один звонок.
- Avaya Aura 10.2.x, Silence suppression or voice activity detection: доля тишины и значения по умолчанию.
- Краткое описание ITU-T Rec. G.729 (06/2012), 3GPP TS 26.449 EVS comfort noise generation и обзор 3GPP TS 26.441 EVS: механика DTX и комфортного шума (текст 3GPP прочитан через зеркало iTecSpec).
- Barański et al., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, arXiv 2025: доля ошибочных слов за WebRTC и Silero VAD.
- Bain et al., WhisperX, arXiv 2023: результаты по ускорению и временным меткам слов от пакетной обработки на основе VAD.
- Wang et al., Calm-Whisper, arXiv 2025: независимая проверка точности Silero v5 на ESC-50.
- Koenecke et al., Careless Whisper, ACM FAccT 2024: неголосовое время и галлюцинации.
- Lanzendörfer et al., Benchmarking Diarization Models, ETH Zurich, arXiv 2025: пропущенная речь как основной сбой диаризации.
- Наблюдение по данным: значительная часть базы бенчмарков старше трёх лет (OpenSAT 2017, AVA-Speech 2018, Personal VAD 2019, DIHARD III 2020-2021, Fearless Steps Phase-3 2021, WhisperX 2023), потому что с тех пор не проводилось ни одного открытого соревнования по детекции речевой активности; считайте их самыми свежими доступными данными. Строка базовой системы DIHARD 3 в статье о pyannote (4,0% ложных тревог, 4,2% пропусков) не совпадает с собственными оценочными цифрами статьи DIHARD III (15,07% и 4,97% на основном наборе), вероятно, из-за другого разбиения или настройки, поэтому каждую мы приводим только с её собственным источником. Модель Silero в таблице pyannote 2021 года предшествует Silero v5 и v6. В статье Google 2026 года у Silero указано собственное окно 16 мс, тогда как в README Silero говорится о фрагментах 30+ мс. AVA-Speech описывает себя и как «45 часов», и как «около 46 часов». В статье о Personal VAD не вполне ясно, обучались ли модели для шумного теста иначе. Цифры Silero, Cisco и Avaya - это заявления или рекомендации самих издателей. Показатель Cisco в 35 процентов - плановая цифра для среднего случая, а не измерение какой-либо одной сети.
- Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается после публикации статей ICASSP 2027 и очередного обновления страницы Quality Metrics проекта Silero VAD.