La línea base oficial de DIHARD III omitió 4,97% del habla en el conjunto núcleo de evaluación, pero marcó erróneamente como habla lo que no lo era a una tasa de 15,07%, tres veces su propia tasa de omisión. Esa brecha es toda la historia de la detección de actividad de voz (VAD): cada detector cambia omisiones (habla real que descarta) por falsas alarmas (silencio, música o ruido que deja pasar), y los benchmarks deciden qué error pesa más. En el desafío Fearless Steps Phase-3, con audio de la NASA del programa Apolo, el mejor sistema redujo el costo de detección de la línea base de 15,16% a 1,47%, mientras que con una relación señal-ruido de 0 dB WebRTC VAD obtuvo un F1 promedio de apenas 0,581. Antes de todo, el ruido es el principal enemigo, y por eso el VAD y la latencia de la supresión neuronal de ruido suelen ajustarse en conjunto. Reunimos datos de las evaluaciones OpenSAT del NIST, los desafíos DIHARD III y Fearless Steps, AVA-Speech y los estudios de 2026 de Google sobre tamaño de ventana, las especificaciones de códecs de 3GPP e ITU-T, las guías de telefonía de Cisco y Avaya y más de una docena de artículos revisados por pares y preprints.
TL;DR
- El NIST puntuaba la detección de actividad de habla como 0,75 x tasa de omisión + 0,25 x tasa de falsa alarma, haciendo que una omisión costara tres veces más (NIST IR 8242, piloto OpenSAT 2017).
- La línea base de DIHARD III tuvo 4,97% de omisión y 15,07% de falsa alarma en el conjunto núcleo de evaluación (artículo del Third DIHARD Diarization Challenge, arXiv 2020).
- El mejor sistema de Fearless Steps Phase-3 alcanzó un costo de detección de 1,47% en los datos de evaluación, frente a 15,16% de la línea base (Joglekar et al., Interspeech 2021).
- Con audio de DIHARD 3, pyannote 2.0 tuvo 3,9% de falsa alarma y 3,3% de omisión, frente a 17,0% y 4,0% del Silero VAD disponible en 2021 (Bredin y Laurent, arXiv 2021).
- En el conjunto de ruido ambiental ESC-50, WebRTC VAD obtuvo exactitud 0, Silero v5 0,61 y Silero v6 0,87 (Silero VAD Quality Metrics, afirmación del proyecto).
- Con ventanas de 50 ms, el coeficiente de correlación de Matthews de Silero fue 0,72 frente a 0,41 de WebRTC y 0,11 de un detector simple de volumen (RMS) (McKinnon et al., Google, arXiv 2026).
- Con SNR de 0 dB, WebRTC VAD obtuvo un AUC promedio de 0,691 frente a 0,956 de MagicNet, de 22,7K parámetros (Jia et al., arXiv 2024).
- WebRTC VAD tardó 0,06 ms por decisión y un VAD ResNet grande, 265 ms (Chaudhuri et al., AVA-Speech, Interspeech 2018).
- Cisco planifica que el VAD ahorre hasta 35 por ciento del ancho de banda de voz, pero solo como promedio de más de 24 llamadas (Cisco, Per Call Bandwidth Consumption).
- La tasa de error de palabras de Whisper con habla rellenada de ruido fue de 68,3% detrás de WebRTC VAD y de 8,0% detrás de Silero VAD (Barański et al., arXiv 2025).
1. Cómo se Puntúan los Errores del VAD: Omisiones frente a Falsas Alarmas
Antes de comparar dos cifras de VAD cualesquiera, revise las reglas de puntuación. Una “falsa alarma” es lo que no es habla etiquetado como habla; una “omisión” es habla etiquetada como no habla. Luego los evaluadores deciden cuánto cuesta cada error y cuánta holgura dar en los bordes de los segmentos. Esa holgura se llama “collar” (margen de tolerancia): una ventana corta alrededor de cada límite real de habla en la que los errores no se cuentan. El NIST ponderó las omisiones en 0,75 y las falsas alarmas en 0,25, razonando que “las detecciones omitidas se consideran más críticas que las falsas alarmas” (NIST IR 8242, piloto OpenSAT 2017).
La tendencia desde entonces es hacia una puntuación más estricta. Los márgenes de tolerancia pasaron de 0,5 s a 0,25 s en Fearless Steps y desaparecieron por completo en DIHARD III, de modo que una cifra de 2026 puntuada sin margen no es comparable con una de 2017 puntuada con él. La propia serie del NIST ha terminado: la página del programa OpenSAT indica su estado como concluido, sin ninguna evaluación después de 2020.
| Métrica | Valor | Fuente |
|---|---|---|
| Pesos de la función de costo de detección usados para puntuar la detección de actividad de habla | DCF = 0,75 x P_Miss + 0,25 x P_FA | NIST IR 8242, piloto OpenSAT 2017 |
| Ventana no puntuada (margen de tolerancia) alrededor de cada segmento de habla de referencia, piloto OpenSAT 2017 | 0,5 s | NIST IR 8242, piloto OpenSAT 2017 |
| Equipos que enviaron resultados al piloto OpenSAT 2017 frente a sitios que se inscribieron | 22 frente a 33 | NIST IR 8242, piloto OpenSAT 2017 |
| Última evaluación OpenSAT y su dominio | OpenSAT20 (2020), solo comunicaciones de seguridad pública en inglés | Página de la serie de evaluaciones NIST OpenSAT |
| Margen de tolerancia de puntuación, Fearless Steps Phase-3 frente a Phase-2 | 0,25 s frente a 0,5 s | Joglekar et al., Fearless Steps Phase-3, Interspeech 2021 |
| Margen de tolerancia de puntuación usado en DIHARD III | Ninguno («sin el uso de márgenes de tolerancia»), habla solapada puntuada | Artículo del Third DIHARD Diarization Challenge, arXiv 2020 |
| Acuerdo entre los 3 evaluadores humanos que etiquetaron cada clip de AVA-Speech | kappa de Fleiss 0,74 («sustancial») | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Duración del segmento usado para puntuar Silero y los VAD rivales | 31,25 ms, umbral ajustado en un conjunto de validación multidominio de 17 horas | Wiki Silero VAD Quality Metrics (afirmación del proyecto) |
Contexto: incluso la verdad de referencia tiene ruido. Un estudio de Amazon con 450 horas de películas y series de TV encontró que los archivos de subtítulos de alta calidad usados como etiquetas contienen hasta 15% de ruido de etiquetado (Sharma et al., Neurocomputing 2022). Datos más recientes disponibles sobre las reglas de puntuación del NIST y de AVA: 2017 a 2019 y 2018.
2. Resultados de los Desafíos: Tasas de Omisión y de Falsa Alarma con Audio Difícil
Los desafíos públicos son el lugar donde el VAD se enfrenta a audio para el que nadie lo ajustó. Las cifras de DIHARD III muestran el problema central: la tasa de falsa alarma de la línea base saltó de 3,98% en los datos de desarrollo a 15,07% en el conjunto núcleo de evaluación, mientras que su tasa de omisión varió mucho menos. Los detectores se sobreajustan al ruido de fondo con el que fueron entrenados, y un ruido nuevo se convierte en habla fantasma.
Los resultados de Fearless Steps muestran el extremo opuesto. El audio de las misiones Apolo de la NASA es ruidoso, multicanal y tiene décadas, y aun así el mejor sistema de la Phase-3 bajó el costo de detección a 1,47%, cerca de una décima parte de la línea base. La visión general de Fearless Steps Phase-3 también muestra el límite: la Phase-3 no superó el mejor resultado de la Phase-2, de 1,07%, y el subconjunto de la Apolo-13 siguió siendo más difícil que el de la Apolo-11.
| Métrica | Valor | Fuente |
|---|---|---|
| Línea base de DIHARD III, conjunto núcleo de desarrollo: omisión / falsa alarma / error global | 1,84% / 3,98% / 2,30% | Artículo del Third DIHARD Diarization Challenge, arXiv 2020 |
| Línea base de DIHARD III, conjunto núcleo de evaluación: omisión / falsa alarma / error global | 4,97% / 15,07% / 7,26% | Artículo del Third DIHARD Diarization Challenge, arXiv 2020 |
| Línea base de DIHARD III, conjunto completo de evaluación: omisión / falsa alarma / error global | 4,35% / 14,65% / 6,51% | Artículo del Third DIHARD Diarization Challenge, arXiv 2020 |
| Tamaño del conjunto núcleo de evaluación de DIHARD III y proporción de habla | 184 grabaciones, 22,73 horas, 77,35% de habla, 11 dominios | Artículo del Third DIHARD Diarization Challenge, arXiv 2020 |
| Participación en Fearless Steps Phase-3 (todas las pistas) | 9 organizaciones en 14 equipos por tarea, 235 envíos de sistemas | Joglekar et al., Interspeech 2021 |
| Costo de detección de la línea base de Fearless Steps Phase-3, desarrollo frente a evaluación | 12,84% frente a 15,16% | Joglekar et al., Interspeech 2021 |
| Mejor costo de detección de Fearless Steps Phase-3: evaluación completa / subconjunto de la Apolo-13 / subconjunto de canales no vistos | 1,47% / 2,37% / 1,67% | Joglekar et al., Interspeech 2021 |
| Mejor costo de detección de Fearless Steps Phase-2 (todavía el estado del arte tras la Phase-3) | 1,07% | Joglekar et al., Interspeech 2021 |
Nota sobre valores atípicos: el artículo de DIHARD III dice que la detección de actividad de habla «sigue siendo un problema difícil para algunos de los dominios cubiertos» y que, sin una segmentación precisa, la diarización se degradaba «de forma catastrófica para algunos», con los audiolibros como excepción. Las tablas completas están en el artículo del desafío DIHARD III. Datos más recientes disponibles: DIHARD III (2020 a 2021) y Fearless Steps Phase-3 (2021); ninguno de los dos desafíos ha realizado una pista más nueva de detección de actividad de habla.
3. Modelos Abiertos Cara a Cara: pyannote, Silero y WebRTC
La mayoría de los productos incorpora uno de tres detectores abiertos: el VAD de procesamiento de señal del proyecto WebRTC de Google, el VAD neuronal Silero o el modelo de segmentación pyannote. Los datos independientes coinciden en el ranking, y la brecha es mayor justo donde los productos fallan: audio solo con ruido. En clips de ruido ambiental de ESC-50, WebRTC VAD obtuvo exactitud 0, es decir, llamó habla a todos los clips de ruido, mientras que Silero v6 acertó 0,87 (Silero VAD Quality Metrics, afirmación del propio proyecto).
El artículo de pyannote 2.0 es la mejor referencia para la división entre falsa alarma y omisión, porque reporta ambas por separado en tres conjuntos públicos (Bredin y Laurent, arXiv 2021). Su ajuste minimiza la suma de ambas, por lo que queda cerca de un equilibrio (3,9% frente a 3,3% en DIHARD 3). El modelo Silero de la época de 2021 en la misma tabla muestra el clásico perfil desbalanceado: pocas omisiones, muchas falsas alarmas. El ROC-AUC, usado más abajo, es una puntuación de 0 a 1 de qué tan bien un detector separa habla de no habla en todos los umbrales; el coeficiente de correlación de Matthews (MCC) es una puntuación de -1 a 1 que se mantiene honesta cuando una clase domina.
| Métrica | Valor | Fuente |
|---|---|---|
| DIHARD 3: falsa alarma / omisión / error total de detección, pyannote 2.0 frente a Silero VAD (versión de 2021) | 3,9% / 3,3% / 7,3% frente a 17,0% / 4,0% / 21,0% | Bredin y Laurent, arXiv 2021 |
| Reuniones de AMI: falsa alarma / omisión, pyannote 2.0 frente a Silero VAD (versión de 2021) | 3,6% / 3,2% frente a 9,4% / 1,7% | Bredin y Laurent, arXiv 2021 |
| VoxConverse: falsa alarma / omisión, pyannote 2.0 frente a Silero VAD (versión de 2021) | 1,8% / 0,8% frente a 3,0% / 1,1% | Bredin y Laurent, arXiv 2021 |
| ROC-AUC en un conjunto de validación multidominio de 17 horas: WebRTC / Silero v5 / Silero v6 | 0,73 / 0,96 / 0,97 | Wiki Silero VAD Quality Metrics (afirmación del proyecto) |
| ROC-AUC en 80 horas de habla ruidosa de MSDWild: WebRTC frente a Silero v6 | 0,62 frente a 0,79 | Wiki Silero VAD Quality Metrics (afirmación del proyecto) |
| Proporción de clips de ruido de ESC-50 correctamente rechazados: WebRTC / Silero v5 / Silero v6 | 0 / 0,61 / 0,87 | Wiki Silero VAD Quality Metrics (afirmación del proyecto) |
| Exactitud por enunciado de Silero VAD v5 en ESC-50 (verificación independiente) | 61% | Wang et al., Calm-Whisper, arXiv 2025 |
| MCC con ventanas de 50 ms en 1,1 horas de podcasts, películas y música: RMS / WebRTC / Silero | 0,11 / 0,41 / 0,72 | McKinnon et al., Google, arXiv 2026 |
Contexto: el equipo de Google encontró que añadir histéresis (una regla que mantiene el estado actual de habla o no habla hasta que la evidencia cambia con claridad) elevó el MCC de WebRTC de 0,41 a 0,47 y no aportó nada útil a Silero (McKinnon et al., arXiv 2026). Las propias notas de la versión 6.0 de Silero afirman 16% menos errores con datos reales ruidosos y 11% menos en la validación multidominio que la v5, una afirmación del proyecto que aún no se ha reproducido de forma independiente.
4. Ruido y SNR: Dónde se Rompe la Detección
La relación señal-ruido (SNR) es el nivel del habla por encima del fondo, en decibelios; 0 dB significa que habla y ruido suenan igual de fuerte. Todos los conjuntos de datos aquí muestran el mismo patrón: el habla limpia es un problema resuelto, y la música y el ruido no. En el conjunto de películas AVA-Speech de Google, el habla limpia estaba en una SNR estimada de 40,8 dB, pero el habla sobre música en solo 11,7 dB, y hasta la tasa de verdaderos positivos de un detector ResNet grande cayó de 0,992 con habla limpia a 0,787 con habla con música (Chaudhuri et al., AVA-Speech).
Corregir la exhaustividad (recall) con habla ruidosa suele costar falsas alarmas. El VAD diminuto de Huawei de 2025 elevó la exactitud con habla ruidosa en MS-SNSD de 15,9% a 89,9% con una etapa de preprocesamiento, pero su exactitud con no habla en el mismo conjunto cayó de 99,1% a 87,7% (Jafarzadeh Asl et al., arXiv 2025). No hay almuerzo gratis: el punto de operación solo se mueve a lo largo de la curva de compromiso.
| Métrica | Valor | Fuente |
|---|---|---|
| SNR estimada en AVA-Speech: habla limpia / habla con ruido / habla con música | 40,8 dB / 16,2 dB / 11,7 dB | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Tasa de verdaderos positivos en AVA-Speech con una tasa de falsos positivos fija de 0,315, WebRTC VAD: limpia / ruido / música | 0,786 / 0,706 / 0,733 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Tasa de verdaderos positivos en AVA-Speech con la misma tasa de falsos positivos, modelo ResNet-960: limpia / ruido / música | 0,992 / 0,944 / 0,787 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| F1 y AUC promedio con 0 dB (ruido de voces superpuestas, de automóvil y de maquinaria), WebRTC VAD frente a MagicNet | F1 0,581 frente a 0,859; AUC 0,691 frente a 0,956 | Jia et al., arXiv 2024 |
| Exactitud con habla ruidosa en MS-SNSD, línea base SG-VAD frente a VAD de Huawei con preprocesamiento | 15,9% frente a 89,9% | Jafarzadeh Asl et al., arXiv 2025 |
| Exactitud con no habla en MS-SNSD, línea base SG-VAD frente a VAD de Huawei con preprocesamiento | 99,1% frente a 87,7% | Jafarzadeh Asl et al., arXiv 2025 |
| Tasa de falsos positivos necesaria para captar 99% del habla, SG-VAD frente a VAD de Huawei con preprocesamiento | 58% frente a 28% | Jafarzadeh Asl et al., arXiv 2025 |
| Precisión media promedio (mAP) del VAD personal (de hablante objetivo), línea base frente a mejor modelo: conjunto de prueba limpio frente a conjunto de prueba con ruido y reverberación añadidos | 0,900 frente a 0,969 limpio; 0,801 frente a 0,928 ruidoso | Ding et al., Google, Personal VAD, arXiv 2019 |
Contexto: un estudio de diciembre de 2025 entrenó detectores híbridos basados en CNN con habla en kazajo mezclada con ruido de -18 dB a +30 dB; los mejores modelos alcanzaron un F1 de 99,6% y se mantuvieron robustos por encima de -12 dB, mientras que los modelos entrenados con un solo nivel de ruido generalizaron mal (Kulakayeva et al., ETASR 2025). La revisión de Amazon sobre películas y series también encontró que los modelos de unos 2M de parámetros eran menos robustos al ruido que los de unos 0,5M. Datos más recientes disponibles sobre AVA-Speech y Personal VAD: 2018 y 2019.
5. Tamaño de Trama, Latencia y Presupuesto de Cómputo
El VAD se ejecuta antes que todo lo demás, así que tiene que ser barato. Los presupuestos en la literatura son minúsculos: WebRTC VAD decide sobre tramas de 10, 20 o 30 ms (documentación de py-webrtcvad), y en el benchmark AVA-Speech necesitó 0,06 ms por decisión, frente a 265 ms del modelo ResNet más preciso, que a cambio elevó la tasa de verdaderos positivos en todo el habla de 0,722 a 0,917.
El trabajo de 2024 a 2026 cierra esa brecha desde el lado de los modelos. MagicNet funciona con un factor de tiempo real (tiempo de procesamiento dividido por la duración del audio) de 0,034 y 22,7K parámetros, cerca de los 0,015 de WebRTC, mientras que Silero dice que su modelo de unos 2 MB procesa un fragmento de 30+ ms en menos de 1 ms en un hilo de CPU (README de Silero VAD, afirmación del proyecto). Personal VAD muestra la otra razón para ser pequeño: Google lo creó para controlar el reconocimiento de voz en el dispositivo, de modo que el reconocedor solo despierte para el usuario registrado, reduciendo el cómputo y el consumo de batería.
| Métrica | Valor | Fuente |
|---|---|---|
| Duraciones de trama, modos de agresividad y frecuencias de muestreo de WebRTC VAD | 10, 20 o 30 ms; modos 0 a 3; 8, 16, 32 o 48 kHz, PCM mono de 16 bits | Documentación de py-webrtcvad |
| Latencia por decisión, benchmark AVA-Speech: WebRTC / CNN tiny_320 / CNN ResNet-960 | 0,06 ms / 2,23 ms / 265 ms | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Factor de tiempo real en una CPU Intel Xeon: WebRTC / MagicNet / MarbleNet | 0,015 / 0,034 / 0,038 | Jia et al., arXiv 2024 |
| Parámetros: MagicNet / CRNN / MarbleNet | 22,7K / 36,8K / 85,2K | Jia et al., arXiv 2024 |
| Tiempo de procesamiento y tamaño del modelo de Silero VAD | Menos de 1 ms por fragmento de 30+ ms en un hilo de CPU; unos 2 MB; ONNX hasta 4 a 5 veces más rápido | README de Silero VAD (afirmación del proyecto) |
| Paso de trama y fragmento de entrada del modelo de segmentación de pyannote 2.0 | Unos 16 ms; fragmentos de 5 s | Bredin y Laurent, arXiv 2021 |
| Intervalo de decisión del SAD en línea EML y factor de tiempo real en una CPU (audio de la Apolo) | Aproximadamente cada 0,1 s; unos 0,002 | Ghahabi y Fischer, arXiv 2021 |
| Tamaño de Personal VAD, modelo solo de embedding frente a canalización basada en verificación de hablante | 0,13M frente a 4,88M + 0,06M de parámetros, una decisión cada 10 ms | Ding et al., Google, Personal VAD, arXiv 2019 |
Contexto: el tamaño de la trama también es una palanca de precisión. El estudio de ventanas de Google de 2026 promedió las predicciones en ventanas de 10 ms hasta 10 s y encontró que Silero iba claramente por delante de WebRTC en el ajuste de 100 ms. Las ventanas más largas suavizan el parpadeo, pero añaden retraso, y por eso las herramientas de voz en tiempo real mantienen la trama nativa corta y suavizan después.
6. DTX en Telefonía: Ancho de Banda Ahorrado al No Enviar Silencio
En telefonía, el VAD se paga solo mediante la transmisión discontinua (DTX): cuando el detector no oye habla, el teléfono deja de enviar paquetes de voz y el extremo remoto reproduce un «ruido de confort» sintético para que la línea no suene muerta. La documentación de Avaya señala que más del 40% de la transmisión de una conversación es silencio, porque normalmente solo habla una de las partes a la vez (documentación de Avaya Aura, guía del fabricante).
Las cifras de planificación son más cautelosas de lo que sugiere la proporción de silencio. Cisco indica a los ingenieros que cuenten con el ahorro del VAD solo sobre muchas llamadas simultáneas (guía de ancho de banda por llamada de Cisco, guía del fabricante), porque una sola llamada puede ser pura conversación, y la música en espera o el fax derrotan al detector. Avaya nombra directamente el compromiso entre errores: demasiado agresivo y se recortan el inicio y el final de las palabras (omisiones), poco agresivo y no se ahorra ancho de banda (falsas alarmas). Para ver cómo el tiempo de los paquetes moldea la calidad de la llamada, consulte nuestras estadísticas de jitter buffer de VoIP y POLQA.
| Métrica | Valor | Fuente |
|---|---|---|
| Ahorro de ancho de banda con VAD, como promedio de más de 24 llamadas | Hasta 35 por ciento, no logrado en cada llamada individual | Cisco, Voice Over IP Per Call Bandwidth Consumption (guía del fabricante) |
| Enlaces en los que Cisco dice que no debe contarse el ahorro del VAD | Enlaces con menos de 24 llamadas de voz simultáneas | Cisco, Voice Over IP Per Call Bandwidth Consumption (guía del fabricante) |
| Ancho de banda Ethernet por llamada con tamaños de carga útil predeterminados, G.711 frente a G.729 | 87,2 kbps frente a 31,2 kbps | Cisco, Voice Over IP Per Call Bandwidth Consumption (guía del fabricante) |
| Proporción de la transmisión de una conversación que es silencio | Más del 40% | Documentación de Avaya Aura 10.2.x (guía del fabricante) |
| Estado predeterminado de la supresión de silencio en Avaya Communication Manager | Desactivada, excepto en G.729B, donde viene integrada | Documentación de Avaya Aura 10.2.x (guía del fabricante) |
| Tasa de bits básica de ITU-T G.729; función del Annex B | 8 kbit/s; el Annex B añade VAD, DTX y ruido de confort, ajustado para circuitos, con los Apéndices II y III para VoIP | Resumen de ITU-T Rec. G.729 (06/2012) |
| Intervalo de actualización del ruido de confort del códec EVS: predeterminado / rango de tasa fija / rango adaptativo | Cada 8 tramas / 1 a 100 tramas / 8 a 50 tramas | 3GPP TS 26.449, generación de ruido de confort de EVS |
Contexto: la visión general de EVS del 3GPP dice que la DTX reduce la tasa de bits promedio requerida, «lo que lleva a una transmisión más eficiente, con menor carga y, por tanto, mayor capacidad», pero no da un porcentaje único (visión general de 3GPP TS 26.441). El resumen de ITU-T G.729 es de junio de 2012; sigue siendo el texto más reciente disponible para esa familia de códecs.
7. Daño en Cascada: Cómo los Errores del VAD se Propagan al ASR y a la Diarización
Un error del VAD rara vez es el error final. Una falsa alarma entrega ruido al reconocedor de voz para que lo transcriba; una omisión borra palabras que ninguna etapa posterior puede recuperar. El resultado controlado más claro proviene de la AGH University of Krakow: con habla de Common Voice rellenada con sonidos no vocales a 9 dB de SNR, la tasa de error de palabras de Whisper fue de 68,3% con WebRTC VAD delante y de 8,0% con Silero VAD (Barański et al., arXiv 2025). La elección del detector, por sí sola, movió el error por un factor de unas ocho veces. Aquí son posibles tasas superiores al 100% porque las palabras inventadas cuentan como inserciones. Nuestras estadísticas de alucinaciones en el reconocimiento de voz tratan a fondo el lado del reconocedor de este fallo.
Un buen VAD también compra velocidad y precisión temporal. WhisperX usa el VAD de pyannote para cortar el audio en fragmentos solo de habla y procesarlos por lotes, lo que lo hizo 11,8 veces más rápido que Whisper a secas y elevó la precisión de los tiempos de palabra en reuniones de AMI (Bain et al., WhisperX, arXiv 2023). En el lado de la diarización, un benchmark de 2025 de ETH Zúrich sobre 196,6 horas encontró que «el habla omitida constituye el principal caso de fallo en todos los modelos de diarización» (Lanzendörfer et al., arXiv 2025); nuestras estadísticas de tasa de error de diarización de hablantes siguen todo el presupuesto de error.
| Métrica | Valor | Fuente |
|---|---|---|
| Tasa de error de palabras de Whisper con habla que tiene sonidos no vocales antes o después, WebRTC VAD frente a Silero VAD | 68,3% frente a 8,0% | Barański et al., arXiv 2025 |
| La misma comparación cuando el ruido se solapa con el habla, WebRTC VAD frente a Silero VAD | 75,4% frente a 10,8% | Barański et al., arXiv 2025 |
| Velocidad de transcripción con procesamiento por lotes basado en VAD, WhisperX frente a Whisper | 11,8x frente a 1,0x | Bain et al., WhisperX, arXiv 2023 |
| Precisión / exhaustividad del tiempo de palabra en reuniones de AMI (margen de tolerancia de 200 ms), WhisperX frente a Whisper | 84,1 / 60,3 frente a 78,9 / 52,1 | Bain et al., WhisperX, arXiv 2023 |
| Tiempo no vocal promedio por grabación, hablantes con afasia frente a hablantes de control (medido con pyannote, confirmado con Silero) | 6,8 s frente a 1,3 s (p < 2,2e-16) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Tiempo no vocal promedio, grabaciones en las que Whisper alucinó frente a grabaciones en las que no | 5,3 s frente a 3,5 s | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Dificultad adicional de diarización cuando los sistemas deben encontrar el habla por sí mismos (Pista 2) en lugar de recibir las regiones de habla de referencia (Pista 1) | «Del orden de 5%» tanto para DER como para JER | Artículo del Third DIHARD Diarization Challenge, arXiv 2020 |
| Alcance del benchmark de diarización detrás del hallazgo sobre el habla omitida | 196,6 horas, 4 conjuntos de datos, 5 idiomas | Lanzendörfer et al., ETH Zúrich, arXiv 2025 |
Nota sobre valores atípicos: la misma tabla de Cracovia muestra que el VAD es necesario pero no suficiente. Silero VAD más una etapa de eliminación de bucles y una lista de frases alucinadas conocidas lo hizo mejor que Silero solo (6,5% frente a 8,0% de tasa de error de palabras con audio sin solapamiento). Datos más recientes disponibles sobre WhisperX: 2023.
Resumen: Detección de Actividad de Voz en Cifras
| Métrica | Valor | Fuente |
|---|---|---|
| Función de costo de detección de actividad de habla del NIST | 0,75 x tasa de omisión + 0,25 x tasa de falsa alarma | NIST IR 8242, piloto OpenSAT 2017 |
| Línea base de DIHARD III, conjunto núcleo de evaluación: omisión / falsa alarma | 4,97% / 15,07% | Artículo del Third DIHARD Diarization Challenge, arXiv 2020 |
| Costo de detección de Fearless Steps Phase-3, línea base frente a mejor (evaluación) | 15,16% frente a 1,47% | Joglekar et al., Interspeech 2021 |
| Margen de tolerancia de puntuación de Fearless Steps, Phase-3 frente a Phase-2 | 0,25 s frente a 0,5 s | Joglekar et al., Interspeech 2021 |
| DIHARD 3 falsa alarma / omisión, pyannote 2.0 | 3,9% / 3,3% | Bredin y Laurent, arXiv 2021 |
| DIHARD 3 falsa alarma / omisión, Silero VAD (versión de 2021) | 17,0% / 4,0% | Bredin y Laurent, arXiv 2021 |
| Clips de ruido de ESC-50 correctamente rechazados, WebRTC frente a Silero v6 | 0 frente a 0,87 | Wiki Silero VAD Quality Metrics (afirmación del proyecto) |
| MCC con ventanas de 50 ms, WebRTC frente a Silero | 0,41 frente a 0,72 | McKinnon et al., Google, arXiv 2026 |
| AUC promedio con SNR de 0 dB, WebRTC frente a MagicNet | 0,691 frente a 0,956 | Jia et al., arXiv 2024 |
| Tasa de verdaderos positivos de ResNet en AVA-Speech, habla limpia frente a habla con música | 0,992 frente a 0,787 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Exactitud con habla ruidosa en MS-SNSD, línea base frente a VAD de Huawei con preprocesamiento | 15,9% frente a 89,9% | Jafarzadeh Asl et al., arXiv 2025 |
| Latencia por decisión, WebRTC frente a ResNet-960 | 0,06 ms frente a 265 ms | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Ahorro de ancho de banda del VAD como promedio de más de 24 llamadas | Hasta 35 por ciento | Cisco, Per Call Bandwidth Consumption (guía del fabricante) |
| Proporción de la transmisión de una conversación que es silencio | Más del 40% | Documentación de Avaya Aura 10.2.x (guía del fabricante) |
| Intervalo predeterminado de actualización del ruido de confort de EVS | Cada 8 tramas | 3GPP TS 26.449 |
| Tasa de error de palabras de Whisper detrás de WebRTC VAD frente a Silero VAD | 68,3% frente a 8,0% | Barański et al., arXiv 2025 |
| Aceleración de WhisperX con procesamiento por lotes basado en VAD | 11,8x | Bain et al., WhisperX, arXiv 2023 |
Metodología y Fuentes
- NIST IR 8242, informe de evaluación del piloto OpenSAT 2017: función de costo, margen de tolerancia, participación.
- Página de la serie de evaluaciones NIST OpenSAT: años de evaluación, dominios y estado del programa.
- Artículo del Third DIHARD Diarization Challenge (arXiv 2012.01477): tasas de omisión y de falsa alarma de la línea base de detección de actividad de habla, tamaños de los conjuntos de datos, hallazgos de la Pista 1 frente a la Pista 2.
- Joglekar et al., Fearless Steps Challenge Phase-3, Interspeech 2021: resultados de costo de detección con audio de la Apolo y márgenes de tolerancia.
- Ghahabi y Fischer, EML online SAD for Fearless Steps Phase-III, arXiv 2021: intervalo de decisión y factor de tiempo real.
- Bredin y Laurent, End-to-end speaker segmentation for overlap-aware resegmentation, arXiv 2021: tasas de falsa alarma y de omisión en AMI, DIHARD 3 y VoxConverse.
- Wiki Silero VAD Quality Metrics, README de Silero VAD y versiones de Silero VAD: afirmaciones del proyecto sobre exactitud, velocidad y versiones.
- McKinnon et al., Window Size Versus Accuracy Experiments in Voice Activity Detectors, Google, arXiv 2026: comparación de MCC entre RMS, WebRTC y Silero.
- Documentación de py-webrtcvad: tamaños de trama, modos y frecuencias de muestreo de WebRTC VAD.
- Chaudhuri et al., AVA-Speech, Interspeech 2018: proporciones de etiquetas, SNR estimada, tasas de verdaderos positivos por condición y latencia.
- Jia et al., A Real-Time Voice Activity Detection Based on Lightweight Neural Network, arXiv 2024: F1 y AUC con 0 dB, parámetros y factor de tiempo real.
- Jafarzadeh Asl et al., Tiny Noise-Robust Voice Activity Detector for Voice Assistants, Huawei, arXiv 2025: compromiso entre exactitud con habla ruidosa y con no habla.
- Kulakayeva et al., Robust Neural Network-Based VAD under Low SNR, ETASR 2025: rango de SNR y umbral de robustez.
- Sharma et al., Empirical review of VAD for movies and TV shows, Neurocomputing 2022: ruido de etiquetado y hallazgos sobre el tamaño del modelo.
- Ding et al., Personal VAD, Google, arXiv 2019: precisión, tamaño y frecuencia de tramas del VAD de hablante objetivo.
- Cisco, Voice Over IP Per Call Bandwidth Consumption: guía sobre el ahorro del VAD y el ancho de banda por llamada.
- Avaya Aura 10.2.x, Silence suppression or voice activity detection: proporción de silencio y valores predeterminados.
- Resumen de ITU-T Rec. G.729 (06/2012), 3GPP TS 26.449 EVS comfort noise generation y visión general de 3GPP TS 26.441 EVS: mecánica de la DTX y del ruido de confort (texto del 3GPP leído a través del espejo iTecSpec).
- Barański et al., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, arXiv 2025: tasa de error de palabras detrás de WebRTC frente a Silero VAD.
- Bain et al., WhisperX, arXiv 2023: resultados de aceleración y de tiempo de palabra con procesamiento por lotes basado en VAD.
- Wang et al., Calm-Whisper, arXiv 2025: verificación independiente de la exactitud de Silero v5 en ESC-50.
- Koenecke et al., Careless Whisper, ACM FAccT 2024: tiempo no vocal y alucinación.
- Lanzendörfer et al., Benchmarking Diarization Models, ETH Zúrich, arXiv 2025: el habla omitida como principal fallo de la diarización.
- Nota sobre los datos: buena parte de la base de benchmarks tiene más de tres años (OpenSAT 2017, AVA-Speech 2018, Personal VAD 2019, DIHARD III 2020 a 2021, Fearless Steps Phase-3 2021, WhisperX 2023), porque desde entonces no se ha realizado ningún desafío público de detección de actividad de habla; trátelos como los datos más recientes disponibles. La fila de la línea base de DIHARD 3 en el artículo de pyannote (4,0% de falsa alarma, 4,2% de omisión) no coincide con las cifras de evaluación del propio artículo de DIHARD III (15,07% y 4,97% en el conjunto núcleo), probablemente por una partición o configuración distinta, así que citamos cada una solo con su propia fuente. El modelo Silero de la tabla de pyannote de 2021 es anterior a Silero v5 y v6. El artículo de Google de 2026 da a Silero una ventana nativa de 16 ms, mientras que el README de Silero habla de fragmentos de 30+ ms. AVA-Speech se describe a la vez como de «45 horas» y de «unas 46 horas». El artículo de Personal VAD no aclara del todo si los modelos de la prueba ruidosa se entrenaron de forma distinta. Las cifras de Silero, Cisco y Avaya son afirmaciones o guías de los propios publicadores. Los 35 por ciento de Cisco son una cifra de planificación de caso promedio, no la medición de una red concreta.
- Última actualización: 31 de octubre de 2026. Actualizamos este informe trimestralmente, y la próxima revisión se espera cuando se publiquen los artículos de ICASSP 2027 y el proyecto Silero VAD actualice su página de Quality Metrics.