A linha de base oficial do DIHARD III perdeu 4,97% da fala no conjunto principal de avaliação, mas marcou erroneamente como fala o que não era a uma taxa de 15,07%, três vezes a sua própria taxa de perda. Essa diferença é a história inteira da detecção de atividade de voz (VAD): todo detector troca perdas (fala real que ele descarta) por falsos alarmes (silêncio, música ou ruído que ele deixa passar), e os benchmarks decidem qual erro pesa mais. No desafio Fearless Steps Phase-3, com áudio da NASA do programa Apollo, o melhor sistema reduziu o custo de detecção da linha de base de 15,16% para 1,47%, enquanto, com relação sinal-ruído de 0 dB, o WebRTC VAD teve F1 médio de apenas 0,581. Antes de tudo, o ruído é o principal inimigo, e é por isso que o VAD e a latência da supressão neural de ruído costumam ser ajustados em conjunto. Reunimos dados das avaliações OpenSAT do NIST, dos desafios DIHARD III e Fearless Steps, do AVA-Speech e dos estudos de 2026 sobre tamanho de janela do Google, das especificações de codecs do 3GPP e da ITU-T, das orientações de telefonia da Cisco e da Avaya e de mais de uma dúzia de artigos revisados por pares e preprints.
TL;DR
- O NIST pontuava a detecção de atividade de fala como 0,75 x taxa de perda + 0,25 x taxa de falso alarme, tornando uma perda três vezes mais custosa (NIST IR 8242, piloto OpenSAT 2017).
- A linha de base do DIHARD III teve 4,97% de perda e 15,07% de falso alarme no conjunto principal de avaliação (artigo do Third DIHARD Diarization Challenge, arXiv 2020).
- O melhor sistema do Fearless Steps Phase-3 chegou a um custo de detecção de 1,47% nos dados de avaliação, contra 15,16% da linha de base (Joglekar et al., Interspeech 2021).
- No áudio do DIHARD 3, o pyannote 2.0 teve 3,9% de falso alarme e 3,3% de perda, contra 17,0% e 4,0% do Silero VAD disponível em 2021 (Bredin e Laurent, arXiv 2021).
- No conjunto de ruídos ambientais ESC-50, o WebRTC VAD teve acurácia 0, o Silero v5 0,61 e o Silero v6 0,87 (Silero VAD Quality Metrics, alegação do projeto).
- Com janelas de 50 ms, o coeficiente de correlação de Matthews do Silero foi 0,72, contra 0,41 do WebRTC e 0,11 de um detector simples de volume (RMS) (McKinnon et al., Google, arXiv 2026).
- Com SNR de 0 dB, o WebRTC VAD teve AUC médio de 0,691, contra 0,956 do MagicNet, de 22,7K parâmetros (Jia et al., arXiv 2024).
- O WebRTC VAD levou 0,06 ms por decisão e um grande VAD ResNet, 265 ms (Chaudhuri et al., AVA-Speech, Interspeech 2018).
- A Cisco planeja que o VAD economize até 35 por cento da banda de voz, mas apenas como média de mais de 24 chamadas (Cisco, Per Call Bandwidth Consumption).
- A taxa de erro de palavras do Whisper em fala acrescida de ruído foi de 68,3% atrás do WebRTC VAD e de 8,0% atrás do Silero VAD (Barański et al., arXiv 2025).
1. Como os Erros de VAD São Pontuados: Perdas versus Falsos Alarmes
Antes de comparar quaisquer dois números de VAD, confira as regras de pontuação. Um “falso alarme” é o que não é fala rotulado como fala; uma “perda” é fala rotulada como não fala. Os avaliadores então decidem quanto cada erro custa e quanta folga dar nas bordas dos segmentos. Essa folga se chama “collar” (margem de tolerância): uma janela curta em torno de cada limite real de fala em que os erros não são contados. O NIST ponderou as perdas em 0,75 e os falsos alarmes em 0,25, argumentando que “as detecções perdidas são consideradas mais críticas do que os falsos alarmes” (NIST IR 8242, piloto OpenSAT 2017).
A tendência desde então é de pontuação mais rigorosa. As margens de tolerância diminuíram de 0,5 s para 0,25 s no Fearless Steps e desapareceram por completo no DIHARD III, de modo que um número de 2026 pontuado sem margem não é comparável a um número de 2017 pontuado com ela. A própria série do NIST terminou: a página do programa OpenSAT lista seu status como concluído, sem nenhuma avaliação depois de 2020.
| Métrica | Valor | Fonte |
|---|---|---|
| Pesos da função de custo de detecção usados para pontuar a detecção de atividade de fala | DCF = 0,75 x P_Miss + 0,25 x P_FA | NIST IR 8242, piloto OpenSAT 2017 |
| Janela não pontuada (margem de tolerância) em torno de cada segmento de fala de referência, piloto OpenSAT 2017 | 0,5 s | NIST IR 8242, piloto OpenSAT 2017 |
| Equipes que enviaram resultados ao piloto OpenSAT 2017 contra instituições que se inscreveram | 22 contra 33 | NIST IR 8242, piloto OpenSAT 2017 |
| Última avaliação OpenSAT e seu domínio | OpenSAT20 (2020), apenas comunicações de segurança pública em inglês | Página da série de avaliações NIST OpenSAT |
| Margem de tolerância de pontuação, Fearless Steps Phase-3 contra Phase-2 | 0,25 s contra 0,5 s | Joglekar et al., Fearless Steps Phase-3, Interspeech 2021 |
| Margem de tolerância de pontuação usada no DIHARD III | Nenhuma (“sem o uso de margens de tolerância”), fala sobreposta pontuada | Artigo do Third DIHARD Diarization Challenge, arXiv 2020 |
| Concordância entre os 3 avaliadores humanos que rotularam cada trecho do AVA-Speech | kappa de Fleiss 0,74 (“substancial”) | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Duração do segmento usado para pontuar o Silero e VADs concorrentes | 31,25 ms, limiar ajustado em um conjunto de validação multidomínio de 17 horas | Wiki Silero VAD Quality Metrics (alegação do projeto) |
Contexto: até a verdade de referência é ruidosa. Um estudo da Amazon com 450 horas de filmes e séries de TV constatou que arquivos de legendas de alta qualidade usados como rótulos contêm até 15% de ruído de rotulagem (Sharma et al., Neurocomputing 2022). Dados mais recentes disponíveis para as regras de pontuação do NIST e do AVA: 2017 a 2019 e 2018.
2. Resultados de Desafios: Taxas de Perda e de Falso Alarme em Áudio Difícil
Os desafios públicos são o lugar onde o VAD encontra áudio para o qual ninguém o ajustou. Os números do DIHARD III mostram o problema central: a taxa de falso alarme da linha de base saltou de 3,98% nos dados de desenvolvimento para 15,07% no conjunto principal de avaliação, enquanto sua taxa de perda variou muito menos. Os detectores se ajustam em excesso ao ruído de fundo com que foram treinados, e um ruído novo vira fala fantasma.
Os resultados do Fearless Steps mostram o extremo oposto. O áudio das missões Apollo da NASA é ruidoso, multicanal e tem décadas, mas o melhor sistema da Phase-3 reduziu o custo de detecção para 1,47%, cerca de um décimo da linha de base. A visão geral do Fearless Steps Phase-3 também mostra o limite: a Phase-3 não superou o melhor resultado da Phase-2, de 1,07%, e o subconjunto da Apollo-13 continuou mais difícil que o da Apollo-11.
| Métrica | Valor | Fonte |
|---|---|---|
| Linha de base do DIHARD III, conjunto principal de desenvolvimento: perda / falso alarme / erro global | 1,84% / 3,98% / 2,30% | Artigo do Third DIHARD Diarization Challenge, arXiv 2020 |
| Linha de base do DIHARD III, conjunto principal de avaliação: perda / falso alarme / erro global | 4,97% / 15,07% / 7,26% | Artigo do Third DIHARD Diarization Challenge, arXiv 2020 |
| Linha de base do DIHARD III, conjunto completo de avaliação: perda / falso alarme / erro global | 4,35% / 14,65% / 6,51% | Artigo do Third DIHARD Diarization Challenge, arXiv 2020 |
| Tamanho do conjunto principal de avaliação do DIHARD III e proporção de fala | 184 gravações, 22,73 horas, 77,35% de fala, 11 domínios | Artigo do Third DIHARD Diarization Challenge, arXiv 2020 |
| Participação no Fearless Steps Phase-3 (todas as trilhas) | 9 organizações em 14 equipes por tarefa, 235 envios de sistemas | Joglekar et al., Interspeech 2021 |
| Custo de detecção da linha de base do Fearless Steps Phase-3, desenvolvimento contra avaliação | 12,84% contra 15,16% | Joglekar et al., Interspeech 2021 |
| Melhor custo de detecção do Fearless Steps Phase-3: avaliação completa / subconjunto da Apollo-13 / subconjunto de canais não vistos | 1,47% / 2,37% / 1,67% | Joglekar et al., Interspeech 2021 |
| Melhor custo de detecção do Fearless Steps Phase-2 (ainda o estado da arte após a Phase-3) | 1,07% | Joglekar et al., Interspeech 2021 |
Nota sobre valores atípicos: o artigo do DIHARD III diz que a detecção de atividade de fala “continua sendo um problema desafiador para alguns dos domínios abrangidos” e que, sem segmentação precisa, a diarização se degradava “de forma catastrófica para alguns”, com os audiolivros como exceção. As tabelas completas estão no artigo do desafio DIHARD III. Dados mais recentes disponíveis: DIHARD III (2020 a 2021) e Fearless Steps Phase-3 (2021); nenhum dos dois desafios realizou uma trilha mais nova de detecção de atividade de fala.
3. Modelos Abertos Frente a Frente: pyannote, Silero e WebRTC
A maioria dos produtos usa um de três detectores abertos: o VAD de processamento de sinais do projeto WebRTC do Google, o VAD neural Silero ou o modelo de segmentação pyannote. Os dados independentes concordam quanto ao ranking, e a diferença é maior justamente onde os produtos falham: áudio só com ruído. Em trechos de ruído ambiental do ESC-50, o WebRTC VAD teve acurácia 0, ou seja, chamou todos os trechos de ruído de fala, enquanto o Silero v6 acertou 0,87 (Silero VAD Quality Metrics, alegação do próprio projeto).
O artigo do pyannote 2.0 é a melhor referência para a divisão entre falso alarme e perda, porque reporta os dois separadamente em três conjuntos públicos (Bredin e Laurent, arXiv 2021). Seu ajuste minimiza a soma dos dois, então chega perto de um equilíbrio (3,9% contra 3,3% no DIHARD 3). O modelo Silero da época de 2021 na mesma tabela mostra o perfil desequilibrado clássico: poucas perdas, muitos falsos alarmes. O ROC-AUC, usado a seguir, é uma nota de 0 a 1 de quão bem um detector separa fala de não fala em todos os limiares; o coeficiente de correlação de Matthews (MCC) é uma nota de -1 a 1 que se mantém honesta quando uma classe domina.
| Métrica | Valor | Fonte |
|---|---|---|
| DIHARD 3: falso alarme / perda / erro total de detecção, pyannote 2.0 contra Silero VAD (versão de 2021) | 3,9% / 3,3% / 7,3% contra 17,0% / 4,0% / 21,0% | Bredin e Laurent, arXiv 2021 |
| Reuniões do AMI: falso alarme / perda, pyannote 2.0 contra Silero VAD (versão de 2021) | 3,6% / 3,2% contra 9,4% / 1,7% | Bredin e Laurent, arXiv 2021 |
| VoxConverse: falso alarme / perda, pyannote 2.0 contra Silero VAD (versão de 2021) | 1,8% / 0,8% contra 3,0% / 1,1% | Bredin e Laurent, arXiv 2021 |
| ROC-AUC em um conjunto de validação multidomínio de 17 horas: WebRTC / Silero v5 / Silero v6 | 0,73 / 0,96 / 0,97 | Wiki Silero VAD Quality Metrics (alegação do projeto) |
| ROC-AUC em 80 horas de fala ruidosa do MSDWild: WebRTC contra Silero v6 | 0,62 contra 0,79 | Wiki Silero VAD Quality Metrics (alegação do projeto) |
| Proporção de trechos de ruído do ESC-50 corretamente rejeitados: WebRTC / Silero v5 / Silero v6 | 0 / 0,61 / 0,87 | Wiki Silero VAD Quality Metrics (alegação do projeto) |
| Acurácia por enunciado do Silero VAD v5 no ESC-50 (verificação independente) | 61% | Wang et al., Calm-Whisper, arXiv 2025 |
| MCC com janelas de 50 ms em 1,1 hora de podcasts, filmes e música: RMS / WebRTC / Silero | 0,11 / 0,41 / 0,72 | McKinnon et al., Google, arXiv 2026 |
Contexto: a equipe do Google constatou que adicionar histerese (uma regra que mantém o estado atual de fala ou não fala até que a evidência mude com clareza) elevou o MCC do WebRTC de 0,41 para 0,47 e não trouxe ganho útil ao Silero (McKinnon et al., arXiv 2026). As próprias notas de lançamento da v6.0 do Silero alegam 16% menos erros em dados reais ruidosos e 11% menos na validação multidomínio do que a v5, uma alegação do projeto que ainda não foi reproduzida de forma independente.
4. Ruído e SNR: Onde a Detecção Falha
A relação sinal-ruído (SNR) é o nível da fala acima do fundo, em decibéis; 0 dB significa que fala e ruído têm o mesmo volume. Todos os conjuntos de dados aqui mostram o mesmo padrão: fala limpa é um problema resolvido, e música e ruído não são. No conjunto de filmes AVA-Speech do Google, a fala limpa ficava em uma SNR estimada de 40,8 dB, mas a fala sobre música em apenas 11,7 dB, e até a taxa de verdadeiros positivos de um grande detector ResNet caiu de 0,992 na fala limpa para 0,787 na fala com música (Chaudhuri et al., AVA-Speech).
Corrigir a revocação de fala ruidosa costuma custar falsos alarmes. O VAD minúsculo da Huawei, de 2025, elevou a acurácia em fala ruidosa no MS-SNSD de 15,9% para 89,9% com uma etapa de pré-processamento, mas sua acurácia em não fala no mesmo conjunto caiu de 99,1% para 87,7% (Jafarzadeh Asl et al., arXiv 2025). Não existe almoço grátis: o ponto de operação apenas se move ao longo da curva de compromisso.
| Métrica | Valor | Fonte |
|---|---|---|
| SNR estimada no AVA-Speech: fala limpa / fala com ruído / fala com música | 40,8 dB / 16,2 dB / 11,7 dB | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Taxa de verdadeiros positivos no AVA-Speech a uma taxa de falsos positivos fixa de 0,315, WebRTC VAD: limpa / ruído / música | 0,786 / 0,706 / 0,733 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Taxa de verdadeiros positivos no AVA-Speech à mesma taxa de falsos positivos, modelo ResNet-960: limpa / ruído / música | 0,992 / 0,944 / 0,787 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| F1 e AUC médios com 0 dB (ruído de vozes sobrepostas, de carro e de máquinas), WebRTC VAD contra MagicNet | F1 0,581 contra 0,859; AUC 0,691 contra 0,956 | Jia et al., arXiv 2024 |
| Acurácia em fala ruidosa no MS-SNSD, linha de base SG-VAD contra VAD da Huawei com pré-processamento | 15,9% contra 89,9% | Jafarzadeh Asl et al., arXiv 2025 |
| Acurácia em não fala no MS-SNSD, linha de base SG-VAD contra VAD da Huawei com pré-processamento | 99,1% contra 87,7% | Jafarzadeh Asl et al., arXiv 2025 |
| Taxa de falsos positivos necessária para captar 99% da fala, SG-VAD contra VAD da Huawei com pré-processamento | 58% contra 28% | Jafarzadeh Asl et al., arXiv 2025 |
| Precisão média (mAP) do VAD pessoal (de locutor-alvo), linha de base contra melhor modelo: conjunto de teste limpo contra conjunto de teste com ruído e reverberação adicionados | 0,900 contra 0,969 limpo; 0,801 contra 0,928 ruidoso | Ding et al., Google, Personal VAD, arXiv 2019 |
Contexto: um estudo de dezembro de 2025 treinou detectores híbridos baseados em CNN com fala em cazaque misturada a ruído de -18 dB a +30 dB; os melhores modelos chegaram a um F1 de 99,6% e se mantiveram robustos acima de -12 dB, enquanto modelos treinados em um único nível de ruído generalizaram mal (Kulakayeva et al., ETASR 2025). A revisão da Amazon sobre filmes e séries também constatou que modelos de cerca de 2M de parâmetros eram menos robustos ao ruído do que modelos de cerca de 0,5M. Dados mais recentes disponíveis para o AVA-Speech e o Personal VAD: 2018 e 2019.
5. Tamanho de Quadro, Latência e Orçamento de Computação
O VAD roda antes de todo o resto, então precisa ser barato. Os orçamentos na literatura são minúsculos: o WebRTC VAD decide sobre quadros de 10, 20 ou 30 ms (documentação do py-webrtcvad), e no benchmark AVA-Speech precisou de 0,06 ms por decisão, contra 265 ms do modelo ResNet mais preciso, que em troca elevou a taxa de verdadeiros positivos em toda a fala de 0,722 para 0,917.
O trabalho de 2024 a 2026 fecha essa lacuna do lado dos modelos. O MagicNet roda com fator de tempo real (tempo de processamento dividido pela duração do áudio) de 0,034 e 22,7K parâmetros, perto dos 0,015 do WebRTC, enquanto o Silero diz que seu modelo de cerca de 2 MB processa um trecho de 30+ ms em menos de 1 ms em uma thread de CPU (README do Silero VAD, alegação do projeto). O Personal VAD mostra a outra razão para ser pequeno: o Google o criou para controlar o reconhecimento de fala no dispositivo, de modo que o reconhecedor só desperte para o usuário cadastrado, reduzindo computação e consumo de bateria.
| Métrica | Valor | Fonte |
|---|---|---|
| Durações de quadro, modos de agressividade e taxas de amostragem do WebRTC VAD | 10, 20 ou 30 ms; modos 0 a 3; 8, 16, 32 ou 48 kHz, PCM mono de 16 bits | Documentação do py-webrtcvad |
| Latência por decisão no benchmark AVA-Speech: WebRTC / CNN tiny_320 / CNN ResNet-960 | 0,06 ms / 2,23 ms / 265 ms | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Fator de tempo real em uma CPU Intel Xeon: WebRTC / MagicNet / MarbleNet | 0,015 / 0,034 / 0,038 | Jia et al., arXiv 2024 |
| Parâmetros: MagicNet / CRNN / MarbleNet | 22,7K / 36,8K / 85,2K | Jia et al., arXiv 2024 |
| Tempo de processamento e tamanho do modelo do Silero VAD | Menos de 1 ms por trecho de 30+ ms em uma thread de CPU; cerca de 2 MB; ONNX até 4 a 5 vezes mais rápido | README do Silero VAD (alegação do projeto) |
| Passo de quadro e trecho de entrada do modelo de segmentação do pyannote 2.0 | Cerca de 16 ms; trechos de 5 s | Bredin e Laurent, arXiv 2021 |
| Intervalo de decisão do SAD online EML e fator de tempo real em uma CPU (áudio da Apollo) | Cerca de a cada 0,1 s; cerca de 0,002 | Ghahabi e Fischer, arXiv 2021 |
| Tamanho do Personal VAD, modelo só com embedding contra pipeline baseado em verificação de locutor | 0,13M contra 4,88M + 0,06M de parâmetros, uma decisão a cada 10 ms | Ding et al., Google, Personal VAD, arXiv 2019 |
Contexto: o tamanho do quadro também é uma alavanca de precisão. O estudo de janelas do Google de 2026 fez a média das previsões em janelas de 10 ms até 10 s e constatou que o Silero ficava claramente à frente do WebRTC na configuração de 100 ms. Janelas mais longas suavizam a oscilação, mas acrescentam atraso, e é por isso que as ferramentas de voz em tempo real mantêm o quadro nativo curto e suavizam depois.
6. DTX na Telefonia: Banda Economizada ao Não Enviar Silêncio
Na telefonia, o VAD se paga por meio da transmissão descontínua (DTX): quando o detector não ouve fala, o telefone para de enviar pacotes de voz e a outra ponta reproduz um “ruído de conforto” sintético para que a linha não pareça muda. A documentação da Avaya observa que mais de 40% da transmissão de uma conversa é silêncio, porque normalmente só um dos participantes fala por vez (documentação do Avaya Aura, orientação do fornecedor).
Os números de planejamento são mais cautelosos do que a proporção de silêncio sugere. A Cisco orienta os engenheiros a contar com a economia do VAD apenas sobre muitas chamadas simultâneas (guia de banda por chamada da Cisco, orientação do fornecedor), porque uma única chamada pode ser só conversa, e música em espera ou fax derrotam o detector. A Avaya nomeia diretamente o compromisso entre os erros: agressivo demais e o início e o fim das palavras são cortados (perdas), pouco agressivo e nenhuma banda é economizada (falsos alarmes). Para saber como o tempo dos pacotes molda a qualidade da chamada, veja nossas estatísticas de jitter buffer de VoIP e POLQA.
| Métrica | Valor | Fonte |
|---|---|---|
| Economia de banda com VAD, como média de mais de 24 chamadas | Até 35 por cento, não alcançada em cada chamada individual | Cisco, Voice Over IP Per Call Bandwidth Consumption (orientação do fornecedor) |
| Enlaces nos quais a Cisco diz que a economia do VAD não deve ser contada | Enlaces com menos de 24 chamadas de voz simultâneas | Cisco, Voice Over IP Per Call Bandwidth Consumption (orientação do fornecedor) |
| Banda Ethernet por chamada com tamanhos de payload padrão, G.711 contra G.729 | 87,2 kbps contra 31,2 kbps | Cisco, Voice Over IP Per Call Bandwidth Consumption (orientação do fornecedor) |
| Proporção da transmissão de uma conversa que é silêncio | Mais de 40% | Documentação do Avaya Aura 10.2.x (orientação do fornecedor) |
| Estado padrão da supressão de silêncio no Avaya Communication Manager | Desativada, exceto para o G.729B, em que é embutida | Documentação do Avaya Aura 10.2.x (orientação do fornecedor) |
| Taxa de bits básica do ITU-T G.729; papel do Annex B | 8 kbit/s; o Annex B acrescenta VAD, DTX e ruído de conforto, ajustado para circuitos, com os Apêndices II e III para VoIP | Resumo da ITU-T Rec. G.729 (06/2012) |
| Intervalo de atualização do ruído de conforto no codec EVS: padrão / faixa de taxa fixa / faixa adaptativa | A cada 8 quadros / 1 a 100 quadros / 8 a 50 quadros | 3GPP TS 26.449, geração de ruído de conforto do EVS |
Contexto: a visão geral do EVS pelo 3GPP diz que a DTX reduz a taxa de bits média necessária, “levando a uma transmissão mais eficiente, com carga reduzida e, portanto, maior capacidade”, mas não dá nenhum percentual único (visão geral do 3GPP TS 26.441). O resumo da ITU-T G.729 é de junho de 2012; continua sendo o texto mais recente disponível para essa família de codecs.
7. Dano em Cascata: Como os Erros de VAD se Propagam para ASR e Diarização
Um erro de VAD raramente é o erro final. Um falso alarme entrega ruído para o reconhecedor de fala transcrever; uma perda apaga palavras que nenhuma etapa posterior consegue recuperar. O resultado controlado mais claro vem da AGH University of Krakow: em fala do Common Voice acrescida de sons não vocais a 9 dB de SNR, a taxa de erro de palavras do Whisper foi de 68,3% com o WebRTC VAD à frente e de 8,0% com o Silero VAD (Barański et al., arXiv 2025). A escolha do detector, por si só, mudou o erro por um fator de cerca de oito. Taxas acima de 100% são possíveis aqui porque palavras inventadas contam como inserções. Nossas estatísticas de alucinação em reconhecimento de fala tratam em profundidade do lado do reconhecedor dessa falha.
Um bom VAD também compra velocidade e precisão de tempo. O WhisperX usa o VAD do pyannote para cortar o áudio em trechos só de fala e processá-los em lotes, o que o tornou 11,8 vezes mais rápido que o Whisper puro e elevou a precisão do tempo das palavras em reuniões do AMI (Bain et al., WhisperX, arXiv 2023). Do lado da diarização, um benchmark de 2025 da ETH Zurique em 196,6 horas constatou que “a fala perdida constitui o principal caso de falha em todos os modelos de diarização” (Lanzendörfer et al., arXiv 2025); nossas estatísticas de taxa de erro de diarização de locutores acompanham todo o orçamento de erro.
| Métrica | Valor | Fonte |
|---|---|---|
| Taxa de erro de palavras do Whisper em fala com sons não vocais antes ou depois, WebRTC VAD contra Silero VAD | 68,3% contra 8,0% | Barański et al., arXiv 2025 |
| Mesma comparação quando o ruído se sobrepõe à fala, WebRTC VAD contra Silero VAD | 75,4% contra 10,8% | Barański et al., arXiv 2025 |
| Velocidade de transcrição com processamento em lotes baseado em VAD, WhisperX contra Whisper | 11,8x contra 1,0x | Bain et al., WhisperX, arXiv 2023 |
| Precisão / revocação do tempo das palavras em reuniões do AMI (margem de tolerância de 200 ms), WhisperX contra Whisper | 84,1 / 60,3 contra 78,9 / 52,1 | Bain et al., WhisperX, arXiv 2023 |
| Tempo não vocal médio por gravação, falantes com afasia contra falantes do grupo controle (medido com o pyannote, confirmado com o Silero) | 6,8 s contra 1,3 s (p < 2,2e-16) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Tempo não vocal médio, gravações em que o Whisper alucinou contra gravações em que não alucinou | 5,3 s contra 3,5 s | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Dificuldade extra de diarização quando os sistemas precisam encontrar a fala por conta própria (Track 2) em vez de receber as regiões de fala de referência (Track 1) | “Da ordem de 5%” tanto para DER quanto para JER | Artigo do Third DIHARD Diarization Challenge, arXiv 2020 |
| Escopo do benchmark de diarização por trás da constatação sobre fala perdida | 196,6 horas, 4 conjuntos de dados, 5 idiomas | Lanzendörfer et al., ETH Zurique, arXiv 2025 |
Nota sobre valores atípicos: a mesma tabela de Cracóvia mostra que o VAD é necessário, mas não suficiente. O Silero VAD mais uma etapa de remoção de laços e uma lista de frases alucinadas conhecidas se saiu melhor do que o Silero sozinho (6,5% contra 8,0% de taxa de erro de palavras em áudio sem sobreposição). Dados mais recentes disponíveis para o WhisperX: 2023.
Resumo: Detecção de Atividade de Voz em Números
| Métrica | Valor | Fonte |
|---|---|---|
| Função de custo de detecção de atividade de fala do NIST | 0,75 x taxa de perda + 0,25 x taxa de falso alarme | NIST IR 8242, piloto OpenSAT 2017 |
| Linha de base do DIHARD III, conjunto principal de avaliação: perda / falso alarme | 4,97% / 15,07% | Artigo do Third DIHARD Diarization Challenge, arXiv 2020 |
| Custo de detecção do Fearless Steps Phase-3, linha de base contra melhor (avaliação) | 15,16% contra 1,47% | Joglekar et al., Interspeech 2021 |
| Margem de tolerância de pontuação do Fearless Steps, Phase-3 contra Phase-2 | 0,25 s contra 0,5 s | Joglekar et al., Interspeech 2021 |
| DIHARD 3 falso alarme / perda, pyannote 2.0 | 3,9% / 3,3% | Bredin e Laurent, arXiv 2021 |
| DIHARD 3 falso alarme / perda, Silero VAD (versão de 2021) | 17,0% / 4,0% | Bredin e Laurent, arXiv 2021 |
| Trechos de ruído do ESC-50 corretamente rejeitados, WebRTC contra Silero v6 | 0 contra 0,87 | Wiki Silero VAD Quality Metrics (alegação do projeto) |
| MCC com janelas de 50 ms, WebRTC contra Silero | 0,41 contra 0,72 | McKinnon et al., Google, arXiv 2026 |
| AUC médio com SNR de 0 dB, WebRTC contra MagicNet | 0,691 contra 0,956 | Jia et al., arXiv 2024 |
| Taxa de verdadeiros positivos do ResNet no AVA-Speech, fala limpa contra fala com música | 0,992 contra 0,787 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Acurácia em fala ruidosa no MS-SNSD, linha de base contra VAD da Huawei com pré-processamento | 15,9% contra 89,9% | Jafarzadeh Asl et al., arXiv 2025 |
| Latência por decisão, WebRTC contra ResNet-960 | 0,06 ms contra 265 ms | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Economia de banda do VAD como média de mais de 24 chamadas | Até 35 por cento | Cisco, Per Call Bandwidth Consumption (orientação do fornecedor) |
| Proporção da transmissão de uma conversa que é silêncio | Mais de 40% | Documentação do Avaya Aura 10.2.x (orientação do fornecedor) |
| Intervalo padrão de atualização do ruído de conforto do EVS | A cada 8 quadros | 3GPP TS 26.449 |
| Taxa de erro de palavras do Whisper atrás do WebRTC VAD contra Silero VAD | 68,3% contra 8,0% | Barański et al., arXiv 2025 |
| Aceleração do WhisperX com processamento em lotes baseado em VAD | 11,8x | Bain et al., WhisperX, arXiv 2023 |
Metodologia e Fontes
- NIST IR 8242, relatório de avaliação do piloto OpenSAT 2017: função de custo, margem de tolerância, participação.
- Página da série de avaliações NIST OpenSAT: anos de avaliação, domínios e status do programa.
- Artigo do Third DIHARD Diarization Challenge (arXiv 2012.01477): taxas de perda e de falso alarme da linha de base de detecção de atividade de fala, tamanhos dos conjuntos de dados, resultados do Track 1 contra Track 2.
- Joglekar et al., Fearless Steps Challenge Phase-3, Interspeech 2021: resultados de custo de detecção em áudio da Apollo e margens de tolerância.
- Ghahabi e Fischer, EML online SAD for Fearless Steps Phase-III, arXiv 2021: intervalo de decisão e fator de tempo real.
- Bredin e Laurent, End-to-end speaker segmentation for overlap-aware resegmentation, arXiv 2021: taxas de falso alarme e de perda no AMI, DIHARD 3 e VoxConverse.
- Wiki Silero VAD Quality Metrics, README do Silero VAD e versões do Silero VAD: alegações do projeto sobre acurácia, velocidade e lançamentos.
- McKinnon et al., Window Size Versus Accuracy Experiments in Voice Activity Detectors, Google, arXiv 2026: comparação de MCC entre RMS, WebRTC e Silero.
- Documentação do py-webrtcvad: tamanhos de quadro, modos e taxas de amostragem do WebRTC VAD.
- Chaudhuri et al., AVA-Speech, Interspeech 2018: proporções de rótulos, SNR estimada, taxas de verdadeiros positivos por condição e latência.
- Jia et al., A Real-Time Voice Activity Detection Based on Lightweight Neural Network, arXiv 2024: F1 e AUC com 0 dB, parâmetros e fator de tempo real.
- Jafarzadeh Asl et al., Tiny Noise-Robust Voice Activity Detector for Voice Assistants, Huawei, arXiv 2025: compromisso entre acurácia em fala ruidosa e em não fala.
- Kulakayeva et al., Robust Neural Network-Based VAD under Low SNR, ETASR 2025: faixa de SNR e limiar de robustez.
- Sharma et al., Empirical review of VAD for movies and TV shows, Neurocomputing 2022: ruído de rotulagem e resultados sobre tamanho de modelo.
- Ding et al., Personal VAD, Google, arXiv 2019: precisão, tamanho e taxa de quadros do VAD de locutor-alvo.
- Cisco, Voice Over IP Per Call Bandwidth Consumption: orientação sobre economia do VAD e banda por chamada.
- Avaya Aura 10.2.x, Silence suppression or voice activity detection: proporção de silêncio e padrões.
- Resumo da ITU-T Rec. G.729 (06/2012), 3GPP TS 26.449 EVS comfort noise generation e visão geral do 3GPP TS 26.441 EVS: mecânica da DTX e do ruído de conforto (texto do 3GPP lido pelo espelho iTecSpec).
- Barański et al., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, arXiv 2025: taxa de erro de palavras atrás do WebRTC contra Silero VAD.
- Bain et al., WhisperX, arXiv 2023: resultados de aceleração e de tempo das palavras com processamento em lotes baseado em VAD.
- Wang et al., Calm-Whisper, arXiv 2025: verificação independente da acurácia do Silero v5 no ESC-50.
- Koenecke et al., Careless Whisper, ACM FAccT 2024: tempo não vocal e alucinação.
- Lanzendörfer et al., Benchmarking Diarization Models, ETH Zurique, arXiv 2025: fala perdida como principal falha de diarização.
- Nota sobre os dados: boa parte da base de benchmarks tem mais de três anos (OpenSAT 2017, AVA-Speech 2018, Personal VAD 2019, DIHARD III 2020 a 2021, Fearless Steps Phase-3 2021, WhisperX 2023), porque nenhum desafio público de detecção de atividade de fala foi realizado desde então; trate-os como os dados mais recentes disponíveis. A linha de base do DIHARD 3 no artigo do pyannote (4,0% de falso alarme, 4,2% de perda) não coincide com os números de avaliação do próprio artigo do DIHARD III (15,07% e 4,97% no conjunto principal), provavelmente por causa de uma partição ou configuração diferente, por isso citamos cada um apenas com a sua própria fonte. O modelo Silero da tabela do pyannote de 2021 é anterior ao Silero v5 e v6. O artigo do Google de 2026 dá ao Silero uma janela nativa de 16 ms, enquanto o README do Silero fala em trechos de 30+ ms. O AVA-Speech se descreve ao mesmo tempo como “45 horas” e “cerca de 46 horas”. O artigo do Personal VAD não diz por completo se os modelos do teste ruidoso foram treinados de forma diferente. Os números do Silero, da Cisco e da Avaya são alegações ou orientações dos próprios publicadores. Os 35 por cento da Cisco são um número de planejamento de caso médio, não a medição de uma rede específica.
- Última atualização: 31 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando os artigos do ICASSP 2027 forem publicados e o projeto Silero VAD atualizar sua página de Quality Metrics.