Le détecteur de référence officiel de DIHARD III a manqué 4,97% de la parole sur l’ensemble central d’évaluation, mais a étiqueté à tort du non-vocal comme de la parole à un taux de 15,07%, soit trois fois son propre taux d’omission. Cet écart résume toute l’histoire de la détection d’activité vocale (VAD) : chaque détecteur arbitre entre les omissions (la parole réelle qu’il écarte) et les fausses alarmes (le silence, la musique ou le bruit qu’il laisse passer), et les bancs d’essai décident quelle erreur compte le plus. Lors du défi Fearless Steps Phase-3 sur l’audio de la NASA Apollo, le meilleur système a ramené le coût de détection de la référence de 15,16% à 1,47%, tandis qu’à un rapport signal sur bruit de 0 dB, le WebRTC VAD n’a obtenu en moyenne qu’un score F1 de 0,581. En amont de tout, le bruit est le principal ennemi, c’est pourquoi le VAD et la latence de la suppression de bruit neuronale se règlent généralement ensemble. Nous avons agrégé des données issues des évaluations OpenSAT du NIST, des défis DIHARD III et Fearless Steps, des études AVA-Speech et sur la taille de fenêtre 2026 de Google, des spécifications de codecs 3GPP et ITU-T, des recommandations de téléphonie de Cisco et d’Avaya, et de plus d’une douzaine d’articles évalués par des pairs ou en prépublication.
TL;DR
- Le NIST a noté la détection d’activité vocale comme 0,75 x taux d’omission + 0,25 x taux de fausses alarmes, ce qui rendait une omission trois fois plus coûteuse (NIST IR 8242, projet pilote OpenSAT 2017).
- La référence DIHARD III affichait 4,97% d’omissions et 15,07% de fausses alarmes sur l’ensemble central d’évaluation (article du Third DIHARD Diarization Challenge, arXiv 2020).
- Le meilleur système Fearless Steps Phase-3 a atteint un coût de détection de 1,47% sur les données d’évaluation, contre 15,16% pour la référence (Joglekar et al., Interspeech 2021).
- Sur l’audio DIHARD 3, pyannote 2.0 affichait 3,9% de fausses alarmes et 3,3% d’omissions, contre 17,0% et 4,0% pour le Silero VAD disponible en 2021 (Bredin et Laurent, arXiv 2021).
- Sur l’ensemble de bruits environnementaux ESC-50, le WebRTC VAD a obtenu une précision de 0, Silero v5 de 0,61 et Silero v6 de 0,87 (Silero VAD Quality Metrics, affirmation du projet).
- Avec des fenêtres de 50 ms, le coefficient de corrélation de Matthews de Silero était de 0,72 contre 0,41 pour WebRTC et 0,11 pour un simple détecteur de volume (RMS) (McKinnon et al., Google, arXiv 2026).
- À 0 dB de SNR, le WebRTC VAD a obtenu en moyenne une AUC de 0,691 contre 0,956 pour MagicNet, avec ses 22,7K paramètres (Jia et al., arXiv 2024).
- Le WebRTC VAD a pris 0,06 ms par décision, un grand VAD ResNet 265 ms (Chaudhuri et al., AVA-Speech, Interspeech 2018).
- Cisco prévoit que le VAD économise jusqu’à 35 pour cent de la bande passante vocale, mais seulement en moyenne sur plus de 24 appels (Cisco, Per Call Bandwidth Consumption).
- Le taux d’erreur sur les mots de Whisper sur de la parole complétée de bruit était de 68,3% derrière le WebRTC VAD et de 8,0% derrière Silero VAD (Barański et al., arXiv 2025).
1. Comment les erreurs de VAD sont notées : omissions et fausses alarmes
Avant de comparer deux chiffres de VAD, vérifiez les règles de notation. Une « fausse alarme » est du non-vocal étiqueté comme parole ; une « omission » est de la parole étiquetée comme non vocale. Les évaluateurs décident ensuite combien coûte chaque erreur et quelle marge accorder autour des bords de segments. Cette marge s’appelle une « marge de tolérance » : une courte fenêtre autour de chaque limite réelle de parole où les erreurs ne sont pas comptées. Le NIST a pondéré les omissions à 0,75 et les fausses alarmes à 0,25, en estimant que « les détections manquées sont considérées comme plus critiques que les fausses alarmes » (NIST IR 8242, projet pilote OpenSAT 2017).
Depuis, la tendance va vers une notation plus stricte. Les marges de tolérance sont passées de 0,5 s à 0,25 s dans Fearless Steps et ont complètement disparu dans DIHARD III, si bien qu’un chiffre de 2026 noté sans marge n’est pas comparable à un chiffre de 2017 noté avec une marge. La série du NIST est elle-même terminée : la page du programme OpenSAT indique son statut comme achevé, sans évaluation après 2020.
| Métrique | Valeur | Source |
|---|---|---|
| Pondérations de la fonction de coût de détection utilisées pour noter la détection d’activité vocale | DCF = 0,75 x P_Miss + 0,25 x P_FA | NIST IR 8242, projet pilote OpenSAT 2017 |
| Fenêtre non notée (marge de tolérance) autour de chaque segment de parole de référence, projet pilote OpenSAT 2017 | 0,5 s | NIST IR 8242, projet pilote OpenSAT 2017 |
| Équipes ayant soumis des résultats au projet pilote OpenSAT 2017 contre sites inscrits | 22 contre 33 | NIST IR 8242, projet pilote OpenSAT 2017 |
| Dernière évaluation OpenSAT et son domaine | OpenSAT20 (2020), communications de sécurité publique en anglais uniquement | Page de la série d’évaluations NIST OpenSAT |
| Marge de tolérance de notation, Fearless Steps Phase-3 contre Phase-2 | 0,25 s contre 0,5 s | Joglekar et al., Fearless Steps Phase-3, Interspeech 2021 |
| Marge de tolérance de notation utilisée dans DIHARD III | Aucune (« sans recours à des marges de tolérance »), parole superposée notée | Article du Third DIHARD Diarization Challenge, arXiv 2020 |
| Accord entre les 3 annotateurs humains ayant étiqueté chaque extrait d’AVA-Speech | Kappa de Fleiss 0,74 (« substantiel ») | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Longueur de segment utilisée pour noter Silero et les VAD concurrents | 31,25 ms, seuil réglé sur un ensemble de validation multi-domaines de 17 heures | Wiki Silero VAD Quality Metrics (affirmation du projet) |
Contexte : même la vérité terrain est bruitée. Une étude d’Amazon portant sur 450 heures de films et de séries a constaté que les fichiers de sous-titres de haute qualité utilisés comme étiquettes contiennent jusqu’à 15% de bruit d’étiquetage (Sharma et al., Neurocomputing 2022). Données disponibles les plus récentes pour les règles de notation du NIST et d’AVA : 2017 à 2019 et 2018.
2. Résultats des défis : taux d’omissions et de fausses alarmes sur de l’audio difficile
Les défis publics sont l’endroit où le VAD rencontre de l’audio pour lequel personne n’a rien réglé. Les chiffres de DIHARD III montrent le problème central : le taux de fausses alarmes de la référence est passé de 3,98% sur les données de développement à 15,07% sur l’ensemble central d’évaluation, alors que son taux d’omissions a bien moins varié. Les détecteurs surajustent le bruit de fond sur lequel ils ont été entraînés, et un bruit nouveau se transforme en parole fantôme.
Les résultats de Fearless Steps montrent l’extrémité opposée. L’audio des missions Apollo de la NASA est bruité, multicanal et vieux de plusieurs décennies, pourtant le meilleur système de la Phase-3 a ramené le coût de détection à 1,47%, soit environ un dixième de la référence. La présentation de Fearless Steps Phase-3 montre aussi la limite : la Phase-3 n’a pas battu le meilleur résultat de la Phase-2, 1,07%, et le sous-ensemble Apollo-13 est resté plus difficile qu’Apollo-11.
| Métrique | Valeur | Source |
|---|---|---|
| Référence DIHARD III, ensemble central de développement : omissions / fausses alarmes / erreur globale | 1,84% / 3,98% / 2,30% | Article du Third DIHARD Diarization Challenge, arXiv 2020 |
| Référence DIHARD III, ensemble central d’évaluation : omissions / fausses alarmes / erreur globale | 4,97% / 15,07% / 7,26% | Article du Third DIHARD Diarization Challenge, arXiv 2020 |
| Référence DIHARD III, ensemble complet d’évaluation : omissions / fausses alarmes / erreur globale | 4,35% / 14,65% / 6,51% | Article du Third DIHARD Diarization Challenge, arXiv 2020 |
| Taille de l’ensemble central d’évaluation de DIHARD III et part de parole | 184 enregistrements, 22,73 heures, 77,35% de parole, 11 domaines | Article du Third DIHARD Diarization Challenge, arXiv 2020 |
| Participation à Fearless Steps Phase-3 (toutes pistes) | 9 organisations en 14 équipes par tâche, 235 soumissions de systèmes | Joglekar et al., Interspeech 2021 |
| Coût de détection de la référence Fearless Steps Phase-3, développement contre évaluation | 12,84% contre 15,16% | Joglekar et al., Interspeech 2021 |
| Meilleur coût de détection Fearless Steps Phase-3 : évaluation complète / sous-ensemble Apollo-13 / sous-ensemble de canaux inconnus | 1,47% / 2,37% / 1,67% | Joglekar et al., Interspeech 2021 |
| Meilleur coût de détection Fearless Steps Phase-2 (toujours l’état de l’art après la Phase-3) | 1,07% | Joglekar et al., Interspeech 2021 |
Note sur les valeurs atypiques : l’article de DIHARD III affirme que la détection d’activité vocale « reste un problème difficile pour certains des domaines couverts », et que sans segmentation précise la diarisation se dégradait « de façon catastrophique pour certains », les livres audio faisant exception. Les tableaux complets figurent dans l’article du défi DIHARD III. Données disponibles les plus récentes : DIHARD III (2020 à 2021) et Fearless Steps Phase-3 (2021) ; aucun des deux défis n’a organisé de piste de détection d’activité vocale plus récente.
3. Modèles ouverts face à face : pyannote, Silero et WebRTC
La plupart des produits embarquent l’un de trois détecteurs ouverts : le VAD de traitement du signal du projet WebRTC de Google, le VAD neuronal Silero ou le modèle de segmentation pyannote. Les données indépendantes s’accordent sur le classement, et l’écart est le plus grand précisément là où les produits échouent : l’audio contenant uniquement du bruit. Sur les extraits de bruits environnementaux ESC-50, le WebRTC VAD a obtenu une précision de 0, c’est-à-dire qu’il a pris chaque extrait de bruit pour de la parole, tandis que Silero v6 en a classé correctement 0,87 (Silero VAD Quality Metrics, affirmation du projet lui-même).
L’article de pyannote 2.0 est la meilleure référence pour la répartition fausses alarmes et omissions, car il rapporte les deux séparément sur trois ensembles publics (Bredin et Laurent, arXiv 2021). Son réglage minimise leur somme, il aboutit donc près d’un équilibre (3,9% contre 3,3% sur DIHARD 3). Le modèle Silero de l’époque 2021 dans le même tableau montre le profil déséquilibré classique : peu d’omissions, beaucoup de fausses alarmes. Le score ROC-AUC, utilisé ci-dessous, va de 0 à 1 et mesure la capacité d’un détecteur à séparer la parole du non-vocal sur l’ensemble des seuils ; le coefficient de corrélation de Matthews (MCC) est un score de -1 à 1 qui reste fiable lorsqu’une classe domine.
| Métrique | Valeur | Source |
|---|---|---|
| DIHARD 3 : fausses alarmes / omissions / erreur de détection totale, pyannote 2.0 contre Silero VAD (version 2021) | 3,9% / 3,3% / 7,3% contre 17,0% / 4,0% / 21,0% | Bredin et Laurent, arXiv 2021 |
| Réunions AMI : fausses alarmes / omissions, pyannote 2.0 contre Silero VAD (version 2021) | 3,6% / 3,2% contre 9,4% / 1,7% | Bredin et Laurent, arXiv 2021 |
| VoxConverse : fausses alarmes / omissions, pyannote 2.0 contre Silero VAD (version 2021) | 1,8% / 0,8% contre 3,0% / 1,1% | Bredin et Laurent, arXiv 2021 |
| ROC-AUC sur un ensemble de validation multi-domaines de 17 heures : WebRTC / Silero v5 / Silero v6 | 0,73 / 0,96 / 0,97 | Wiki Silero VAD Quality Metrics (affirmation du projet) |
| ROC-AUC sur 80 heures de parole bruitée MSDWild : WebRTC contre Silero v6 | 0,62 contre 0,79 | Wiki Silero VAD Quality Metrics (affirmation du projet) |
| Part des extraits de bruit ESC-50 correctement rejetés : WebRTC / Silero v5 / Silero v6 | 0 / 0,61 / 0,87 | Wiki Silero VAD Quality Metrics (affirmation du projet) |
| Précision au niveau de l’énoncé de Silero VAD v5 sur ESC-50 (vérification indépendante) | 61% | Wang et al., Calm-Whisper, arXiv 2025 |
| MCC avec des fenêtres de 50 ms sur 1,1 heure de podcasts, de films et de musique : RMS / WebRTC / Silero | 0,11 / 0,41 / 0,72 | McKinnon et al., Google, arXiv 2026 |
Contexte : l’équipe de Google a constaté que l’ajout d’une hystérésis (une règle qui maintient l’état courant de parole ou de non-parole jusqu’à ce que les indices changent nettement) faisait passer le MCC de WebRTC de 0,41 à 0,47 et n’apportait rien d’utile à Silero (McKinnon et al., arXiv 2026). Les notes de version 6.0 de Silero revendiquent 16% d’erreurs en moins sur des données réelles bruitées et 11% de moins sur la validation multi-domaines par rapport à la v5, une affirmation du projet non encore reproduite de façon indépendante.
4. Bruit et SNR : là où la détection se dégrade
Le rapport signal sur bruit (SNR) est le niveau de la parole au-dessus du fond sonore, en décibels ; 0 dB signifie que la parole et le bruit ont le même volume. Chaque ensemble de données ici montre le même schéma : la parole propre est un problème résolu, la musique et le bruit ne le sont pas. Dans l’ensemble de films AVA-Speech de Google, la parole propre se situait à un SNR estimé de 40,8 dB, mais la parole sur de la musique à seulement 11,7 dB, et même le taux de vrais positifs d’un grand détecteur ResNet est tombé de 0,992 sur la parole propre à 0,787 sur la parole avec musique (Chaudhuri et al., AVA-Speech).
Améliorer le rappel de la parole bruitée coûte généralement des fausses alarmes. Le petit VAD 2025 de Huawei a fait passer la précision sur la parole bruitée de MS-SNSD de 15,9% à 89,9% grâce à une étape de prétraitement, mais sa précision sur le non-vocal du même ensemble a chuté de 99,1% à 87,7% (Jafarzadeh Asl et al., arXiv 2025). Il n’y a pas de repas gratuit : le point de fonctionnement se déplace simplement le long de la courbe de compromis.
| Métrique | Valeur | Source |
|---|---|---|
| SNR estimé d’AVA-Speech : parole propre / parole avec bruit / parole avec musique | 40,8 dB / 16,2 dB / 11,7 dB | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Taux de vrais positifs d’AVA-Speech à un taux de faux positifs fixe de 0,315, WebRTC VAD : propre / bruit / musique | 0,786 / 0,706 / 0,733 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Taux de vrais positifs d’AVA-Speech au même taux de faux positifs, modèle ResNet-960 : propre / bruit / musique | 0,992 / 0,944 / 0,787 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| F1 et AUC moyens à 0 dB (brouhaha, voiture, bruit de machine), WebRTC VAD contre MagicNet | F1 0,581 contre 0,859 ; AUC 0,691 contre 0,956 | Jia et al., arXiv 2024 |
| Précision sur la parole bruitée MS-SNSD, référence SG-VAD contre Huawei VAD avec prétraitement | 15,9% contre 89,9% | Jafarzadeh Asl et al., arXiv 2025 |
| Précision sur le non-vocal MS-SNSD, référence SG-VAD contre Huawei VAD avec prétraitement | 99,1% contre 87,7% | Jafarzadeh Asl et al., arXiv 2025 |
| Taux de faux positifs nécessaire pour capter 99% de la parole, SG-VAD contre Huawei VAD avec prétraitement | 58% contre 28% | Jafarzadeh Asl et al., arXiv 2025 |
| Précision moyenne (mean average precision) du VAD personnel (locuteur cible), référence contre meilleur modèle : jeu de test propre contre jeu de test avec bruit et réverbération ajoutés | 0,900 contre 0,969 en propre ; 0,801 contre 0,928 en bruité | Ding et al., Google, Personal VAD, arXiv 2019 |
Contexte : une étude de décembre 2025 a entraîné des détecteurs CNN hybrides sur de la parole kazakhe mélangée à du bruit de -18 dB à +30 dB ; les meilleurs modèles ont atteint un score F1 de 99,6% et sont restés robustes au-dessus de -12 dB, tandis que les modèles entraînés à un seul niveau de bruit généralisaient mal (Kulakayeva et al., ETASR 2025). La revue d’Amazon sur les films et les séries a aussi constaté que les modèles d’environ 2 millions de paramètres étaient moins robustes au bruit que ceux d’environ 0,5 million. Données disponibles les plus récentes pour AVA-Speech et Personal VAD : 2018 et 2019.
5. Taille de trame, latence et budget de calcul
Le VAD s’exécute avant tout le reste, il doit donc être léger. Les budgets dans la littérature sont minuscules : le WebRTC VAD décide sur des trames de 10, 20 ou 30 ms (documentation de py-webrtcvad), et dans le banc d’essai AVA-Speech il a nécessité 0,06 ms par décision, contre 265 ms pour le modèle ResNet le plus précis, qui en échange a fait passer le taux de vrais positifs sur l’ensemble de la parole de 0,722 à 0,917.
Les travaux de 2024 à 2026 comblent cet écart côté modèle. MagicNet tourne à un facteur temps réel (temps de traitement divisé par la durée de l’audio) de 0,034 avec 22,7K paramètres, proche des 0,015 de WebRTC, tandis que Silero affirme que son modèle d’environ 2 Mo traite un segment de plus de 30 ms en moins de 1 ms sur un seul thread de CPU (README de Silero VAD, affirmation du projet). Le VAD personnel montre l’autre raison de rester petit : Google l’a conçu pour conditionner la reconnaissance vocale sur l’appareil, de sorte que le système de reconnaissance ne se réveille que pour l’utilisateur enregistré, ce qui réduit le calcul et la consommation de batterie.
| Métrique | Valeur | Source |
|---|---|---|
| Longueurs de trame, modes d’agressivité et fréquences d’échantillonnage du WebRTC VAD | 10, 20 ou 30 ms ; modes 0 à 3 ; 8, 16, 32 ou 48 kHz, PCM mono 16 bits | Documentation de py-webrtcvad |
| Latence par décision, banc d’essai AVA-Speech : WebRTC / CNN tiny_320 / CNN ResNet-960 | 0,06 ms / 2,23 ms / 265 ms | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Facteur temps réel sur un CPU Intel Xeon : WebRTC / MagicNet / MarbleNet | 0,015 / 0,034 / 0,038 | Jia et al., arXiv 2024 |
| Paramètres : MagicNet / CRNN / MarbleNet | 22,7K / 36,8K / 85,2K | Jia et al., arXiv 2024 |
| Temps de traitement et taille du modèle de Silero VAD | Moins de 1 ms par segment de plus de 30 ms sur un thread de CPU ; environ 2 Mo ; ONNX jusqu’à 4 à 5 fois plus rapide | README de Silero VAD (affirmation du projet) |
| Pas de trame du modèle de segmentation pyannote 2.0 et segment d’entrée | Environ 16 ms ; segments de 5 s | Bredin et Laurent, arXiv 2021 |
| Intervalle de décision du SAD en ligne EML et facteur temps réel sur un CPU (audio Apollo) | Environ toutes les 0,1 s ; environ 0,002 | Ghahabi et Fischer, arXiv 2021 |
| Taille du VAD personnel, modèle à plongement seul contre pipeline fondé sur la vérification du locuteur | 0,13M contre 4,88M + 0,06M de paramètres, une décision toutes les 10 ms | Ding et al., Google, Personal VAD, arXiv 2019 |
Contexte : la taille de trame est aussi un levier de précision. L’étude de Google de 2026 sur la taille de fenêtre a moyenné les prédictions sur des fenêtres de 10 ms à 10 s, et a constaté que Silero devançait nettement WebRTC au réglage de 100 ms. Des fenêtres plus longues lissent le scintillement mais ajoutent du retard, c’est pourquoi les outils vocaux en temps réel gardent la trame native courte et lissent ensuite.
6. DTX en téléphonie : la bande passante économisée en n’envoyant pas le silence
En téléphonie, le VAD se rentabilise grâce à la transmission discontinue (DTX) : lorsque le détecteur n’entend pas de parole, le téléphone cesse d’envoyer des paquets vocaux et l’extrémité distante diffuse un « bruit de confort » synthétique pour que la ligne ne paraisse pas morte. La documentation d’Avaya note que plus de 40% de la transmission d’une conversation est du silence, car en général une seule des parties parle à la fois (documentation Avaya Aura, recommandations du fournisseur).
Les chiffres de planification sont plus prudents que la part de silence ne le laisse penser. Cisco demande aux ingénieurs de ne compter sur les économies du VAD que sur de nombreux appels simultanés (guide Cisco de bande passante par appel, recommandations du fournisseur), car un appel isolé peut n’être que de la parole, et la musique d’attente ou le fax mettent le détecteur en échec. Avaya nomme directement le compromis d’erreurs : trop agressif, et les débuts et fins de mots sont coupés (omissions) ; pas assez agressif, et aucune bande passante n’est économisée (fausses alarmes). Pour voir comment le rythme des paquets façonne ensuite la qualité des appels, consultez nos statistiques sur le tampon de gigue VoIP et POLQA.
| Métrique | Valeur | Source |
|---|---|---|
| Économie de bande passante due au VAD, en moyenne sur plus de 24 appels | Jusqu’à 35 pour cent, non réalisée sur chaque appel pris individuellement | Cisco, Voice Over IP Per Call Bandwidth Consumption (recommandations du fournisseur) |
| Liaisons sur lesquelles Cisco dit de ne pas compter les économies du VAD | Liaisons transportant moins de 24 appels vocaux simultanés | Cisco, Voice Over IP Per Call Bandwidth Consumption (recommandations du fournisseur) |
| Bande passante Ethernet par appel aux tailles de charge utile par défaut, G.711 contre G.729 | 87,2 kbps contre 31,2 kbps | Cisco, Voice Over IP Per Call Bandwidth Consumption (recommandations du fournisseur) |
| Part de la transmission d’une conversation qui est du silence | Plus de 40% | Documentation Avaya Aura 10.2.x (recommandations du fournisseur) |
| État par défaut de la suppression de silence dans Avaya Communication Manager | Désactivée, sauf pour G.729B où elle est intégrée | Documentation Avaya Aura 10.2.x (recommandations du fournisseur) |
| Débit de base de l’ITU-T G.729 ; rôle de l’Annex B | 8 kbit/s ; l’Annex B ajoute le VAD, la DTX et le bruit de confort, réglés pour les circuits, avec les Appendices II et III pour la VoIP | Résumé de l’ITU-T Rec. G.729 (06/2012) |
| Intervalle de mise à jour du bruit de confort du codec EVS : par défaut / plage à débit fixe / plage adaptative | Toutes les 8 trames / 1 à 100 trames / 8 à 50 trames | 3GPP TS 26.449, génération du bruit de confort EVS |
Contexte : la présentation de l’EVS par le 3GPP indique que la DTX réduit le débit moyen requis, « conduisant à une transmission plus efficace avec une charge réduite et donc une capacité accrue », mais ne donne aucun pourcentage unique (présentation du 3GPP TS 26.441). Le résumé de l’ITU-T G.729 date de juin 2012 ; il reste le texte disponible le plus récent pour cette famille de codecs.
7. Dégâts en aval : comment les erreurs de VAD se propagent à l’ASR et à la diarisation
Une erreur de VAD est rarement l’erreur finale. Une fausse alarme donne du bruit à transcrire au système de reconnaissance vocale ; une omission supprime des mots qu’aucune étape ultérieure ne peut récupérer. Le résultat contrôlé le plus net vient de l’Université AGH de Cracovie : sur de la parole Common Voice complétée de sons non vocaux à 9 dB de SNR, le taux d’erreur sur les mots de Whisper était de 68,3% avec le WebRTC VAD en amont et de 8,0% avec Silero VAD (Barański et al., arXiv 2025). Le seul choix du détecteur a fait varier l’erreur d’un facteur d’environ huit. Des taux supérieurs à 100% sont possibles ici, car les mots inventés comptent comme des insertions. Nos statistiques sur les hallucinations de la reconnaissance vocale traitent en profondeur le côté reconnaissance de cet échec.
Un bon VAD apporte aussi de la vitesse et de la précision temporelle. WhisperX utilise le VAD de pyannote pour découper l’audio en segments ne contenant que de la parole et les traiter par lots, ce qui l’a rendu 11,8 fois plus rapide que Whisper seul et a amélioré la précision de l’horodatage des mots sur les réunions AMI (Bain et al., WhisperX, arXiv 2023). Côté diarisation, un banc d’essai 2025 de l’ETH Zurich sur 196,6 heures a constaté que « la parole manquée constitue le cas d’échec dominant pour tous les modèles de diarisation » (Lanzendörfer et al., arXiv 2025) ; nos statistiques sur le taux d’erreur de diarisation des locuteurs suivent le budget d’erreur complet.
| Métrique | Valeur | Source |
|---|---|---|
| Taux d’erreur sur les mots de Whisper sur de la parole précédée ou suivie de sons non vocaux, WebRTC VAD contre Silero VAD | 68,3% contre 8,0% | Barański et al., arXiv 2025 |
| Même comparaison lorsque le bruit chevauche la parole, WebRTC VAD contre Silero VAD | 75,4% contre 10,8% | Barański et al., arXiv 2025 |
| Vitesse de transcription avec traitement par lots fondé sur le VAD, WhisperX contre Whisper | 11,8x contre 1,0x | Bain et al., WhisperX, arXiv 2023 |
| Précision / rappel de l’horodatage des mots sur les réunions AMI (marge de tolérance de 200 ms), WhisperX contre Whisper | 84,1 / 60,3 contre 78,9 / 52,1 | Bain et al., WhisperX, arXiv 2023 |
| Temps non vocal moyen par enregistrement, locuteurs aphasiques contre locuteurs témoins (mesuré avec pyannote, confirmé avec Silero) | 6,8 s contre 1,3 s (p < 2,2e-16) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Temps non vocal moyen, enregistrements où Whisper a halluciné contre enregistrements où il n’a pas halluciné | 5,3 s contre 3,5 s | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Difficulté supplémentaire de diarisation lorsque les systèmes doivent trouver eux-mêmes la parole (Piste 2) plutôt que de recevoir les régions de parole de référence (Piste 1) | « De l’ordre de 5% » pour le DER comme pour le JER | Article du Third DIHARD Diarization Challenge, arXiv 2020 |
| Périmètre du banc d’essai de diarisation derrière le constat sur la parole manquée | 196,6 heures, 4 jeux de données, 5 langues | Lanzendörfer et al., ETH Zurich, arXiv 2025 |
Note sur les valeurs atypiques : le même tableau de Cracovie montre que le VAD est nécessaire mais non suffisant. Silero VAD associé à une étape de suppression des boucles et à une liste d’expressions hallucinées connues a fait mieux que Silero seul (6,5% contre 8,0% de taux d’erreur sur les mots sur de l’audio sans chevauchement). Données disponibles les plus récentes pour WhisperX : 2023.
Résumé : la détection d’activité vocale en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| Fonction de coût de détection d’activité vocale du NIST | 0,75 x taux d’omission + 0,25 x taux de fausses alarmes | NIST IR 8242, projet pilote OpenSAT 2017 |
| Référence DIHARD III, ensemble central d’évaluation : omissions / fausses alarmes | 4,97% / 15,07% | Article du Third DIHARD Diarization Challenge, arXiv 2020 |
| Coût de détection Fearless Steps Phase-3, référence contre meilleur système (évaluation) | 15,16% contre 1,47% | Joglekar et al., Interspeech 2021 |
| Marge de tolérance de notation de Fearless Steps, Phase-3 contre Phase-2 | 0,25 s contre 0,5 s | Joglekar et al., Interspeech 2021 |
| DIHARD 3 fausses alarmes / omissions, pyannote 2.0 | 3,9% / 3,3% | Bredin et Laurent, arXiv 2021 |
| DIHARD 3 fausses alarmes / omissions, Silero VAD (version 2021) | 17,0% / 4,0% | Bredin et Laurent, arXiv 2021 |
| Extraits de bruit ESC-50 correctement rejetés, WebRTC contre Silero v6 | 0 contre 0,87 | Wiki Silero VAD Quality Metrics (affirmation du projet) |
| MCC avec des fenêtres de 50 ms, WebRTC contre Silero | 0,41 contre 0,72 | McKinnon et al., Google, arXiv 2026 |
| AUC moyenne à 0 dB de SNR, WebRTC contre MagicNet | 0,691 contre 0,956 | Jia et al., arXiv 2024 |
| Taux de vrais positifs du ResNet d’AVA-Speech, parole propre contre parole avec musique | 0,992 contre 0,787 | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Précision sur la parole bruitée MS-SNSD, référence contre Huawei VAD avec prétraitement | 15,9% contre 89,9% | Jafarzadeh Asl et al., arXiv 2025 |
| Latence par décision, WebRTC contre ResNet-960 | 0,06 ms contre 265 ms | Chaudhuri et al., AVA-Speech, Interspeech 2018 |
| Économie de bande passante du VAD en moyenne sur plus de 24 appels | Jusqu’à 35 pour cent | Cisco, Per Call Bandwidth Consumption (recommandations du fournisseur) |
| Part de la transmission d’une conversation qui est du silence | Plus de 40% | Documentation Avaya Aura 10.2.x (recommandations du fournisseur) |
| Intervalle de mise à jour du bruit de confort EVS par défaut | Toutes les 8 trames | 3GPP TS 26.449 |
| Taux d’erreur sur les mots de Whisper derrière le WebRTC VAD contre derrière Silero VAD | 68,3% contre 8,0% | Barański et al., arXiv 2025 |
| Accélération de WhisperX grâce au traitement par lots fondé sur le VAD | 11,8x | Bain et al., WhisperX, arXiv 2023 |
Méthodologie et sources
- NIST IR 8242, rapport d’évaluation du projet pilote OpenSAT 2017 : fonction de coût, marge de tolérance, participation.
- Page de la série d’évaluations NIST OpenSAT : années d’évaluation, domaines et statut du programme.
- Article du Third DIHARD Diarization Challenge (arXiv 2012.01477) : taux d’omissions et de fausses alarmes de la détection d’activité vocale de référence, tailles des jeux de données, constats sur la Piste 1 et la Piste 2.
- Joglekar et al., Fearless Steps Challenge Phase-3, Interspeech 2021 : résultats de coût de détection sur l’audio Apollo et marges de tolérance.
- Ghahabi et Fischer, EML online SAD for Fearless Steps Phase-III, arXiv 2021 : intervalle de décision et facteur temps réel.
- Bredin et Laurent, End-to-end speaker segmentation for overlap-aware resegmentation, arXiv 2021 : taux de fausses alarmes et d’omissions sur AMI, DIHARD 3 et VoxConverse.
- Wiki Silero VAD Quality Metrics, README de Silero VAD et versions de Silero VAD : précision, vitesse et affirmations de versions rapportées par le projet.
- McKinnon et al., Window Size Versus Accuracy Experiments in Voice Activity Detectors, Google, arXiv 2026 : comparaison du MCC de RMS, WebRTC et Silero.
- Documentation de py-webrtcvad : tailles de trame, modes et fréquences d’échantillonnage du WebRTC VAD.
- Chaudhuri et al., AVA-Speech, Interspeech 2018 : parts d’étiquettes, SNR estimé, taux de vrais positifs par condition et latence.
- Jia et al., A Real-Time Voice Activity Detection Based on Lightweight Neural Network, arXiv 2024 : F1 à 0 dB, AUC, paramètres et facteur temps réel.
- Jafarzadeh Asl et al., Tiny Noise-Robust Voice Activity Detector for Voice Assistants, Huawei, arXiv 2025 : compromis de précision entre parole bruitée et non-vocal.
- Kulakayeva et al., Robust Neural Network-Based VAD under Low SNR, ETASR 2025 : plage de SNR et seuil de robustesse.
- Sharma et al., Empirical review of VAD for movies and TV shows, Neurocomputing 2022 : bruit d’étiquetage et constats sur la taille des modèles.
- Ding et al., Personal VAD, Google, arXiv 2019 : précision, taille et cadence de trame du VAD du locuteur cible.
- Cisco, Voice Over IP Per Call Bandwidth Consumption : recommandations sur les économies du VAD et bande passante par appel.
- Avaya Aura 10.2.x, Silence suppression or voice activity detection : part de silence et valeurs par défaut.
- Résumé de l’ITU-T Rec. G.729 (06/2012), 3GPP TS 26.449 EVS comfort noise generation et présentation du 3GPP TS 26.441 EVS : mécanique de la DTX et du bruit de confort (texte du 3GPP lu via le miroir iTecSpec).
- Barański et al., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, arXiv 2025 : taux d’erreur sur les mots derrière le WebRTC VAD contre Silero.
- Bain et al., WhisperX, arXiv 2023 : accélération et résultats d’horodatage des mots obtenus par traitement par lots fondé sur le VAD.
- Wang et al., Calm-Whisper, arXiv 2025 : vérification indépendante de la précision de Silero v5 sur ESC-50.
- Koenecke et al., Careless Whisper, ACM FAccT 2024 : temps non vocal et hallucination.
- Lanzendörfer et al., Benchmarking Diarization Models, ETH Zurich, arXiv 2025 : la parole manquée comme principal échec de la diarisation.
- Note sur les données : une grande partie de la base de bancs d’essai a plus de trois ans (OpenSAT 2017, AVA-Speech 2018, Personal VAD 2019, DIHARD III 2020 à 2021, Fearless Steps Phase-3 2021, WhisperX 2023), car aucun défi public de détection d’activité vocale n’a eu lieu depuis ; considérez-les comme les données disponibles les plus récentes. La ligne de référence DIHARD 3 de l’article de pyannote (4,0% de fausses alarmes, 4,2% d’omissions) ne correspond pas aux chiffres d’évaluation de l’article DIHARD III lui-même (15,07% et 4,97% sur l’ensemble central), probablement en raison d’un découpage ou d’une configuration différents, c’est pourquoi nous citons chacun uniquement avec sa propre source. Le modèle Silero du tableau pyannote de 2021 est antérieur à Silero v5 et v6. L’article de Google de 2026 donne à Silero une fenêtre native de 16 ms alors que le README de Silero parle de segments de plus de 30 ms. AVA-Speech se décrit à la fois comme « 45 heures » et « environ 46 heures ». L’article sur Personal VAD ne précise pas complètement si les modèles testés sur du bruit ont été entraînés différemment. Les chiffres de Silero, Cisco et Avaya sont les affirmations ou recommandations propres à leurs éditeurs. Les 35 pour cent de Cisco sont un chiffre de planification en cas moyen, et non la mesure d’un réseau particulier.
- Dernière mise à jour : 31 octobre 2026. Nous actualisons ce tour d’horizon chaque trimestre, et la prochaine révision est attendue lors de la publication des articles d’ICASSP 2027 et lorsque le projet Silero VAD mettra à jour sa page Quality Metrics.