Sur le benchmark téléphonique CALLHOME, le même système de diarisation de bout en bout qui obtient 8,50% de DER sur des appels à deux locuteurs en obtient 40,29% sur des appels à six locuteurs (Horiguchi et al., EEND-EDA, Interspeech 2020). La diarisation du locuteur est l’étape du « qui a parlé quand » : elle découpe un enregistrement en segments et étiquette chacun avec un locuteur, avant ou en parallèle de la transcription. Sur des benchmarks soigneusement constitués, elle a progressé rapidement, l’erreur médiane de DIHARD Track 1 passant de plus de 30% dans DIHARD I à moins de 20% dans DIHARD III (Ryant et al., Third DIHARD Challenge 2021), mais l’audio de dîner entre amis a tout de même produit un DER de référence de 62,0% dans CHiME-6 (Watanabe et al., présentation du challenge CHiME-6 2020). Nous avons rassemblé des données issues des organisateurs des challenges DIHARD et VoxSRC, des challenges CHiME-6, NOTSOFAR-1 et DISPLACE, du benchmark de diarisation 2025 de l’ETH Zurich, de la Brno University of Technology, des fiches de modèles du projet pyannote et d’études cliniques évaluées par des pairs. Pour le volet au niveau des mots du même pipeline, consultez notre synthèse sur le biais d’accent en reconnaissance vocale et le taux d’erreur de mots.
Une précision pour lire chaque chiffre ci-dessous : le DER (taux d’erreur de diarisation) est meilleur quand il est plus bas, et il n’est comparable que si deux résultats partagent le même benchmark, la même marge de tolérance (« collar », une courte fenêtre non évaluée autour de chaque changement de locuteur) et la même règle sur la parole superposée. Chaque tableau indique la configuration lorsque la source la précise.
TL;DR
- Le DER sur CALLHOME passe de 8,50% avec 2 locuteurs à 40,29% avec 6 locuteurs pour le même système (Horiguchi et al., Interspeech 2020).
- Le DER médian de DIHARD Track 1 est passé de plus de 30% (DIHARD I) à 25% (DIHARD II), puis à moins de 20% (DIHARD III) (Ryant et al., Third DIHARD Challenge 2021).
- Les vainqueurs de VoxSRC ont obtenu 3,71% de DER en 2020 et 4,30% en 2023 sur de l’audio YouTube, soit environ la moitié de la référence chaque année (Huh et al., rétrospective VoxSRC, IEEE TASLP 2024).
- Supprimer la marge de tolérance de 0,25 s fait passer le DER sur AMI de 9,8% à 15,4% pour le même système (Han et al., Brno University of Technology 2024).
- Plus de 33% des erreurs sur les données de réunions NIST à un seul microphone se situent à moins de 0,5 s d’un changement de locuteur (Knox, UC Berkeley 2013).
- En moyenne, 12% à 15% de la parole des enregistrements de réunions est superposée (Park et al., Computer Speech and Language 2022).
- Les dialogues médecin-patient ont obtenu en moyenne 33,38% de DER contre 15,18% pour les conversations générales sur huit systèmes (Okocha et al., 2025).
- La référence CHiME-6 sur les dîners entre amis a obtenu 62,0% de DER sur l’ensemble d’évaluation (Watanabe et al., présentation CHiME-6 2020).
- Le meilleur système de réunion de NOTSOFAR-1 a ramené le taux d’erreur de mots attribué aux locuteurs à 10,8% depuis une référence de 28,3% (Abramovski et al., synthèse NOTSOFAR-1 2025).
- Le modèle le plus rapide d’un benchmark de 2025 a traité l’audio 214,3 fois plus vite que le temps réel (Lanzendoerfer et al., ETH Zurich 2025).
1. Ce que mesure le DER, et pourquoi la configuration de notation fait bouger le chiffre
Le DER additionne trois types de durée et divise par la quantité totale de parole de référence : la parole manquée (quelqu’un a parlé, le système a entendu du silence), la fausse alarme (le système a marqué de la parole là où il n’y en avait pas) et la confusion de locuteurs (la parole a été détectée mais attribuée à la mauvaise personne). La fiche du modèle pyannote 3.1 montre clairement l’arithmétique : sur l’audio casque d’AMI, son DER de 18,8% se décompose en 3,6% de fausses alarmes, plus 9,5% de parole manquée, plus 5,7% de confusion.
Le piège le plus important est la marge de tolérance. Depuis les évaluations NIST Rich Transcription, la plupart des articles ignorent 0,25 s de chaque côté de chaque frontière de référence, car les annotateurs humains s’accordent rarement sur la milliseconde exacte où un tour de parole commence. Ce seul choix supprime 5,6 points, soit 36% du chiffre sans marge de tolérance : le même système de la Brno University of Technology obtient 15,4% sur AMI sans marge de tolérance et 9,8% avec (Han et al., 2024). La zone pardonnée est précisément celle où les systèmes échouent le plus, puisqu’un tiers ou plus de toutes les erreurs se situent à moins d’une demi-seconde d’un changement de locuteur (Knox, rapport technique de UC Berkeley 2013).
| Métrique | Valeur | Source |
|---|---|---|
| Marge de tolérance standard non évaluée autour de chaque frontière de segment de référence (notation de type RT) | 0,25 s, décrite comme le schéma le plus répandu | Park et al., Computer Speech and Language 2022 |
| Règle de notation de DIHARD et CHiME-6 | Pas de marge de tolérance, parole superposée notée | Park et al., Computer Speech and Language 2022 |
| DER sur AMI, système BUT basé sur WavLM, sans marge de tolérance contre marge de 0,25 s | 15,4% contre 9,8% | Han et al., Brno University of Technology 2024 |
| DER sur AliMeeting, même système, sans marge de tolérance contre marge de 0,25 s | 17,6% contre 10,2% | Han et al., Brno University of Technology 2024 |
| DER sur AMI, référence pyannote 3, sans marge de tolérance contre marge de 0,25 s | 21,1% contre 13,7% | Han et al., Brno University of Technology 2024 |
| Part des erreurs à moins de 0,5 s d’un changement de locuteur, réunions NIST RT-09, un seul contre plusieurs microphones distants | Plus de 33% contre 40% | Knox, UC Berkeley 2013 |
| DER sur AMI en mixage casque, pyannote 3.1, décomposé en fausse alarme + parole manquée + confusion | 18,8% = 3,6% + 9,5% + 5,7% (annoncé par le projet) | pyannote, fiche du modèle speaker-diarization-3.1 |
Contexte : l’analyse d’erreurs de Berkeley est la donnée disponible la plus récente sur la position des erreurs (Knox, UC Berkeley 2013). Le benchmark 2025 de l’ETH va dans le même sens : la parole manquée était le type d’erreur dominant pour la plupart des modèles, et les auteurs attribuent les segments manqués, d’environ 350 ms en moyenne, au calage du début et de la fin plutôt qu’à des énoncés entiers non entendus (Lanzendoerfer et al., Benchmarking Diarization Models 2025).
2. L’état de l’art par benchmark, et la vitesse de baisse du DER
Le progrès est réel, mais il est propre à chaque benchmark. Dans DIHARD, un mélange volontairement difficile de 11 domaines, le DER médian de Track 1 est passé de plus de 30% à moins de 20% en trois éditions (Ryant et al., The Third DIHARD Diarization Challenge 2021). Track 1 fournit aux systèmes les vraies zones de parole ; Track 2 leur demande de trouver la parole eux-mêmes, ce qui explique des valeurs plus élevées.
Sur l’audio YouTube de type diffusion, les vainqueurs de VoxSRC se situent autour de 4%, soit environ la moitié de la référence des organisateurs chaque année (Huh et al., The VoxCeleb Speaker Recognition Challenge: A Retrospective, IEEE TASLP 2024). Les vainqueurs de 2020 et de 2023 ne forment toutefois pas une série temporelle : l’ensemble de test est passé de 232 à 413 fichiers, si bien qu’un chiffre 2023 légèrement plus élevé ne signifie pas que le domaine a reculé.
| Métrique | Valeur | Source |
|---|---|---|
| DER médian de DIHARD Track 1 (vraies zones de parole fournies), DIHARD I contre II contre III | Plus de 30% contre 25% contre moins de 20% | Ryant et al., Third DIHARD Challenge 2021 |
| DER médian de DIHARD Track 2 (le système détecte lui-même la parole), DIHARD I contre III | 40% contre moins de 25% | Ryant et al., Third DIHARD Challenge 2021 |
| Vainqueur de DIHARD III (USTC-NELSLIP), ensemble d’évaluation principal, Track 1 contre Track 2 | 13,45% contre 19,37% (sans marge de tolérance, parole superposée notée) | Résultats du challenge DIHARD III |
| Piste de diarisation VoxSRC, ensemble de test 2020, vainqueur contre référence | 3,71% contre 8,15% (marge de 0,25 s, parole superposée notée) | Huh et al., rétrospective VoxSRC 2024 |
| Piste de diarisation VoxSRC, ensemble de test 2023, vainqueur contre référence | 4,30% contre 8,54% (marge de 0,25 s, parole superposée notée) | Huh et al., rétrospective VoxSRC 2024 |
| DER sur CALLHOME, tous appels, EEND-EDA de bout en bout contre regroupement par x-vectors | 15,29% contre 19,43% (marge de 0,25 s) | Horiguchi et al., Interspeech 2020 |
| DER moyen du système ICSI sur les réunions NIST RT-09, un seul microphone distant | 31,3% | Sinclair et King, University of Edinburgh 2013 |
Contexte : le DER du vainqueur de DIHARD III sur l’ensemble d’évaluation complet était de 11,3% sur Track 1 et de 16,78% sur Track 2, contre une référence de 20,65% et 27,34% sur l’ensemble principal (résultats du challenge DIHARD III). Le chiffre RT-09 est la donnée disponible la plus récente pour cette évaluation (Sinclair et King, Where are the challenges in speaker diarization? 2013) ; il provient de données différentes et d’une autre époque que DIHARD, et ne doit donc pas être lu comme une comparaison directe avant-après.
3. Parole superposée et nombre de locuteurs : les deux plus grands facteurs de DER
La superposition n’est pas un cas marginal. En moyenne, 12% à 15% de la parole des enregistrements de réunions est superposée, et la revue qui a rassemblé ce chiffre note qu’il peut encore augmenter dans la conversation courante (Park et al., A Review of Speaker Diarization, Computer Speech and Language 2022). Les anciens pipelines de regroupement attribuent exactement un locuteur à chaque instant ; dans une superposition de deux personnes, au moins la moitié du temps noté est donc faux avant même toute autre erreur.
Le nombre de locuteurs aggrave le problème. Sur CALLHOME, le même modèle EEND-EDA passe de 8,50% de DER sur des appels à deux locuteurs à 40,29% sur des appels à six locuteurs (Horiguchi et al., EEND-EDA, Interspeech 2020), et les modèles dotés d’une limite stricte de locuteurs paient deux fois : la famille Sortformer, plafonnée à quatre locuteurs, a montré davantage de confusion de locuteurs sur les enregistrements chargés dans le benchmark de l’ETH. La captation multimicrophone aide, comme le montrent les résultats de réunions NOTSOFAR-1 de la section 5, un schéma également visible dans nos données sur la formation de faisceaux en champ lointain et la précision de détection du mot d’activation.
| Métrique | Valeur | Source |
|---|---|---|
| Part moyenne de parole superposée dans les enregistrements de réunions | 12% à 15% | Park et al., Computer Speech and Language 2022 |
| Part moyenne de superposition : AliMeeting contre AMI contre CALLHOME contre VoxConverse | 19% contre 15,94% contre 12,58% contre 3,52% | Lanzendoerfer et al., ETH Zurich 2025 |
| DER sur CALLHOME, EEND-EDA, appels à 2 contre 3 contre 4 locuteurs | 8,50% contre 13,24% contre 21,46% | Horiguchi et al., Interspeech 2020 |
| DER sur CALLHOME, EEND-EDA, appels à 5 contre 6 locuteurs | 33,16% contre 40,29% | Horiguchi et al., Interspeech 2020 |
| DER sur CALLHOME, regroupement par x-vectors, appels à 2 contre 6 locuteurs | 15,45% contre 34,27% | Horiguchi et al., Interspeech 2020 |
| DER sur des enregistrements à 4 locuteurs : Sortformer (plafond de 4 locuteurs) contre DiariZen | 21,3% contre 12,7% (marge de 0,25 s, parole superposée notée) | Lanzendoerfer et al., ETH Zurich 2025 |
| Nombre moyen de locuteurs par enregistrement, ensemble de test VoxSRC 2020 | 6,5 locuteurs sur une durée moyenne de 675,6 s | Huh et al., rétrospective VoxSRC 2024 |
Contexte : le nombre de locuteurs seul ne détermine pas le score. Dans le benchmark de l’ETH, le meilleur système a obtenu 6,6% sur les enregistrements de 5 locuteurs ou plus mais 10,1% sur ceux à 4 locuteurs, ce qui rappelle que la superposition et les conditions d’enregistrement comptent autant que le nombre de personnes. Les résultats de CALLHOME à 5 et 6 locuteurs reposent aussi sur peu de fichiers : les auteurs d’EEND-EDA notent que CALLHOME ne compte que dix enregistrements de plus de quatre locuteurs.
4. Écarts entre domaines : audio clinique, enfants, multilingue et en conditions réelles
Un modèle réglé sur des réunions et des appels téléphoniques ne transpose pas sa précision à une clinique, à un foyer familial ou à une vidéo en ligne. Sur huit systèmes de diarisation, les dialogues médecin-patient ont obtenu en moyenne 33,38% de DER contre 15,18% pour les conversations générales, un écart de 18,20 points de pourcentage (test t apparié p < 10⁻⁴), et les fausses alarmes expliquent l’essentiel de la pénalité clinique (Okocha et al., Domain-Aware Speaker Diarization on African-Accented English 2025). Le réglage fin sur de la parole accentuée a divisé par deux l’erreur d’un modèle ouvert, mais l’écart clinique s’est réduit sans disparaître.
Les enfants constituent une frontière à part. Dans l’étude BabyHuBERT, les enregistrements d’une journée entière centrés sur l’enfant sont notés par type de locuteur (enfant clé, autres enfants, hommes adultes, femmes adultes) avec un score F1, où une valeur plus élevée est meilleure, et le meilleur modèle de 2026 reste en dessous d’un second annotateur humain (Charlot et al., BabyHuBERT 2026). DIHARD III avait signalé la même faiblesse, en citant les enfants dans les entretiens cliniques comme un défi particulier.
| Métrique | Valeur | Source |
|---|---|---|
| DER médian de DIHARD III Track 1, domaines réunion, vidéo web et restaurant | 35% à 45% | Ryant et al., Third DIHARD Challenge 2021 |
| DER de DIHARD III, entretiens cliniques et parole téléphonique, Track 1 contre Track 2 | Généralement 10% à 20% contre 15% à 25% | Ryant et al., Third DIHARD Challenge 2021 |
| DER moyen sur 8 systèmes, dialogues médecin-patient contre dialogues généraux en anglais à accent africain | 33,38% contre 15,18% (sans marge de tolérance, parole superposée notée) | Okocha et al., 2025 |
| DER de pyannote avant contre après réglage fin sur de la parole à accent africain, dialogues médicaux | 31,46% contre 15,73% | Okocha et al., 2025 |
| Enregistrements centrés sur l’enfant, F1 moyen par type de locuteur : LENA contre BabyHuBERT-VTC contre second annotateur humain | 40,8% contre 65,1% contre 69,8% (plus élevé = meilleur) | Charlot et al., BabyHuBERT 2026 |
| DER sur les benchmarks vidéo en conditions réelles (in-the-wild) Ego4D (dev) et AVA-AVD, pyannote community-1 | 46,8% et 44,6% (annoncé par le projet, sans marge de tolérance) | pyannote, fiche du modèle community-1 2025 |
| DER par langue sur les jeux de données du benchmark de l’ETH, meilleur système (pyannoteAI), espagnol contre anglais | 14,3% contre 6,6% | Lanzendoerfer et al., ETH Zurich 2025 |
| Conversations multilingues indiennes (DISPLACE), DER de la meilleure équipe sur les mêmes données d’évaluation, 2023 contre 2024 | 27,8% contre 21,27% | Kalluri et al., Second DISPLACE Challenge 2024 |
Contexte : les données DISPLACE couvrent 9 langues indiennes plus l’anglais indien, avec 3 à 5 participants par session (Kalluri et al., The Second DISPLACE Challenge 2024). Les auteurs de l’ETH relient l’écart entre langues à la rareté des données pour certaines langues et désignent l’espagnol comme la plus difficile des cinq testées.
5. Déploiements réels : réunions, centres d’appels et cliniques
En production, les erreurs de diarisation apparaissent sous forme de lignes de transcription attribuées à la mauvaise personne, ce qui explique que les études sur les réunions et la médecine rapportent souvent des métriques au niveau des mots. Deux figurent ci-dessous : tcpWER, un taux d’erreur de mots qui compte aussi les mots attribués au mauvais locuteur dans une fenêtre temporelle, et WDER, la part des mots dotés d’une mauvaise étiquette de locuteur. L’un des contextes les plus difficiles jamais évalués est le dîner entre amis : la référence CHiME-6 a obtenu 62,0% de DER sur son ensemble d’évaluation, et les organisateurs attribuent environ 15% en valeur absolue de l’écart de taux d’erreur de mots entre leurs pistes principalement à la diarisation (Watanabe et al., présentation du challenge CHiME-6 2020).
Les réunions de bureau sont plus abordables. Dans NOTSOFAR-1, construit à partir de 315 vraies réunions de 4 à 8 participants chacune dans 30 environnements, le meilleur système multicanal a atteint 10,8% de tcpWER (Abramovski et al., Summary of the NOTSOFAR-1 Challenge, Computer Speech and Language 2025). La transcription juridique a ses propres enjeux d’étiquetage des locuteurs, traités dans nos statistiques de précision de la transcription vocale en salle d’audience, et les erreurs de texte qui se superposent aux erreurs de locuteur sont traitées dans nos données sur les hallucinations de la reconnaissance vocale.
| Métrique | Valeur | Source |
|---|---|---|
| DER de référence CHiME-6 sur les dîners entre amis, ensemble de développement contre ensemble d’évaluation | 61,6% contre 62,0% | Watanabe et al., présentation CHiME-6 2020 |
| Écart de taux d’erreur de mots CHiME-6 entre pistes, attribué principalement à la diarisation | Environ 15% en valeur absolue | Watanabe et al., présentation CHiME-6 2020 |
| Transcription de réunions NOTSOFAR-1, tcpWER du meilleur système contre la référence, multicanal | 10,8% contre 28,3% | Abramovski et al., synthèse NOTSOFAR-1 2025 |
| Transcription de réunions NOTSOFAR-1, tcpWER du meilleur système contre la référence, monocanal | 22,2% contre 41,4% | Abramovski et al., synthèse NOTSOFAR-1 2025 |
| DER téléphonique sur CALLHOME, community-1 ouvert contre precision-2 commercial | 26,7% contre 16,6% (annoncé par l’éditeur, sans marge de tolérance) | pyannote, fiche du modèle community-1 2025 |
| WDER sur quatre modèles vocaux commerciaux, 36 conversations en soins primaires | 1,8% à 13,9% | Tran et al., AMIA Annual Symposium 2022 |
| WDER sur des conversations médecin-patient, pipeline conventionnel contre modèle conjoint de reconnaissance et de diarisation | 15,8% contre 2,2% | El Shafey et al., Interspeech 2019 |
Contexte : les enregistrements de soins primaires ont été rejoués par deux locuteurs natifs anglophones dans un studio calme ; les auteurs décrivent donc leurs chiffres comme une probable borne supérieure de la performance en clinique réelle (Tran et al., AMIA Annual Symposium Proceedings 2022). Le résultat du modèle conjoint est la donnée disponible la plus récente, issue d’un corpus non public (El Shafey et al., Interspeech 2019). Le chiffre de precision-2 est l’affirmation propre à l’éditeur pour son modèle commercial.
6. Vitesse, modèles ouverts et échelle de la recherche
La précision n’est que la moitié d’une décision de déploiement. Le système le plus rapide du benchmark de l’ETH a tourné 214,3 fois plus vite que le temps réel, soit plus de dix fois la vitesse du modèle ouvert DiariZen, qui a tourné à 20,2 fois le temps réel et obtenu 13,3% de DER au global (Lanzendoerfer et al., ETH Zurich 2025). Ce compromis pèse bien plus lourd pour le sous-titrage en direct que pour un traitement par lots nocturne.
Les modèles ouverts sont très utilisés. Les pipelines pyannote affichent des millions de téléchargements mensuels, et le propre benchmark de septembre 2025 du projet annonce un DER plus bas pour sa version ouverte actuelle que pour l’ancienne sur la plupart des jeux de données, avec son offre commerciale devant les deux (pyannote, fiche du modèle speaker-diarization-community-1). Considérez ces scores comme annoncés par le projet : ils sont obtenus par la même équipe que celle qui publie les modèles.
| Métrique | Valeur | Source |
|---|---|---|
| Facteur temps réel (real-time factor ; durée de l’audio divisée par le temps de traitement), Sortformer v2 contre Sortformer v2 en flux continu | 214,3x contre 209,5x | Lanzendoerfer et al., ETH Zurich 2025 |
| Facteur temps réel, pyannote ouvert contre DiariZen | 45,0x contre 20,2x | Lanzendoerfer et al., ETH Zurich 2025 |
| DER global sur le benchmark de l’ETH, pyannoteAI contre DiariZen | 11,2% contre 13,3% (marge de 0,25 s, parole superposée notée) | Lanzendoerfer et al., ETH Zurich 2025 |
| DER sur DIHARD 3 full, pyannote 3.1 contre community-1 contre precision-2 | 21,4% contre 20,2% contre 14,7% (annoncé par le projet et l’éditeur, sans marge de tolérance) | pyannote, fiche du modèle community-1 2025 |
| Téléchargements mensuels sur Hugging Face, pyannote speaker-diarization-3.1 contre community-1 | 6 886 119 contre 5 051 937 (consulté en octobre 2026) | Pages de modèles Hugging Face |
| Données d’entraînement simulées NOTSOFAR-1 fournies aux participants | Environ 1 000 heures | Abramovski et al., synthèse NOTSOFAR-1 2025 |
| Taille du corpus de réunions AMI | 100 heures, environ deux tiers de réunions de conception jouées | University of Edinburgh, AMI Meeting Corpus |
Contexte : le corpus de réunions AMI, qui reste un benchmark de diarisation de référence, enregistre en synchronisation des microphones de proximité et de champ lointain (University of Edinburgh, AMI Meeting Corpus). Le benchmark de l’ETH n’a pas pu mesurer la vitesse de pyannoteAI, faute d’un accès autre que l’API.
Résumé : le taux d’erreur de diarisation en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| DER sur CALLHOME, EEND-EDA, 2 contre 6 locuteurs (marge de 0,25 s) | 8,50% contre 40,29% | Horiguchi et al., Interspeech 2020 |
| DER sur CALLHOME, EEND-EDA contre regroupement par x-vectors, tous appels | 15,29% contre 19,43% | Horiguchi et al., Interspeech 2020 |
| DER médian de DIHARD Track 1, DIHARD I contre III | Plus de 30% contre moins de 20% | Ryant et al., Third DIHARD Challenge 2021 |
| Vainqueur de DIHARD III, ensemble d’évaluation principal, Track 1 contre Track 2 | 13,45% contre 19,37% | Résultats du challenge DIHARD III |
| Vainqueur de VoxSRC contre référence, ensemble de test 2023 | 4,30% contre 8,54% | Huh et al., rétrospective VoxSRC 2024 |
| DER sur AMI, même système, sans marge de tolérance contre marge de 0,25 s | 15,4% contre 9,8% | Han et al., Brno University of Technology 2024 |
| Erreurs à moins de 0,5 s d’un changement de locuteur, NIST RT-09, un seul microphone distant | Plus de 33% | Knox, UC Berkeley 2013 |
| DER du système ICSI, NIST RT-09, un seul microphone distant | 31,3% | Sinclair et King, University of Edinburgh 2013 |
| Part de parole superposée dans les enregistrements de réunions | 12% à 15% | Park et al., Computer Speech and Language 2022 |
| Part de superposition, AliMeeting contre AMI | 19% contre 15,94% | Lanzendoerfer et al., ETH Zurich 2025 |
| DER des dialogues médecin-patient contre dialogues généraux, moyenne sur 8 systèmes | 33,38% contre 15,18% | Okocha et al., 2025 |
| Enregistrements centrés sur l’enfant, F1 moyen, meilleur modèle contre second annotateur humain | 65,1% contre 69,8% | Charlot et al., BabyHuBERT 2026 |
| DER de la meilleure équipe DISPLACE, 2023 contre 2024 | 27,8% contre 21,27% | Kalluri et al., Second DISPLACE Challenge 2024 |
| DER de référence CHiME-6 sur les dîners entre amis, ensemble d’évaluation | 62,0% | Watanabe et al., présentation CHiME-6 2020 |
| tcpWER NOTSOFAR-1 du meilleur système contre la référence, multicanal | 10,8% contre 28,3% | Abramovski et al., synthèse NOTSOFAR-1 2025 |
| Plage de WDER, quatre modèles vocaux commerciaux, soins primaires | 1,8% à 13,9% | Tran et al., AMIA Annual Symposium 2022 |
| Téléchargements mensuels de pyannote 3.1 sur Hugging Face | 6 886 119 | Hugging Face, page du modèle pyannote speaker-diarization-3.1 |
Méthodologie et sources
- Ryant et al., The Third DIHARD Diarization Challenge (2021) : 11 domaines, médianes sur les éditions de DIHARD, plages par domaine, notation sans marge de tolérance et avec parole superposée.
- Résultats du challenge DIHARD III : classement officiel Track 1 et Track 2, ensembles d’évaluation principal et complet.
- Huh et al., The VoxCeleb Speaker Recognition Challenge: A Retrospective (IEEE TASLP 2024) : vainqueurs et références de la piste de diarisation, marge de 0,25 s avec parole superposée notée.
- Horiguchi et al., End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors (Interspeech 2020) : DER sur CALLHOME selon le nombre de locuteurs.
- Han et al., Leveraging Self-Supervised Learning for Speaker Diarization (Brno University of Technology, 2024) : résultats avec marge de 0 s contre 0,25 s sur AMI, AISHELL-4 et AliMeeting.
- Lanzendoerfer et al., Benchmarking Diarization Models (ETH Zurich, 2025) : environ 196,6 heures réparties sur CALLHOME, VoxConverse, AMI et AliMeeting ; parts de superposition, DER par langue et par nombre de locuteurs, vitesse.
- Park et al., A Review of Speaker Diarization: Recent Advances with Deep Learning (Computer Speech and Language, 2022) : conventions de marge de tolérance et part de superposition en réunion.
- Knox, Speaker Diarization: Current Limitations and New Directions (rapport technique de UC Berkeley, 2013) : position des erreurs par rapport aux changements de locuteur sur NIST RT-09.
- Sinclair et King, Where are the challenges in speaker diarization? (University of Edinburgh, 2013) : DER sur les réunions RT-09.
- Watanabe et al., présentation du challenge CHiME-6 (2020) : DER de référence sur les dîners entre amis et part de la diarisation dans l’écart de taux d’erreur de mots.
- Abramovski et al., Summary of the NOTSOFAR-1 Challenge (Computer Speech and Language, 2025) : jeu de données de réunions et résultats de tcpWER.
- Kalluri et al., The Second DISPLACE Challenge (2024) : résultats de diarisation de conversations multilingues.
- Okocha et al., Domain-Aware Speaker Diarization on African-Accented English (2025) : DER clinique contre général sur huit systèmes.
- Charlot et al., BabyHuBERT (2026) : segmentation des locuteurs dans de longs enregistrements centrés sur l’enfant.
- Tran et al., Automatic speech recognition performance for digital scribes (AMIA Annual Symposium Proceedings, 2022) : WDER dans des conversations de soins primaires.
- El Shafey et al., Joint Speech Recognition and Speaker Diarization via Sequence Transduction (Interspeech 2019) : WDER sur des conversations médecin-patient.
- pyannote, fiche du modèle speaker-diarization-3.1 et pyannote, fiche du modèle speaker-diarization-community-1 : DER annoncé par le projet (sans marge de tolérance, parole superposée notée), nombres de téléchargements ; les chiffres de precision-2 sont les affirmations propres à l’éditeur pour un modèle commercial.
- University of Edinburgh, AMI Meeting Corpus : taille du corpus et dispositif d’enregistrement.
- Note sur les données : les valeurs de DER ne sont comparables qu’au sein d’un même benchmark et d’une même configuration de notation ; VoxSRC utilise une marge de tolérance de 0,25 s alors que DIHARD, les fiches de modèles pyannote et l’étude clinique à accent africain n’en utilisent aucune, il ne faut donc pas comparer un 4,30% de VoxSRC à un 13,45% de DIHARD. La fiche du modèle pyannote 3.1 indique 21,7% sur DIHARD 3 full alors que la fiche community-1, plus récente, indique 21,4% pour le même pipeline historique, un petit écart dû à des mises à jour d’évaluation ; nous utilisons le tableau de community-1 pour les comparaisons de versions. Les lignes 2021 et 2022 de la rétrospective VoxSRC sont incohérentes entre son tableau et son texte, nous ne rapportons donc que 2020 et 2023. Le tableau d’erreurs par composante de l’étude clinique à accent africain ne s’additionne pas exactement au DER médical annoncé, nous ne citons donc que les moyennes principales. La synthèse NOTSOFAR-1 étiquette de façon incohérente ses meilleurs résultats monocanal et multicanal dans un tableau ; nous suivons le texte, dont l’amélioration relative de 51% correspond aux chiffres ci-dessus. Les nombres de téléchargements Hugging Face sont un instantané mensuel glissant et changent chaque jour. Les chiffres de Berkeley, d’Edinburgh, de CHiME-6, de DIHARD III, d’EEND-EDA, d’Interspeech 2019 et d’AMIA 2022 sont les données disponibles les plus récentes pour leurs mesures spécifiques.
- Dernière mise à jour : 27 octobre 2026. Nous actualisons cette synthèse chaque trimestre, et la prochaine actualisation est attendue lors de la publication des articles de synthèse du challenge Interspeech 2026 et de la prochaine mise à jour des benchmarks des fiches de modèles pyannote.