Cinq systèmes commerciaux de reconnaissance vocale affichent un taux d’erreur de mots (WER) moyen de 0,35 pour les locuteurs noirs contre 0,19 pour les locuteurs blancs (Stanford, Koenecke et al., PNAS 2020), et une étude publiée en 2026 trouve encore un WER moyen de 20% contre 15% sur quatre systèmes commerciaux (University of Washington, Scott et al., LREC 2026). Les benchmarks masquent l’écart : Whisper large obtient 2,7% sur LibriSpeech test-clean et 19,7% sur un corpus d’accents anglais internationaux (University of Edinburgh, article EdAcc 2023). Pour les locuteurs atteints de dysarthrie liée à la maladie de Parkinson, un système qui fait 3,4% d’erreurs sur la parole typique en fait 36,3% (Speech Accessibility Project, JSLHR 2024). Nous avons agrégé des données issues de PNAS, de l’article OpenAI sur Whisper, du jeu de données Fair-Speech de Meta, du Speech Accessibility Project, de Mozilla Common Voice et de plus d’une douzaine d’autres sources évaluées par des pairs, en conservant la notation propre à chaque source (certaines expriment le WER sous forme de fraction comme 0,35, la plupart en pourcentage comme 19,7%). La même métrique sous-tend les règles de précision des sous-titres en direct, ce qui explique pourquoi quelques points de WER comptent bien au-delà du laboratoire.
TL;DR
- Cinq systèmes ASR commerciaux affichent un WER moyen de 0,35 pour les locuteurs noirs contre 0,19 pour les locuteurs blancs, et 23% contre 1,6% des extraits étaient inutilisables avec un WER supérieur à 0,5 (Stanford, Koenecke et al., PNAS 2020).
- Quatre systèmes commerciaux affichent un WER moyen de 20% pour les locuteurs afro-américains contre 15% pour les locuteurs américains blancs, soit une hausse relative de 33% (University of Washington, Scott et al., LREC 2026).
- Whisper large obtient 2,7% de WER sur LibriSpeech test-clean et 19,7% sur l’ensemble de test d’anglais accentué EdAcc (University of Edinburgh, article EdAcc 2023).
- Whisper-large-v2 a obtenu 9,52 pour les locuteurs noirs ou afro-américains contre 3,96 pour les locuteurs blancs sur des commandes vocales (Meta, Fair-Speech Dataset 2024).
- Un système de reconnaissance néerlandais a atteint 55,9% de WER sur de la parole lue non native contre 26,1% pour les locuteurs natifs (TU Delft, Feng et al., Quantifying Bias in ASR 2021).
- La parole dysarthrique a fait passer un WER de référence de 3,4% à 36,3%, et l’ajustement fin l’a ramené à 23,7% (Speech Accessibility Project, JSLHR 2024).
- Le meilleur système de l’Interspeech 2025 Speech Accessibility Project Challenge a atteint 8,11% de WER contre 17,82% pour la référence whisper-large-v2 (Zheng et al., Interspeech 2025).
- Six systèmes ASR affichent un WER moyen de 0,281 sur la parole bègue contre 0,105 une fois les disfluences supprimées (Mujtaba et al., NAACL 2024).
- Common Voice Scripted Speech v27.0 compte 29 295 heures validées dans 295 langues, pour un total mondial de plus de 7 000 langues (Mozilla Common Voice 2026 ; Pratap et al., article MMS 2023).
- AWS General Transcribe a affiché un WER médian de 50% pour les patients noirs en soins à domicile contre 33% pour les patients blancs, P = 0,016 (Zolnoori et al., JAMIA Open 2024).
- Des sténographes judiciaires certifiés à 95% de précision ont atteint en moyenne 82,9% de précision au niveau des mots sur l’anglais afro-américain (Jones et al., Language 2019).
- 93% des participants afro-américains d’une étude par journal de bord de deux semaines ont modifié leur dialecte pour être compris par la technologie vocale (Mengesha et al., Frontiers in Artificial Intelligence 2021).
1. Écarts raciaux et dialectaux dans l’ASR commercial et ouvert
Le chiffre de référence a six ans et n’a pas été écarté par de meilleures preuves. Dans l’audit PNAS d’Amazon, Apple, Google, IBM et Microsoft, le WER moyen était de 0,35 pour les locuteurs noirs et de 0,19 pour les locuteurs blancs, soit un écart de 0,16 (0,35 moins 0,19), mesuré sur 19,8 heures d’audio provenant de 73 locuteurs noirs et 42 locuteurs blancs appariés selon l’âge et le genre. Les auteurs ont situé le problème dans les modèles acoustiques, car l’écart persistait sur des phrases identiques : Microsoft, le meilleur système, obtenait 0,13 contre 0,07 sur des énoncés appariés. Données les plus récentes disponibles pour un audit de cinq fournisseurs : Koenecke et al., PNAS 2020.
Les preuves plus récentes, tirées de corpus différents, montrent des taux d’erreur globalement plus bas et un écart qui ne s’est pas refermé. Une équipe de la University of Washington rapporte une hausse relative de 33% pour les locuteurs afro-américains sur quatre systèmes commerciaux, et le jeu de données de commandes vocales de Meta montre Whisper-large-v2 à 9,52 pour les locuteurs noirs ou afro-américains contre 3,96 pour les locuteurs blancs. L’équipe de Washington relie ses erreurs aux variations de qualité vocalique entre dialectes, ce qui rejoint le diagnostic sur les modèles acoustiques posé en 2020.
| Métrique | Valeur | Source |
|---|---|---|
| WER moyen, locuteurs noirs contre blancs, cinq systèmes commerciaux | 0,35 contre 0,19 | Stanford (Koenecke et al.), PNAS 2020 |
| Meilleur et pire fournisseur, locuteurs noirs contre blancs | Microsoft 0,27 contre 0,15 ; Apple 0,45 contre 0,23 | Stanford (Koenecke et al.), PNAS 2020 |
| Extraits avec un WER supérieur à 0,5 (transcriptions inutilisables) | 23% des extraits des locuteurs noirs contre 1,6% de ceux des locuteurs blancs | Stanford (Koenecke et al.), PNAS 2020 |
| WER moyen, locuteurs afro-américains contre américains blancs, quatre systèmes commerciaux | 20% contre 15% (hausse relative de 33%) | University of Washington (Scott et al.), LREC 2026 |
| WER moyen, locuteurs ChicanX et Yakama, mêmes quatre systèmes | 23% et 21% | University of Washington (Scott et al.), LREC 2026 |
| WER, locuteurs noirs ou afro-américains contre blancs, Whisper-large-v2 et Whisper-small | 9,52 contre 3,96 ; 16,99 contre 4,51 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| Écart relatif de WER entre groupes ethniques, Whisper-large-v2 contre le modèle vidéo semi-supervisé de Meta | 61,13% contre 31,04% | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
Contexte : l’évaluation de Washington a utilisé 16 locuteurs (quatre par groupe) et reflète les performances des systèmes en 2022, même si l’article est paru dans les actes de LREC 2026. Fair-Speech couvre 593 locuteurs américains et environ 26,5 mille énoncés, et ses auteurs indiquent que, pour les modèles Whisper, l’écart relatif dépasse 40% sur toutes les dimensions qu’ils ont mesurées.
2. WER des benchmarks contre parole en conditions réelles
Le benchmark de référence porte sur de la parole lue propre, pas sur de la conversation. L’article sur Whisper le démontre avec son propre tableau : le même modèle qui obtient 2,7 sur LibriSpeech Clean obtient 25,5 sur CHiME6 et 16,2 sur CORAAL, le corpus d’entretiens en anglais afro-américain. Whisper large passe de 2,7% de WER sur LibriSpeech test-clean à 19,7% sur EdAcc, un ensemble de conversations en visioconférence entre amis comptant plus de 40 accents anglais déclarés par les locuteurs eux-mêmes.
Et c’est pourtant le modèle robuste. Un système wav2vec 2.0 affichant 2,9 sur LibriSpeech a atteint 36,1% sur ces mêmes conversations accentuées. Le style d’élocution suffit à lui seul à faire bouger l’aiguille : un système de reconnaissance néerlandais affichait en moyenne 36,2% de WER sur de la parole lue et 47,5% sur de la parole d’interaction homme-machine issue du même panel de locuteurs (TU Delft, Feng et al., Quantifying Bias in ASR 2021).
| Métrique | Valeur | Source |
|---|---|---|
| WER de Whisper Large V2, LibriSpeech Clean | 2,7 | OpenAI (Radford et al.), article Whisper 2022 |
| WER de Whisper Large V2, CHiME6 et CORAAL | 25,5 et 16,2 | OpenAI (Radford et al.), article Whisper 2022 |
| WER moyen sur les jeux de données du tableau 2 de l’article, wav2vec 2.0 Large contre Whisper Large V2 | 29,3 contre 12,8 (réduction relative moyenne de l’erreur de 55,2%) | OpenAI (Radford et al.), article Whisper 2022 |
| WER de Whisper large, EdAcc test contre LibriSpeech test-clean | 19,7% contre 2,7% | University of Edinburgh (Sanabria et al.), article EdAcc 2023 |
| WER de wav2vec 2.0 et d’un système commercial, EdAcc test contre LibriSpeech test-clean | 36,1 contre 2,9 ; 18,7 contre 3,8 | University of Edinburgh (Sanabria et al.), article EdAcc 2023 |
| Meilleur WER moyen, piste anglaise de format court ; Whisper Large v3 sur la même piste | 5,42 ; 7,44 | Article Open ASR Leaderboard (Srivastav et al.), v4 mars 2026 |
| Systèmes évalués | 86 systèmes de 26 organisations sur 12 jeux de données ; 74 en open source | Article Open ASR Leaderboard (Srivastav et al.), v4 mars 2026 |
Contexte : l’Open ASR Leaderboard rapporte des moyennes sur des jeux de test sélectionnés, et les tableaux que nous avons consultés ne comportent aucune ventilation démographique des locuteurs ; une moyenne de 5,42 ne dit donc rien de ceux qui se trouvent dans la queue de distribution. Le chiffre CORAAL est ce qui se rapproche le plus, dans l’article sur Whisper, d’une valeur propre à un dialecte : Whisper a ramené l’erreur de wav2vec 2.0 sur ce corpus de 35,6 à 16,2, ce qui représente encore six fois le score sur LibriSpeech Clean (16,2 divisé par 2,7).
3. Accents non natifs et régionaux
Les écarts d’accent sont mesurés surtout sur l’anglais, et surtout avec des corpus petits ou auto-sélectionnés. L’audit le plus large que nous ayons trouvé, portant sur 2 713 locuteurs de la Speech Accent Archive nés dans 171 pays, n’utilise pas du tout le WER : il rapporte l’information de mots perdue (WIL, word information lost) et la trouve inférieure de 0,14 pour les locuteurs dont la langue maternelle est l’anglais (P<0,001). Sur l’anglais accentué panafricain, Whisper-large a enregistré un WER de 0,240 sur la parole générale et de 0,375 sur la parole clinique, et les trois systèmes cloud commerciaux testés étaient moins bons.
Les accents régionaux d’une langue maternelle suivent le même schéma. Dans les sous-titres automatiques de YouTube, 80 locuteurs répartis sur cinq régions dialectales (Californie, Géorgie, Nouvelle-Angleterre, Nouvelle-Zélande et Écosse) ont montré une reconnaissance nettement moins bonne pour les locuteurs écossais (University of Washington, Tatman, ACL Ethics in NLP Workshop 2017). En néerlandais, des adolescents flamands lisant à voix haute ont été reconnus avec 40,5% de WER par un modèle entraîné sur le néerlandais des Pays-Bas. Ces erreurs se cumulent en aval, car une phrase source mal reconnue est l’entrée de chaque chaîne de traduction parole-parole.
| Métrique | Valeur | Source |
|---|---|---|
| Taille du corpus EdAcc | Près de 40 heures, plus de 40 accents déclarés, 51 langues maternelles | University of Edinburgh (Sanabria et al.), article EdAcc 2023 |
| Écart de WIL, locuteurs de langue maternelle anglaise contre autre langue, tous services | 0,14 de moins pour les locuteurs de langue maternelle anglaise (P<0,001) ; 2 713 locuteurs, 212 langues maternelles | DiChristofano et al., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| Écart de WIL par service | Google 0,17 ; Amazon 0,14 ; Microsoft 0,11 | DiChristofano et al., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| WER de Whisper-large sur l’anglais panafricain, domaine général contre clinique | 0,240 contre 0,375 | Olatunji et al., AfriSpeech-200, TACL 2023 |
| WER des systèmes cloud commerciaux sur l’anglais panafricain, les deux domaines | Azure 0,391 ; AWS 0,442 ; GCP 0,578 | Olatunji et al., AfriSpeech-200, TACL 2023 |
| WER de Whisper-medium sur l’anglais panafricain, pré-entraîné contre ajusté sur AfriSpeech | 0,332 contre 0,216 | Olatunji et al., AfriSpeech-200, TACL 2023 |
| WER de l’ASR néerlandais sur la parole lue, locuteurs non natifs contre natifs | 55,9% contre 26,1% | TU Delft (Feng et al.), Quantifying Bias in ASR 2021 |
| WER de l’ASR néerlandais sur la parole lue, adolescents flamands contre adolescents de quatre régions des Pays-Bas | 40,5% contre 19,3%, 22,9%, 16,8% et 17,9% | TU Delft (Feng et al.), Quantifying Bias in ASR 2021 |
Cas atypique : le statut non natif ne prédit pas toujours de moins bons résultats. Sur les commandes vocales de Fair-Speech, Whisper-large-v2 a obtenu 3,78 pour les locuteurs de langue seconde et 6,11 pour les locuteurs de langue maternelle (Meta, Fair-Speech Dataset 2024), ce qui rappelle que les écarts entre groupes sont des propriétés d’un jeu de données et d’une tâche, pas des constantes. Dans les données néerlandaises, l’erreur n’a pas diminué avec l’amélioration du niveau des apprenants adultes : 57,2, 56,5 et 57,0 aux niveaux CECR A1, A2 et B1. Données les plus récentes disponibles : les transcriptions de l’archive d’accents ont été réalisées en 2021, et AfriSpeech-200 (200,70 heures, 2 463 locuteurs, 120 accents, 13 pays) a été publié en 2023.
4. Écarts de genre, d’âge et de revenu
Aucun axe démographique n’a de direction fixe, et c’est précisément le constat. Les sous-titres YouTube étaient moins bons pour les femmes en 2017. Les systèmes commerciaux étaient moins bons pour les hommes en 2020. Whisper-large-v2 a obtenu 7,91 pour les locuteurs masculins contre 3,86 pour les locutrices sur Fair-Speech, soit environ le double (7,91 divisé par 3,86 donne 2,05). Un système audité sur un jeu de données peut sembler équitable en matière de genre et échouer sur un autre.
L’âge se comporte de la même façon. Le groupe Fair-Speech affichant l’erreur la plus élevée n’était pas le plus âgé mais la tranche des 31 à 45 ans, alors qu’en néerlandais le groupe natif le moins bien reconnu était celui des enfants. La parole des enfants est un point faible récurrent : Whisper-Small partait de 13,93% de WER sur le jeu de test MyST de parole d’enfants avant toute adaptation (Kid-Whisper, 2024).
| Métrique | Valeur | Source |
|---|---|---|
| WER moyen sur cinq systèmes commerciaux, hommes noirs contre femmes noires ; hommes blancs contre femmes blanches | 0,41 contre 0,30 ; 0,21 contre 0,17 | Stanford (Koenecke et al.), PNAS 2020 |
| WER de Whisper-large-v2, locuteurs masculins contre féminins | 7,91 contre 3,86 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER de Whisper-large-v2 par tranche d’âge, 18-22, 23-30, 31-45, 46-65 | 4,46, 4,62, 7,48, 3,65 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER de Whisper-large-v2 par revenu du foyer, faible, moyen, aisé | 5,4, 6,38, 3,62 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER des sous-titres YouTube, femmes contre hommes | Plus élevé pour les femmes (t(78) = -3,5, p < 0,01), 80 locuteurs | University of Washington (Tatman), ACL Ethics in NLP Workshop 2017 |
| WER de l’ASR néerlandais sur la parole lue, enfants natifs, adolescents, adultes âgés | 35,3%, 18,4%, 24,2% | TU Delft (Feng et al.), Quantifying Bias in ASR 2021 |
| WER de Whisper sur la parole d’enfants MyST, avant contre après ajustement fin | Small 13,93% à 9,11% ; Medium 13,23% à 8,61% | Attia et al., Kid-Whisper 2024 |
Contexte : les tranches de revenu de Fair-Speech sont faible (50k USD ou moins), moyen (de 50k à 100k USD) et aisé (100k USD et plus), et la tranche aisée est le plus petit groupe du jeu de données (41 locuteurs dans le tableau de l’article). Données les plus récentes disponibles sur les écarts de genre dans les sous-titres : Tatman 2017, mesurées sur une tâche de liste de mots isolés que l’autrice décrit comme particulièrement difficile pour l’ASR.
5. Parole atypique, dysarthrique et disfluente
Ici, les écarts se comptent en ordres de grandeur, pas en quelques points. Dans le premier lot de données du Speech Accessibility Project, un système de référence affichant 3,4% de WER pour les locuteurs typiques a transcrit les locuteurs atteints de dysarthrie liée à la maladie de Parkinson avec 36,3%. L’ajustement fin sur 190 locuteurs d’entraînement l’a ramené à 23,7%, et deux des 42 locuteurs de test sont restés à 67,10% et 93,08%.
Ce sont les données, pas l’architecture, qui font bouger ces chiffres. L’Interspeech 2025 Speech Accessibility Project Challenge a fourni aux équipes environ 415 heures issues de 524 participants, et 12 équipes sur 22 ont battu la référence whisper-large-v2 ; les cinq meilleurs modèles ont obtenu en moyenne 10,06% de WER pour la maladie de Parkinson et 7,36% pour la SLA, contre 17,09% et 16,88% pour la référence. La personnalisation va encore plus loin : le Project Euphonia de Google a rapporté 4,6% de WER pour des modèles personnalisés sur des phrases courtes. Les pauses créent un mode de défaillance distinct, puisque Whisper a halluciné du texte dans 1,7% des segments de locuteurs atteints d’aphasie contre 1,2% pour un groupe témoin (Koenecke et al., Careless Whisper, FAccT 2024).
| Métrique | Valeur | Source |
|---|---|---|
| WER de référence, locuteurs typiques contre dysarthrie liée à la maladie de Parkinson ; après ajustement fin | 3,4% contre 36,3% ; 23,7% | Speech Accessibility Project (Hasegawa-Johnson et al.), JSLHR 2024 |
| Référence Whisper-large-v2 contre meilleure équipe, jeu Test2 du challenge | 17,82% contre 8,11% de WER (meilleur SemScore 88,44%) | Zheng et al., Interspeech 2025 Speech Accessibility Project Challenge |
| Données et participation du challenge | Environ 415 heures, 524 participants, cinq étiologies ; 12 équipes sur 22 ont battu la référence en WER | Zheng et al., Interspeech 2025 Speech Accessibility Project Challenge |
| Modèles personnalisés contre indépendants du locuteur, 432 locuteurs avec parole altérée | 4,6% contre 31% de WER | Google Research (Green et al.), Interspeech 2021 |
| WER médian sur des phrases de domotique, parole gravement altérée, avant contre après personnalisation | Environ 89% à 13% | Google Research, blog Project Euphonia 2021 |
| Corpus Project Euphonia (en août 2021) | Plus d’un million d’énoncés, plus de 1 400 heures, 1 330 locuteurs | Google Research, blog Project Euphonia 2021 |
| WER moyen sur six systèmes ASR, parole bègue contre disfluences supprimées | 0,281 contre 0,105 | Mujtaba et al., Lost in Transcription, NAACL 2024 |
| WER de la reconnaissance vocale pour les personnes qui bégaient, avant contre après modifications du système (91 participants enregistrés) | 25,4% à 9,9% ; énoncés coupés 79,1% moins souvent | Lea et al., CHI 2023 |
Contexte : la maladie de Parkinson représente 73,4% du corpus d’entraînement du challenge en durée, de sorte que les 8,11% affichés décrivent surtout une seule étiologie ; le syndrome de Down, la paralysie cérébrale et l’AVC n’ont pas été rapportés séparément en raison du faible nombre de tests. Dans l’étude sur le bégaiement, Whisper était le plus précis des six systèmes et est quand même passé de 0,063 à 0,121. Données les plus récentes disponibles sur la précision des modèles personnalisés : Green et al., Interspeech 2021.
6. Langues à faibles ressources et couverture des jeux de données
L’erreur suit presque mécaniquement les heures d’entraînement. Les auteurs de Whisper rapportent une corrélation au carré de 0,83 entre le logarithme du WER et le logarithme des heures d’entraînement par langue, et estiment que le WER est divisé par deux à chaque multiplication par 16 des données d’entraînement. Sur les 680 000 heures d’entraînement de Whisper, 117 000 couvrent 96 langues autres que l’anglais, et l’article note que la plupart des langues disposent de moins de 1 000 heures.
La couverture s’est étendue plus vite que les preuves de précision. L’article MMS situait le monde à plus de 7 000 langues, dont environ 100 prises en charge par la technologie vocale, et Omnilingual ASR en revendique désormais plus de 1 600. Le benchmark multilingue de référence, FLEURS, couvre 102 langues avec environ 12 heures de supervision chacune (Conneau et al., FLEURS 2022), si bien que la plupart des langues nouvellement ajoutées n’ont aucun étalon public partagé. Nous suivons plus en détail la couverture côté modèles dans nos statistiques sur les modèles de fondation vocaux multilingues.
| Métrique | Valeur | Source |
|---|---|---|
| Données d’entraînement de Whisper | 680 000 heures au total ; 117 000 heures couvrant 96 langues autres que l’anglais | OpenAI (Radford et al.), article Whisper 2022 |
| Relation entre heures d’entraînement par langue et WER | Corrélation au carré de 0,83 ; le WER est divisé par deux à chaque multiplication par 16 des données | OpenAI (Radford et al.), article Whisper 2022 |
| Langues du monde contre langues prises en charge par la technologie vocale | Plus de 7 000 contre environ 100 | Pratap et al., article MMS (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Couverture et précision de MMS | ASR pour 1 107 langues ; WER plus que divisé par deux par rapport à Whisper sur 54 langues FLEURS | Pratap et al., article MMS (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Couverture d’Omnilingual ASR | Plus de 1 600 langues, dont plus de 500 jamais desservies auparavant par l’ASR | Équipe Omnilingual ASR, arXiv 2511.09690, 2025 |
| Données de pré-entraînement de Google USM | 12 millions d’heures d’audio non étiqueté couvrant plus de 300 langues ; jeu étiqueté d’une taille égale à 1/7 de celui de Whisper | Article Google USM (Zhang et al.) 2023 |
| Common Voice Scripted Speech v27.0 | 295 langues ; 42 593 heures au total ; 29 295 heures validées | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Répartition par genre de Common Voice v27.0, anglais et allemand | Anglais 0,4318 hommes, 0,1776 femmes, 0,3894 non déclaré ; allemand 0,5786 hommes, 0,0818 femmes | Mozilla Common Voice, cv-dataset v27.0 2026 |
Cas atypique : dans les statistiques de Common Voice v27.0, le catalan compte plus d’audio enregistré que l’anglais (3 940,31 heures au total contre 3 795,9), tandis que la plus petite langue que nous avons consultée contient 25 clips de 2 utilisateurs. C’est l’effort des bénévoles, et non la population de locuteurs, qui décide quelles langues obtiennent des données. Le jeu de données de parole spontanée, plus proche de l’usage réel, est bien plus petit : 541 heures au total dans 80 langues à la v5.0.
7. Conséquences dans les tribunaux, les cliniques, le recrutement et les assistants vocaux
Les enjeux augmentent là où une transcription devient un document officiel. Les humains offrent une base de comparaison médiocre : des sténographes judiciaires certifiés à 95% de précision ont atteint en moyenne 82,9% de précision au niveau des mots et 59,5% au niveau des phrases sur l’anglais afro-américain, et leurs transcriptions ont modifié le qui, le quoi, le quand ou le où dans 31% des cas (Jones et al., Language 2019). Nos statistiques sur la précision de la reconnaissance vocale au tribunal couvrent les projets pilotes automatisés qui héritent de ce problème.
Les preuves cliniques sont récentes et reposent sur de petits échantillons. Dans des visites de soins à domicile enregistrées, deux systèmes Amazon ont chacun montré un écart de WER médian de 17 points entre patients noirs et blancs (50 moins 33, et 54 moins 37), tandis que Whisper était aussi médiocre pour les deux groupes. Le recrutement est le seul cadre à produire un résultat rassurant : un biais de transcription est apparu dans presque toutes les comparaisons, et les auteurs ont constaté qu’il ne se répercutait pas sur les scores d’entretien. Le coût rapporté par les utilisateurs est comportemental, puisque presque tous les participants d’une étude par journal de bord de deux semaines ont changé leur façon de parler.
| Métrique | Valeur | Source |
|---|---|---|
| Précision des sténographes judiciaires sur l’anglais afro-américain, niveau des mots contre niveau des phrases (norme de certification 95%) | 82,9% contre 59,5% | Jones et al., Testifying While Black, Language 2019 |
| Transcriptions ayant modifié le qui, le quoi, le quand ou le où | 31% ; 27 sténographes judiciaires, 9 locuteurs, 83 phrases | Jones et al., Testifying While Black, Language 2019 |
| WER médian, patients noirs contre blancs en soins à domicile, AWS General et AWS Medical | 50% contre 33% (P = 0,016) ; 54% contre 37% (P = 0,0012) | Zolnoori et al., JAMIA Open 2024 |
| WER médian, patients noirs contre blancs, Whisper large-v3 | 75% contre 72% (P = 0,66) ; 35 patients | Zolnoori et al., JAMIA Open 2024 |
| Taux d’erreur dans les notes cliniques dictées : brouillon de reconnaissance vocale, après transcripteur, note signée | 7,4%, 0,4%, 0,3% ; 217 notes | Zhou et al., JAMA Network Open 2018 |
| Transcriptions Whisper contenant du texte halluciné ; part des hallucinations comportant des préjudices explicites | 1,4% de 13 140 segments ; 38% | Koenecke et al., Careless Whisper, FAccT 2024 |
| Entretiens vidéo simulés transcrits par quatre méthodes ASR et un humain | N = 1 014 et N = 414 ; biais ASR significatif dans presque toutes les comparaisons, aucun biais de mesure significatif dans les scores | Hickman et al., Journal of Applied Psychology 2025 |
| Utilisateurs afro-américains de la technologie vocale ayant modifié leur dialecte pour être compris | 93% (n = 28 sur 30) ; 77% ont déclaré de la frustration face aux erreurs | Mengesha et al., Frontiers in Artificial Intelligence 2021 |
Contexte : l’étude sur les sténographes judiciaires mesure des transcripteurs humains, pas des logiciels, et l’étude sur la dictée clinique constitue les données les plus récentes disponibles sur les taux d’erreur des notes signées (Zhou et al., JAMA Network Open 2018). Les expériences d’hallucination ont été menées en 2023 ; les auteurs ont constaté que 19% des 312 transcriptions hallucinées impliquaient de la violence, 13% des associations inexactes et 8% une fausse autorité, et qu’il n’y avait pas d’hallucinations comparables lorsque les segments concernés étaient repassés dans les systèmes d’autres fournisseurs (Careless Whisper). Le résultat sur le recrutement (Hickman et al.) provient d’entretiens simulés, pas de décisions de sélection réelles.
Résumé : biais d’accent et taux d’erreur de mots en reconnaissance vocale en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| WER moyen, locuteurs noirs contre blancs, cinq systèmes commerciaux | 0,35 contre 0,19 | Stanford (Koenecke et al.), PNAS 2020 |
| WER moyen, locuteurs afro-américains contre américains blancs, quatre systèmes commerciaux | 20% contre 15% | University of Washington (Scott et al.), LREC 2026 |
| WER de Whisper-large-v2, locuteurs noirs ou afro-américains contre blancs | 9,52 contre 3,96 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER de Whisper-large-v2, locuteurs masculins contre féminins | 7,91 contre 3,86 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER de Whisper large, anglais accentué EdAcc contre LibriSpeech test-clean | 19,7% contre 2,7% | University of Edinburgh (Sanabria et al.), article EdAcc 2023 |
| WER de Whisper Large V2, CORAAL contre LibriSpeech Clean | 16,2 contre 2,7 | OpenAI (Radford et al.), article Whisper 2022 |
| Meilleur WER moyen, piste anglaise de format court de l’Open ASR Leaderboard | 5,42 sur 86 systèmes évalués | Article Open ASR Leaderboard (Srivastav et al.), v4 mars 2026 |
| WER de Whisper-large sur l’anglais panafricain, général contre clinique | 0,240 contre 0,375 | Olatunji et al., AfriSpeech-200, TACL 2023 |
| Écart de WIL, locuteurs de langue maternelle anglaise contre autre langue | 0,14 (P<0,001) | DiChristofano et al., arXiv 2023 |
| WER de l’ASR néerlandais sur la parole lue, locuteurs non natifs contre natifs | 55,9% contre 26,1% | TU Delft (Feng et al.), Quantifying Bias in ASR 2021 |
| WER de référence, parole typique contre parole dysarthrique liée à la maladie de Parkinson | 3,4% contre 36,3% | Speech Accessibility Project (Hasegawa-Johnson et al.), JSLHR 2024 |
| Référence Whisper-large-v2 contre meilleur système du challenge sur la parole dysarthrique | 17,82% contre 8,11% | Zheng et al., Interspeech 2025 Speech Accessibility Project Challenge |
| WER personnalisé contre indépendant du locuteur, parole altérée | 4,6% contre 31% | Google Research (Green et al.), Interspeech 2021 |
| WER moyen sur six systèmes, versions bègues contre fluides | 0,281 contre 0,105 | Mujtaba et al., Lost in Transcription, NAACL 2024 |
| Heures d’entraînement de Whisper, total contre hors anglais | 680 000 contre 117 000 (96 langues) | OpenAI (Radford et al.), article Whisper 2022 |
| Common Voice Scripted Speech v27.0 | 295 langues, 29 295 heures validées | Mozilla Common Voice, cv-dataset v27.0 2026 |
| WER médian, patients noirs contre blancs en soins à domicile, AWS General | 50% contre 33% (P = 0,016) | Zolnoori et al., JAMIA Open 2024 |
| Précision au niveau des mots des sténographes judiciaires sur l’anglais afro-américain contre norme de certification | 82,9% contre 95% | Jones et al., Testifying While Black, Language 2019 |
| Utilisateurs de la technologie vocale ayant modifié leur dialecte | 93% (n = 28 sur 30) | Mengesha et al., Frontiers in Artificial Intelligence 2021 |
Méthodologie et sources
Nous avons effectué 23 recherches et lu l’article source, la page du jeu de données ou la notice de la revue pour chaque chiffre ci-dessus. Le WER est rapporté dans la notation propre à chaque source : fractions pour Koenecke et al., AfriSpeech-200 et Mujtaba et al., pourcentages ailleurs. Les chiffres de plus de trois ans sont signalés dans les sections comme données les plus récentes disponibles.
- Koenecke et al., Racial disparities in automated speech recognition, PNAS 2020
- Scott, Liang, Wassink et Levow, A Sociophonetic Analysis of Racial Bias in Commercial ASR Systems Using the Pacific Northwest English Corpus, LREC 2026
- Veliche et al. (Meta), Towards measuring fairness in speech recognition: Fair-Speech dataset, 2024
- Radford et al. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022
- Sanabria et al. (University of Edinburgh), The Edinburgh International Accents of English Corpus, ICASSP 2023
- Srivastav et al., article Open ASR Leaderboard, v4 mars 2026
- DiChristofano, Shuster, Chandra et Patwari, Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition, 2023
- Olatunji et al., AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR, TACL 2023
- Feng, Kudina, Halpern et Scharenborg (TU Delft), Quantifying Bias in Automatic Speech Recognition, 2021
- Tatman (University of Washington), Gender and Dialect Bias in YouTube’s Automatic Captions, ACL Ethics in NLP Workshop 2017
- Attia et al., Kid-Whisper, 2024
- Hasegawa-Johnson et al., Community-Supported Shared Infrastructure in Support of Speech Accessibility, JSLHR 2024
- Zheng et al., The Interspeech 2025 Speech Accessibility Project Challenge
- Green et al. (Google Research), Automatic Speech Recognition of Disordered Speech, Interspeech 2021 et le blog sur le jeu de données Project Euphonia, 2021
- Mujtaba et al., Lost in Transcription, NAACL 2024
- Lea et al., From User Perceptions to Technical Improvement: Enabling People Who Stutter to Better Use Speech Recognition, CHI 2023
- Koenecke et al., Careless Whisper: Speech-to-Text Hallucination Harms, FAccT 2024
- Pratap et al., Scaling Speech Technology to 1,000+ Languages (MMS), 2023 ; Omnilingual ASR, 2025 ; Google USM, 2023 ; FLEURS, 2022
- Mozilla Common Voice, dépôt cv-dataset et statistiques v27.0, 2026
- Jones, Kalbfeld, Hancock et Clark, Testifying While Black, Language 95(2), 2019
- Zolnoori et al., Decoding disparities, JAMIA Open 2024
- Zhou et al., Analysis of Errors in Dictated Clinical Documents Assisted by Speech Recognition Software and Professional Transcriptionists, JAMA Network Open 2018
- Hickman, Langer, Saef et Tay, Automated speech recognition bias in personnel selection, Journal of Applied Psychology 2025
- Mengesha et al., Impact of Automated Speech Recognition Errors on African Americans, Frontiers in Artificial Intelligence 2021
- Veille sur les données : plusieurs sources se contredisent elles-mêmes ou mesurent des choses différentes. Le texte de l’article sur Whisper donne un WER de 2,5 sur LibriSpeech clean alors que son tableau 2 indique 2,7 (nous utilisons le tableau). Le résumé de Careless Whisper indique qu’environ 1% des transcriptions étaient hallucinées et sa section de résultats 1,4% (nous retenons 1,4%), et ses auteurs précisent que les expériences datent de 2023. Les 36,3% et 23,7% du résumé du Speech Accessibility Project correspondent aux lignes d’invites non partagées de l’article ; sur l’ensemble des invites de test, le chiffre après ajustement fin est de 18,72%. Le texte de Fair-Speech mentionne 50 locuteurs dans la tranche de revenu supérieure alors que son tableau en indique 41. DiChristofano et al. rapportent l’information de mots perdue, pas le WER, de sorte que leurs écarts ne sont pas comparables aux autres lignes. L’évaluation de Scott et al. a été menée en 2022 sur 16 locuteurs et publiée en 2026. L’Open ASR Leaderboard évolue en permanence : la version d’octobre 2025 de l’article listait 64 modèles avec un meilleur WER moyen de 5,63, la version de mars 2026 86 systèmes et 5,42. Les totaux d’heures de Common Voice proviennent des données du graphique de versions du dépôt, et les proportions par genre de son fichier de statistiques v27.0. Pour Testifying While Black, la page de la revue est protégée par un contrôle d’accès, si bien que les chiffres ont été lus dans le résumé publié par l’auteur principal ; ce résumé donne deux chiffres différents de compréhension de paraphrases, que nous avons donc écartés. Nous n’avons pas pu vérifier une affirmation largement répétée sur le WER d’un fournisseur de recrutement pour les locuteurs non natifs et l’avons supprimée.
Dernière mise à jour : 11 octobre 2026. Nous actualisons ce tour d’horizon chaque trimestre, et la prochaine révision est attendue lorsque Mozilla publiera Common Voice Scripted Speech v28.0.