L’ajout de la vidéo des lèvres du locuteur a fait passer le taux d’erreur sur les mots d’un système de reconnaissance de 88,9% à 24,2% sous un fort bruit blanc à -7,5 dB (Ma et al., Auto-AVSR, ICASSP 2023). Les lèvres seules restent bien plus faibles que l’audio : un lecteur labial de 2025 affiche 18,7% de WER sur le benchmark de conférences TED LRS3 (Thomas, Fish et Bowden, VALLR 2025), tandis qu’un système audiovisuel à base de LLM atteint 0,77% (Cappellazzo et al., Llama-AVSR, ICASSP 2025). La lecture labiale humaine place la barre encore plus bas : des lecteurs labiaux professionnels ont obtenu entre 86,4% et 92,9% de WER sur des extraits YouTube (Shillingford et al., DeepMind et Google, Large-Scale Visual Speech Recognition 2018). Nous avons agrégé des données issues des jeux LRS2 et LRS3 du Visual Geometry Group (VGG) d’Oxford, des articles AV-HuBERT de Meta AI, de l’étude de généralisation WildVSR, de l’Organisation mondiale de la santé et de recherches sur l’audition évaluées par les pairs dans JASA, JSLHR et Trends in Hearing. Pour voir comment les systèmes de reconnaissance audio seul se dégradent selon les locuteurs, consultez nos statistiques sur le biais d’accent en reconnaissance vocale.
Une précision sur les termes employés tout au long de l’article : le WER (taux d’erreur sur les mots) est la part des mots qu’un système se trompe à reconnaître, en comptant les mots substitués, manquants et excédentaires ; plus il est bas, mieux c’est. La VSR (reconnaissance visuelle de la parole) désigne la lecture labiale automatique à partir d’une vidéo muette, l’ASR la reconnaissance audio seule, et l’AVSR la reconnaissance audiovisuelle qui utilise les deux. Le SNR (rapport signal/bruit) mesure de combien la parole est plus forte que le bruit de fond ; un SNR négatif signifie que le bruit est plus fort que la voix.
TL;DR
- Le WER en anglais dans un bruit de babble à 0 dB est passé de 13,8% pour Whisper-Large audio seul à 7,2% pour Whisper-Flamingo audiovisuel (Rouditchenko et al., Interspeech 2024).
- Un système à base de LLM affiche 0,77% de WER en audiovisuel et 0,79% en audio seul sur LRS3 (Cappellazzo et al., Llama-AVSR, ICASSP 2025).
- Un modèle de lecture labiale de Google affiche 12,8% de WER sur LRS3, décrit comme rivalisant avec des modèles audio seul d’il y a quatre ans (Chang et al., Google, Conformers paper 2023).
- Un lecteur labial à base de phonèmes a atteint 18,7% de WER sur LRS3 avec 99,4% de données annotées en moins que la meilleure approche suivante (Thomas, Fish et Bowden, VALLR 2025).
- Des lecteurs labiaux professionnels ont obtenu 92,9% de WER sans contexte et 86,4% avec contexte, contre 40,9% pour un système automatique (Shillingford et al., DeepMind et Google 2018).
- 84 étudiants normo-entendants ont identifié 12,4% des mots à partir de vidéos silencieuses de phrases (Altieri, Pisoni et Townsend, JASA 2011).
- Les adultes ayant une perte auditive à début précoce ont lu 43,55% des mots sur les lèvres contre 18,57% pour les adultes normo-entendants (Auer et Bernstein, JSLHR 2007).
- Avec seulement 30 heures annotées, AV-HuBERT a atteint 32,5% de WER en lecture labiale, battant un système à 33,6% entraîné sur 31 000 heures (Shi et al., Meta AI, ICLR 2022).
- Les modèles de lecture labiale de pointe perdent en moyenne 30 points de WER lorsqu’on passe de LRS3 au jeu de test WildVSR (Djilali et al., WildVSR 2023).
- Les visages visibles ont abaissé de 3,74 dB le seuil de bruit pour comprendre la parole claire (Blackburn et al., Trends in Hearing 2019).
- 430 millions de personnes ont besoin d’une réadaptation en raison d’une perte d’audition invalidante (Organisation mondiale de la santé, Deafness and hearing loss fact sheet 2026).
1. Lèvres, audio ou les deux : l’écart entre modalités en taux d’erreur sur les mots
L’écart entre les yeux et les oreilles reste supérieur à un ordre de grandeur. Les meilleurs scores de lecture labiale sur LRS3 dans ce tour d’horizon sont de 12,8% et 18,7% de WER, tandis que les meilleurs scores audio et audiovisuels sont inférieurs à 1%. Des sons différents peuvent produire exactement le même mouvement des lèvres (‘p’ et ‘b’ en sont un exemple classique), si bien qu’un modèle muet doit déduire du contexte ce qu’un modèle audio entend simplement.
Le chiffre le plus surprenant se trouve en haut du classement. Avec un audio propre, la vidéo n’apporte presque rien et peut même coûter un peu : Whisper-Flamingo a obtenu 0,76% de WER en audiovisuel contre 0,68% en audio seul sur LRS3 (Rouditchenko et al., Interspeech 2024). L’intérêt des lèvres apparaît dans le bruit (voir la section 2), pas sur des conférences TED de qualité studio. L’article Llama-AVSR montre la même quasi-égalité, à 0,79% contre 0,77%.
| Métrique | Valeur | Source |
|---|---|---|
| WER sur LRS3, lecture labiale seule contre audio seul contre audio plus vidéo, modèle entraîné sur 3 448 heures | 19,1% contre 1,0% contre 0,9% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER sur LRS3, audio seul contre audio plus vidéo, système à base de LLM | 0,79% contre 0,77% | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| WER sur LRS3, audio seul contre audio plus vidéo, système à base de Whisper | 0,68% contre 0,76% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER de lecture labiale sur LRS3, modèle Google Conformer | 12,8% | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
| WER de lecture labiale sur LRS3, modèle à base de phonèmes avec un grand modèle de langage | 18,7% | Thomas, Fish et Bowden, VALLR, arXiv 2025 (révisé le 5 janvier 2026) |
| WER sur la télévision de la BBC (LRS), lèvres seules contre audio propre seul contre audio propre plus lèvres | 50,2% contre 17,7% contre 13,9% | Chung et al. (Oxford VGG et Google DeepMind), Lip Reading Sentences in the Wild, CVPR 2017 |
Contexte : l’article Auto-AVSR rapporte ces chiffres pour un modèle entraîné sur 3 448 heures, et son taux d’erreur avec les lèvres seules sur le jeu LRS2, issu de la BBC, était plus bas, à 14,6%, contre 1,5% en audio seul. Ces modèles partagent un jeu de test mais pas leurs données d’entraînement, les scores ne sont donc pas strictement comparables. Les systèmes audio seul ont leurs propres modes de défaillance au-delà des simples erreurs de mots, que nous traitons dans nos statistiques sur les hallucinations en reconnaissance vocale.
2. Ce que la vidéo apporte à la reconnaissance vocale à faible SNR
C’est là que la vidéo des lèvres gagne sa place. Quand le bruit augmente, l’erreur en audio seul grimpe brutalement tandis que l’erreur audiovisuelle grimpe lentement : l’écart se creuse exactement là où le sous-titrage et les interfaces vocales échouent le plus. Le modèle audiovisuel de Meta a obtenu en moyenne 5,8% de WER dans le bruit contre 25,8% pour la version audio seul, sur 4 types de bruit et 5 niveaux de SNR de -10 à 10 dB (Shi, Hsu et Mohamed, Interspeech 2022).
Le type de bruit compte. Le babble (de nombreuses personnes qui parlent en arrière-plan) a le moins pénalisé le modèle audio seul dans les tests à -7,5 dB ci-dessous, mais le babble a aussi été utilisé pendant l’entraînement, ce qui conduit les auteurs à avertir que ces résultats ne sont pas directement comparables à ceux du bruit rose et du bruit blanc (souffle à large bande). Ces deux types de bruit ont produit les écarts les plus importants.
| Métrique | Valeur | Source |
|---|---|---|
| WER à -7,5 dB de SNR, audio seul contre audio plus vidéo : bruit blanc ; bruit rose ; bruit de babble | 88,9% contre 24,2% ; 56,8% contre 16,2% ; 8,3% contre 5,6% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER dans un bruit blanc à 2,5 dB de SNR, audio seul contre audio plus vidéo | 10,4% contre 4,3% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER moyen sur 4 types de bruit et 5 niveaux de SNR (-10 à 10 dB), modèle audio seul contre modèle audiovisuel fondé sur AV-HuBERT | 25,8% contre 5,8% | Shi, Hsu et Mohamed (Meta AI), Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022 |
| WER dans un bruit de babble, état de l’art antérieur entraîné sur 433 heures annotées contre AV-HuBERT entraîné sur 30 heures annotées | 28,0% contre 14,1% | Shi, Hsu et Mohamed (Meta AI), Interspeech 2022 |
| WER en anglais dans un bruit de babble à 0 dB de SNR (test MuAViC), Whisper-Large audio seul contre Whisper-Flamingo audiovisuel | 13,8% contre 7,2% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER sur la télévision de la BBC à 10 dB et 0 dB de SNR, audio seul contre audio plus lèvres | 37,6% et 62,9% contre 27,6% et 42,0% | Chung et al. (Oxford VGG et Google DeepMind), CVPR 2017 |
Note sur les valeurs aberrantes : les chiffres de la BBC de 2017 proviennent d’une génération de modèles bien plus faible, mais montrent le même schéma à un niveau d’erreur plus élevé. À 0 dB, l’ajout des lèvres a réduit l’erreur de 20,9 points (62,9 moins 42,0) ; avec un bruit blanc à -7,5 dB en 2023, la réduction a été de 64,7 points (88,9 moins 24,2). Données les plus récentes disponibles pour cette comparaison BBC : l’étude de 2017.
3. Les lecteurs labiaux humains comme référence
La lecture labiale humaine est bien plus difficile que la plupart des gens ne le pensent. Des jeunes adultes normo-entendants n’ont identifié que 12,4% des mots à partir de vidéos silencieuses de phrases prononcées (Altieri, Pisoni et Townsend, JASA 2011). S’appuyer toute sa vie sur le visage améliore nettement ce score : les adultes ayant perdu l’audition tôt ont lu plus de deux fois plus de mots que les adultes entendants (Auer et Bernstein, JSLHR 2007).
Les machines ont dépassé les professionnels formés il y a des années sur des vidéos de benchmark, mais la comparaison a ses limites. Les références humaines reposent sur de petits échantillons : 300 vidéos et 3 lecteurs labiaux pour LipNet, 200 vidéos et un seul professionnel pour l’étude de la BBC. Ce professionnel pouvait voir de quelle émission provenait chaque extrait, étudier des vidéos d’entraînement et revoir les extraits sans limite : le score humain n’est donc pas un résultat en lecture à froid. Pour le versant scolaire de l’éducation des sourds, consultez nos statistiques sur l’éducation des élèves sourds et malentendants.
| Métrique | Valeur | Source |
|---|---|---|
| Mots corrects à partir de la vidéo silencieuse de phrases CUNY, 84 étudiants normo-entendants | 12,4% (ET 6,67%) | Altieri, Pisoni et Townsend (Indiana University), Some normative data on lip-reading skills, JASA 2011 |
| Mots corrects à partir de la vidéo silencieuse de 30 phrases, adultes avec une perte auditive à début précoce (n = 112) contre adultes normo-entendants (n = 220) | 43,55% (ET 17,48) contre 18,57% (ET 13,18) ; t(330) = 14,576, p < 0,01 | Auer et Bernstein, JSLHR 2007 |
| Consonnes reconnues à partir de la vidéo silencieuse sans masque : enfants normo-entendants contre enfants avec perte auditive contre adultes normo-entendants | environ 31% contre 33% contre 42% | Lalonde, Buss, Miller et Leibold, Frontiers in Psychology 2022 |
| WER sur des phrases GRID de locuteurs inconnus, 3 lecteurs labiaux malentendants contre LipNet | 47,7% contre 11,4% | Assael et al. (University of Oxford et Google DeepMind), LipNet 2016 |
| WER sur des extraits de test de la BBC, un lecteur labial professionnel contre un modèle automatique utilisant les lèvres seules | 73,8% contre 50,2% (87,6% pour l’humain si l’on compte les extraits refusés) | Chung et al. (Oxford VGG et Google DeepMind), CVPR 2017 |
| WER sur des extraits YouTube, lecteurs labiaux professionnels sans contexte contre avec contexte contre système automatique | 92,9% contre 86,4% contre 40,9% | Shillingford et al. (DeepMind et Google), Large-Scale Visual Speech Recognition 2018 |
| Bénéfice visuel pour les adultes normo-entendants (baisse du SNR nécessaire pour obtenir la moitié des mots-clés corrects), parole claire contre parole vocodée par bruit | 3,74 dB (ET 2,67) contre 4,68 dB (ET 3,28) | Blackburn et al., Trends in Hearing 2019 |
Contexte : dans l’expérience 1 de l’étude de Blackburn, les auditeurs n’obtenaient en moyenne que 1,56% de réponses correctes avec la vidéo seule, et pourtant voir le locuteur améliorait quand même leurs seuils par rapport à l’audio seul (les chiffres de 3,74 dB et 4,68 dB proviennent de l’expérience 2). La lecture labiale fonctionne mieux en complément du son, pour les machines comme pour les humains. La parole vocodée par bruit est un audio volontairement dégradé par la suppression des détails fins du son. Données les plus récentes disponibles pour les scores humains normatifs : Altieri et al., 2011, et Auer et Bernstein, 2007.
4. Jeux de données de lecture labiale : heures, locuteurs et vocabulaire
La recherche en lecture labiale repose sur une poignée de jeux de données publics constitués à partir de la télévision et de conférences TED. Le benchmark LRS3 contient plus de 400 heures issues de 5 594 conférences TED et TEDx, mais son jeu de test ne fait qu’1 heure (Afouras, Chung et Zisserman, LRS3-TED 2018). Tout un domaine classe ses modèles sur 1 452 énoncés de test, ce qui explique en partie l’importance de la section 6.
Les plus grands jeux d’entraînement appartiennent à l’industrie. Le jeu YouTube LSVSR de 3 886 heures fait près de dix fois la taille du jeu de pré-entraînement LRS3 (3 886 divisé par 407 donne 9,5), tandis que la recherche publique compense par des étiquettes générées automatiquement et un pré-entraînement auto-supervisé.
| Métrique | Valeur | Source |
|---|---|---|
| Vidéo totale de LRS3-TED et conférences sources ; taille du jeu de test | plus de 400 heures issues de 5 594 conférences TED et TEDx ; 1 heure, 1 452 énoncés, 451 locuteurs | Afouras, Chung et Zisserman (Oxford VGG), LRS3-TED 2018 |
| Jeu de pré-entraînement LRS2-BBC contre jeu d’entraînement-validation | 195 heures (96k énoncés) contre 29 heures (47k énoncés) | Afouras, Chung et Zisserman (Oxford VGG), LRS3-TED 2018, Tableau 1 |
| Jeu de données YouTube LSVSR : heures, énoncés, vocabulaire | 3 886 heures ; 2 934 899 énoncés ; 127 055 mots | Shillingford et al. (DeepMind et Google), 2018 |
| Vidéo anglaise VoxCeleb2 utilisée pour le pré-entraînement ; données totales de pré-entraînement d’AV-HuBERT | 1 326 heures ; 1 759 heures | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Corpus audiovisuel multilingue MuAViC | 1 200 heures dans 9 langues | Anwar et al. (Meta AI), MuAViC 2023 |
| Jeu de test WildVSR : heures, énoncés, locuteurs, vocabulaire | 4,8 heures ; 2 854 énoncés ; 618 locuteurs ; 6 040 mots | Djilali et al. (Technology Innovation Institute), Do VSR Models Generalize Beyond LRS3?, 2023 |
Contexte : les découpages de pré-entraînement et d’entraînement-validation de LRS3 se recoupent dans leur contenu, leurs heures ne doivent donc pas être additionnées. Données les plus récentes disponibles pour les benchmarks de référence : l’article LRS3-TED, 2018. L’article MuAViC se présente comme le plus grand benchmark ouvert pour la reconnaissance audiovisuelle multilingue de la parole.
5. Volume de données d’entraînement et précision de la lecture labiale
Plus de vidéo achète encore de la précision, mais un entraînement plus malin en achète davantage par heure. AV-HuBERT a égalé un système à 31 000 heures avec seulement 30 heures annotées : 32,5% de WER contre 33,6% (Shi et al., Meta AI, ICLR 2022). C’est le pré-entraînement auto-supervisé sur de la vidéo non annotée qui a fait l’essentiel du travail : la même architecture entraînée à partir de zéro sur ces 30 heures a obtenu 92,3%.
Les heures comptent toujours, mais elles ne décident pas du classement. Passer de 818 à 3 448 heures d’entraînement a réduit l’erreur de lecture labiale sur LRS3 de 13,9 points (33,0 moins 19,1). Deux entraînements bien plus volumineux dans le tableau ci-dessous se retrouvent ensuite à 4,2 points d’écart, 17,0% sur environ 90 000 heures et 12,8% sur 100k heures, ce qui indique que l’architecture compte autant que le volume.
| Métrique | Valeur | Source |
|---|---|---|
| WER de lecture labiale sur LRS3 avec 818 contre 1 902 contre 3 448 heures d’entraînement (un modèle entraîné sur environ 90 000 heures non publiques : 17,0%) | 33,0% contre 23,5% contre 19,1% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER de lecture labiale sur LRS3, AV-HuBERT avec 30 heures annotées contre les 433 heures annotées plus l’auto-entraînement (meilleur résultat précédent : 33,6% sur 31 000 heures) | 32,5% contre 26,9% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| WER de lecture labiale sur LRS3, même grande architecture entraînée à partir de zéro avec 30 contre 433 heures annotées | 92,3% contre 62,3% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022, Tableau 1 |
| Données annotées utilisées par un lecteur labial à base de phonèmes par rapport à la meilleure approche suivante | 99,4% de moins (pour 18,7% de WER sur LRS3) | Thomas, Fish et Bowden, VALLR, arXiv 2025 |
| Vidéo d’entraînement derrière les 12,8% de WER de lecture labiale de Google sur LRS3 | 100k heures de segments YouTube transcrits, puis ajustement fin sur LRS3 (plus de 400 heures) | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
Contexte : les modèles de langage plus grands ne sont pas non plus un raccourci. Jain et Harte (arXiv, septembre 2025) concluent que les décodeurs à grand modèle de langage affinent surtout le raisonnement contextuel plutôt que les caractéristiques visuelles, et que des encodeurs visuels plus puissants sont nécessaires pour progresser.
6. Au-delà des conférences TED : vidéo en conditions réelles et lecture labiale hors anglais
Le WER des benchmarks flatte la lecture labiale. Lorsque des chercheurs ont construit un nouveau jeu de test à partir de vidéos YouTube en suivant de près le processus de création de LRS3, les modèles de lecture labiale de pointe ont perdu 30 points de WER en moyenne (Djilali et al., WildVSR 2023). L’audio a bien moins bougé : Whisper est passé de 1,1% à 4,2%. Les classements se sont toutefois maintenus : un meilleur score sur LRS3 prédit donc toujours un meilleur score sur WildVSR.
La langue est le deuxième angle mort. La méthode qui avait obtenu 31,5% de WER sur LRS3 en anglais a obtenu 56,3% ou pire sur des conférences de type TED en espagnol, en italien et en français (Ma, Petridis et Pantic, Nature Machine Intelligence 2022). Données les plus récentes disponibles pour la lecture labiale hors anglais : cet article de 2022.
| Métrique | Valeur | Source |
|---|---|---|
| Hausse moyenne du WER pour les modèles de lecture labiale de pointe, de LRS3 à WildVSR | 30 points | Djilali et al., WildVSR 2023 |
| WER de lecture labiale, meilleur modèle testé (Auto-AVSR, 3 448 heures), LRS3 contre WildVSR | 19,1% contre 38,6% | Djilali et al., WildVSR 2023, Tableau 2 |
| WER en audio seul, Whisper, LRS3 contre WildVSR | 1,1% contre 4,2% | Djilali et al., WildVSR 2023, Tableau 2 |
| Relation ajustée entre le WER sur WildVSR et le WER sur LRS3 selon les modèles | WER WildVSR = environ 1,31 x WER LRS3 + 14,05 | Djilali et al., WildVSR 2023 |
| WER de lecture labiale, modèle à décodeur Llama-2-13B, LRS3 contre WildVSR | 24,7% contre 47,0% | Jain et Harte, From Hype to Insight, arXiv 2025 |
| Erreur de lecture labiale par langue, meilleure exécution : taux d’erreur sur les caractères en mandarin (CMLR) contre taux d’erreur sur les mots en espagnol, italien et français (Multilingual TEDx) | 8,0% contre 56,3%, 57,4% et 66,2% | Ma, Petridis et Pantic, Nature Machine Intelligence 2022 |
Contexte : le chiffre du mandarin compte les erreurs par caractère et non par mot, il n’est donc pas directement comparable aux chiffres de WER. L’écart WildVSR du meilleur modèle est de 19,5 points (38,6 moins 19,1), en dessous de la moyenne de 30 points, ce qui concorde avec la conclusion des auteurs selon laquelle les modèles plus performants se dégradent moins.
7. Vie privée, surveillance et accessibilité
La préoccupation de vie privée documentée est concrète : les chercheurs eux-mêmes signalent la CCTV. Ma, Petridis et Pantic qualifient la reconnaissance visuelle de la parole de « technologie à double usage » qui « peut être déployée pour la surveillance via la CCTV ou même via des caméras de smartphone, ce qui soulève des préoccupations de vie privée », et ils soutiennent qu’une réglementation gouvernementale est nécessaire. Ils rapportent aussi qu’une application pour smartphone destinée à aider les personnes ayant des troubles de la parole à communiquer était alors testée dans des hôpitaux du NHS britannique. Le commissaire britannique aux caméras de surveillance (Surveillance Camera Commissioner), Tony Porter, avait mis en garde en août 2019 contre l’arrivée prochaine de technologies de surveillance par lecture labiale (Big Brother Watch, 28 août 2019).
Le contrepoids est technique. Les chercheurs du VGG d’Oxford jugent l’écoute clandestine par CCTV « à très faible risque » parce que les caméras « fonctionnent généralement à une résolution et à une fréquence d’images bien plus faibles et sous des angles inhabituels » (Prajwal, Afouras et Zisserman, 2021). Le système à 3 886 heures n’a été entraîné que sur des visages tournés à moins de 30 degrés de la caméra, et ses auteurs indiquent qu’il ne fonctionne pas bien dans d’autres contextes (Shillingford et al., 2018). L’argument de l’accessibilité repose sur une population nombreuse : la fiche d’information de l’OMS cite le sous-titrage et la lecture labiale parmi les aides à la perte auditive. L’IA du langage visuel au-delà des lèvres est traitée dans nos statistiques sur l’IA de la langue des signes et la vision par ordinateur.
| Métrique | Valeur | Source |
|---|---|---|
| Conditions d’entraînement du système de lecture labiale à 3 886 heures : angle de la tête ; taille minimale du visage ; fréquence d’images minimale | lacet et tangage à plus ou moins 30 degrés ; au moins 80 pixels entre les yeux ; extraits à moins de 23 images par seconde retirés | Shillingford et al. (DeepMind et Google), 2018 |
| Hauteur minimale des lèvres fermées dans la vidéo pour une lecture labiale automatique fiable | 4 pixels | Bear, Harvey, Theobald et Lan, Resolution limits on visual speech recognition, ICIP 2014 |
| Plus basse résolution vidéo testée dans l’étude de résolution contre source en Full HD | 42 x 32 contre 1440 x 1080 pixels (18 résolutions testées) | Bear, Harvey, Theobald et Lan, ICIP 2014 |
| Personnes ayant besoin d’une réadaptation en raison d’une perte d’audition invalidante | 430 millions (plus de 5% de la population mondiale) | Organisation mondiale de la santé, Deafness and hearing loss fact sheet, 3 mars 2026 |
| Personnes devant présenter un certain degré de perte auditive contre une perte d’audition invalidante d’ici 2050 | près de 2,5 milliards contre plus de 700 millions | Organisation mondiale de la santé, Deafness and hearing loss fact sheet, 3 mars 2026 |
| Coût mondial annuel de la perte auditive non prise en charge | près de 1 billion de dollars US | Organisation mondiale de la santé, Deafness and hearing loss fact sheet, 3 mars 2026 |
Contexte : l’étude de Bear et al. a utilisé environ 30 minutes de vidéo de deux locuteurs ; le plancher de 4 pixels est donc une limite indicative, pas une garantie. Données les plus récentes disponibles pour la limite de résolution : Bear et al., 2014.
Résumé : le WER de la reconnaissance visuelle de la parole par lecture labiale en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| WER à -7,5 dB de SNR dans un bruit blanc, audio seul contre audio plus vidéo | 88,9% contre 24,2% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER moyen sur 4 types de bruit et 5 niveaux de SNR, modèle audio seul contre modèle audiovisuel | 25,8% contre 5,8% | Shi, Hsu et Mohamed (Meta AI), Interspeech 2022 |
| WER en anglais dans un bruit de babble à 0 dB, Whisper-Large audio seul contre Whisper-Flamingo | 13,8% contre 7,2% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER sur LRS3, audio seul contre audio plus vidéo, système à base de LLM | 0,79% contre 0,77% | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| WER de lecture labiale sur LRS3, modèle Google Conformer | 12,8% | Chang et al. (Google), 2023 |
| WER de lecture labiale sur LRS3, modèle à base de phonèmes avec 99,4% de données annotées en moins | 18,7% | Thomas, Fish et Bowden, VALLR, arXiv 2025 |
| WER de lecture labiale sur LRS3, AV-HuBERT avec 30 heures annotées contre le meilleur résultat précédent sur 31 000 heures | 32,5% contre 33,6% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Hausse moyenne du WER pour les modèles de lecture labiale de pointe, de LRS3 à WildVSR | 30 points | Djilali et al., WildVSR 2023 |
| WER de lecture labiale, modèle à décodeur Llama-2-13B, LRS3 contre WildVSR | 24,7% contre 47,0% | Jain et Harte, arXiv 2025 |
| Mots corrects à partir de phrases silencieuses, 84 étudiants normo-entendants | 12,4% | Altieri, Pisoni et Townsend, JASA 2011 |
| Mots corrects à partir de phrases silencieuses, perte auditive à début précoce contre audition normale | 43,55% contre 18,57% | Auer et Bernstein, JSLHR 2007 |
| WER sur des extraits YouTube, lecteurs labiaux professionnels (sans contre avec contexte) contre système automatique | 92,9% et 86,4% contre 40,9% | Shillingford et al. (DeepMind et Google), 2018 |
| WER sur des extraits de la BBC, lecteur labial professionnel contre modèle utilisant les lèvres seules | 73,8% contre 50,2% | Chung et al. (Oxford VGG et Google DeepMind), CVPR 2017 |
| Bénéfice visuel dans le bruit pour la parole claire, adultes normo-entendants | 3,74 dB | Blackburn et al., Trends in Hearing 2019 |
| Vidéo et conférences de LRS3-TED | plus de 400 heures, 5 594 conférences | Afouras, Chung et Zisserman (Oxford VGG), 2018 |
| Hauteur minimale des lèvres fermées dans la vidéo pour une lecture labiale automatique fiable | 4 pixels | Bear et al., ICIP 2014 |
| Personnes ayant besoin d’une réadaptation en raison d’une perte d’audition invalidante | 430 millions | Organisation mondiale de la santé, 2026 |
Méthodologie et sources
- Ma et al., Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels, ICASSP 2023 : écart entre modalités, tableaux de robustesse au bruit et effet du volume de données d’entraînement.
- Cappellazzo et al., Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR), ICASSP 2025 : WER audio seul et audiovisuel sur LRS3.
- Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 : WER en audio propre et en bruit de babble pour Whisper audio seul contre audiovisuel.
- Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 : 12,8% de WER de lecture labiale sur LRS3 et son jeu d’entraînement de 100k heures.
- Thomas, Fish et Bowden, VALLR: Visual ASR Language Model for Lip Reading, arXiv 2025 : 18,7% de WER et efficacité en données annotées.
- Jain et Harte, From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition, arXiv septembre 2025 : résultats des décodeurs LLM sur LRS3 et WildVSR.
- Meta AI : Shi et al., AV-HuBERT, ICLR 2022 et Shi, Hsu et Mohamed, Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022 : efficacité en données et robustesse au bruit.
- Anwar et al. (Meta AI), MuAViC multilingual audio-visual corpus, 2023 : taille du corpus et couverture linguistique.
- Oxford VGG : Afouras, Chung et Zisserman, LRS3-TED, 2018 et Prajwal, Afouras et Zisserman, Sub-word Level Lip Reading With Visual Attention, 2021 : tailles des jeux de données et évaluation du risque lié à la CCTV.
- Chung et al., Lip Reading Sentences in the Wild, CVPR 2017 : résultats lèvres contre audio sur la BBC, résultats dans le bruit et référence du lecteur labial professionnel.
- Assael et al., LipNet: End-to-End Sentence-level Lipreading, 2016 : résultats sur le corpus de phrases GRID et référence des lecteurs labiaux malentendants.
- Shillingford et al., Large-Scale Visual Speech Recognition, 2018 : jeu de données LSVSR, WER des lecteurs labiaux professionnels, contraintes d’angle du visage et de résolution.
- Djilali et al., Do VSR Models Generalize Beyond LRS3? (WildVSR), 2023 : écart de généralisation en conditions réelles.
- Ma, Petridis et Pantic, Visual Speech Recognition for Multiple Languages in the Wild, Nature Machine Intelligence 2022 : WER hors anglais et discussion sur le double usage et la vie privée.
- Altieri, Pisoni et Townsend, Some normative data on lip-reading skills, JASA 2011 : scores humains de phrases en vision seule.
- Auer et Bernstein, Enhanced visual speech perception in individuals with early-onset hearing impairment, JSLHR 2007 : scores de lecture labiale des sourds contre des entendants.
- Blackburn et al., Visual Speech Benefit in Clear and Degraded Speech, Trends in Hearing 2019 : bénéfice visuel en décibels.
- Lalonde, Buss, Miller et Leibold, Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss, Frontiers in Psychology 2022 : scores de consonnes en vision seule pour les enfants et les adultes.
- Bear, Harvey, Theobald et Lan, Resolution limits on visual speech recognition, ICIP 2014 : résolution minimale des lèvres.
- Organisation mondiale de la santé, Deafness and hearing loss fact sheet, 3 mars 2026 : prévalence de la perte auditive, projections et coût.
- Big Brother Watch, 28 août 2019 : compte rendu de la mise en garde du commissaire britannique aux caméras de surveillance sur la surveillance par lecture labiale.
- Note sur les données : les scores sur le jeu de test LRS3 ne sont pas strictement comparables d’un article à l’autre lorsque ceux-ci s’entraînent sur des données différentes, et les jeux de test sont minuscules (1 heure pour LRS3). Plusieurs articles revendiquent l’état de l’art à des dates différentes : les 0,79% et 0,77% de Llama-AVSR côtoient les 0,68% et 0,76% de Whisper-Flamingo, et les 18,7% de VALLR côtoient les 12,8%, plus bas, de Google, qui a utilisé bien plus de données annotées. VALLR et l’étude de Jain et Harte sont des prépublications sans revue à comité de lecture indiquée. Les heures d’un même jeu de données diffèrent selon la source : l’article LRS3-TED indique 407 heures de pré-entraînement, et les jeux de pré-entraînement et d’entraînement-validation de LRS2-BBC à 195 et 29 heures, tandis que Ma, Petridis et Pantic comptent 438 heures pour LRS3 et 223 heures pour LRS2. L’article WildVSR donne deux pentes pour son ajustement (1,31 et 1,30), et son Annexe B indique que Whisper obtient moins de 4 de WER sur les deux jeux de test, ce qui contredit le 4,2 de son Tableau 2. Il ne précise pas non plus la taille du modèle Whisper. Les références humaines reposent sur des panels très réduits (un professionnel pour l’étude de la BBC, trois lecteurs labiaux malentendants pour LipNet), et les données humaines normatives datent de 2007 et 2011. L’étude de Lalonde a simulé des masques au lieu de faire porter des masques aux locuteurs. Nous n’avons trouvé aucune mesure évaluée par les pairs de la précision de la lecture labiale à partir d’images CCTV réelles : les inquiétudes de surveillance citées ici sont des mises en garde documentées, pas des déploiements mesurés.
Dernière mise à jour : 31 octobre 2026. Nous actualisons ce tour d’horizon chaque trimestre, et la prochaine révision est attendue lorsque les actes d’ICASSP 2027 et d’Interspeech 2027 publieront de nouveaux résultats sur LRS3 et WildVSR.