Añadir el video de los labios de quien habla redujo la tasa de error de palabras (WER) de un reconocedor del habla del 88,9% al 24,2% con ruido blanco intenso, a -7,5 dB (Ma et al., Auto-AVSR, ICASSP 2023). Solo con los labios, el resultado sigue siendo mucho peor que con audio: un lector labial de 2025 reporta un 18,7% de WER en el benchmark de charlas TED LRS3 (Thomas, Fish y Bowden, VALLR 2025), mientras que un sistema audiovisual basado en LLM llega al 0,77% (Cappellazzo et al., Llama-AVSR, ICASSP 2025). La lectura labial humana es un listón aún más bajo: los lectores labiales profesionales obtuvieron entre un 86,4% y un 92,9% de WER en clips de YouTube (Shillingford et al., DeepMind y Google, Large-Scale Visual Speech Recognition 2018). Reunimos datos de los conjuntos LRS2 y LRS3 del Oxford Visual Geometry Group (VGG), de los artículos sobre AV-HuBERT de Meta AI, del estudio de generalización WildVSR, de la Organización Mundial de la Salud y de investigaciones revisadas por pares sobre audición publicadas en JASA, JSLHR y Trends in Hearing. Para ver cómo fallan los reconocedores solo de audio según el hablante, consulta nuestras estadísticas de sesgo de acento en el reconocimiento del habla.
Una nota sobre los términos usados en todo el texto: la WER (tasa de error de palabras) es la proporción de palabras que un sistema falla, contando palabras sustituidas, omitidas y sobrantes, por lo que cuanto menor, mejor. VSR (reconocimiento visual del habla) significa lectura labial automática a partir de video sin sonido, ASR significa reconocimiento solo de audio y AVSR significa reconocimiento audiovisual, que usa ambos. La SNR (relación señal-ruido) mide cuánto más fuerte es el habla que el ruido de fondo; una SNR negativa significa que el ruido es más fuerte que la voz.
TL;DR
- La WER en inglés con ruido de fondo de muchas voces (babble) a 0 dB bajó del 13,8% de Whisper-Large solo con audio al 7,2% de Whisper-Flamingo audiovisual (Rouditchenko et al., Interspeech 2024).
- Un sistema basado en LLM reporta un 0,77% de WER audiovisual y un 0,79% solo con audio en LRS3 (Cappellazzo et al., Llama-AVSR, ICASSP 2025).
- Un modelo de lectura labial de Google reporta un 12,8% de WER en LRS3, descrito como rival de modelos solo de audio de cuatro años antes (Chang et al., Google, artículo Conformers 2023).
- Un lector labial basado en fonemas alcanzó un 18,7% de WER en LRS3 con un 99,4% menos de datos etiquetados que el siguiente mejor enfoque (Thomas, Fish y Bowden, VALLR 2025).
- Los lectores labiales profesionales obtuvieron un 92,9% de WER sin contexto y un 86,4% con contexto, frente al 40,9% de un sistema automático (Shillingford et al., DeepMind y Google 2018).
- 84 estudiantes universitarios con audición normal identificaron el 12,4% de las palabras en video mudo de frases (Altieri, Pisoni y Townsend, JASA 2011).
- Los adultos con pérdida auditiva de aparición temprana leyeron el 43,55% de las palabras en los labios, frente al 18,57% de los adultos con audición normal (Auer y Bernstein, JSLHR 2007).
- Con solo 30 horas etiquetadas, AV-HuBERT alcanzó un 32,5% de WER en lectura labial y superó a un sistema del 33,6% entrenado con 31.000 horas (Shi et al., Meta AI, ICLR 2022).
- Los modelos de lectura labial más avanzados pierden en promedio 30 puntos de WER al pasar de LRS3 al conjunto de prueba WildVSR (Djilali et al., WildVSR 2023).
- Los rostros visibles redujeron en 3,74 dB el umbral de ruido para entender el habla clara (Blackburn et al., Trends in Hearing 2019).
- 430 millones de personas necesitan rehabilitación por pérdida auditiva incapacitante (Organización Mundial de la Salud, hoja informativa Deafness and hearing loss 2026).
1. Labios, Audio o Ambos: la Brecha entre Modalidades en la Tasa de Error de Palabras
La distancia entre los ojos y los oídos sigue siendo de más de un orden de magnitud. Las puntuaciones más bajas de lectura labial en LRS3 de este informe son un 12,8% y un 18,7% de WER, mientras que las más bajas de audio y audiovisual quedan por debajo del 1%. Sonidos distintos pueden producir exactamente el mismo movimiento de labios (‘p’ y ‘b’ son el ejemplo clásico), así que un modelo sin sonido debe inferir por el contexto lo que un modelo de audio simplemente oye.
La cifra más sorprendente está en lo más alto. Con audio limpio, el video aporta casi nada y hasta puede costar un poco: Whisper-Flamingo obtuvo un 0,76% de WER audiovisual frente a un 0,68% solo con audio en LRS3 (Rouditchenko et al., Interspeech 2024). El valor de los labios aparece con ruido (véase la sección 2), no en charlas TED con calidad de estudio. El artículo de Llama-AVSR muestra el mismo casi empate, con un 0,79% frente a un 0,77%.
| Métrica | Valor | Fuente |
|---|---|---|
| WER en LRS3, solo lectura labial vs solo audio vs audio más video, modelo entrenado con 3.448 horas | 19,1% vs 1,0% vs 0,9% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER en LRS3, solo audio vs audio más video, sistema basado en LLM | 0,79% vs 0,77% | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| WER en LRS3, solo audio vs audio más video, sistema basado en Whisper | 0,68% vs 0,76% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER de lectura labial en LRS3, modelo Google Conformer | 12,8% | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
| WER de lectura labial en LRS3, modelo basado en fonemas con un gran modelo de lenguaje | 18,7% | Thomas, Fish y Bowden, VALLR, arXiv 2025 (revisado el 5 de enero de 2026) |
| WER en televisión de la BBC (LRS), solo labios vs solo audio limpio vs audio limpio más labios | 50,2% vs 17,7% vs 13,9% | Chung et al. (Oxford VGG y Google DeepMind), Lip Reading Sentences in the Wild, CVPR 2017 |
Contexto: el artículo de Auto-AVSR reporta estas cifras para un modelo entrenado con 3.448 horas, y su tasa de error solo con labios en el conjunto LRS2, basado en la BBC, fue menor, del 14,6%, frente al 1,5% solo con audio. Estos modelos comparten un conjunto de prueba, pero no sus datos de entrenamiento, por lo que las puntuaciones no son comparables en igualdad de condiciones. Los sistemas solo de audio tienen modos de fallo propios más allá de los simples errores de palabras, tratados en nuestras estadísticas de alucinaciones en el reconocimiento del habla.
2. Cuánto Ayuda el Video al Reconocimiento del Habla con SNR Baja
Aquí es donde el video de los labios se gana su lugar. A medida que sube el ruido, el error solo con audio se dispara, mientras que el error audiovisual sube despacio, de modo que la brecha se ensancha justo donde fallan más los subtítulos y las interfaces de voz. El modelo audiovisual de Meta promedió un 5,8% de WER con ruido frente al 25,8% de la versión solo con audio, en 4 tipos de ruido y 5 niveles de SNR de -10 a 10 dB (Shi, Hsu y Mohamed, Interspeech 2022).
El tipo de ruido importa. El ruido de fondo de muchas voces (babble) fue el que menos perjudicó al modelo solo de audio en las pruebas a -7,5 dB de más abajo, pero ese ruido también se usó en el entrenamiento, así que los autores advierten de que esos resultados no son directamente comparables con los del ruido rosa y el blanco (siseo de banda ancha). Esos dos tipos de ruido produjeron las mayores brechas.
| Métrica | Valor | Fuente |
|---|---|---|
| WER a -7,5 dB de SNR, solo audio vs audio más video: ruido blanco; ruido rosa; ruido de fondo de muchas voces (babble) | 88,9% vs 24,2%; 56,8% vs 16,2%; 8,3% vs 5,6% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER con ruido blanco a 2,5 dB de SNR, solo audio vs audio más video | 10,4% vs 4,3% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER promedio en 4 tipos de ruido y 5 niveles de SNR (-10 a 10 dB), modelo solo de audio vs modelo audiovisual basado en AV-HuBERT | 25,8% vs 5,8% | Shi, Hsu y Mohamed (Meta AI), Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022 |
| WER con ruido de fondo de muchas voces (babble), estado del arte previo entrenado con 433 horas etiquetadas vs AV-HuBERT entrenado con 30 horas etiquetadas | 28,0% vs 14,1% | Shi, Hsu y Mohamed (Meta AI), Interspeech 2022 |
| WER en inglés con ruido de fondo de muchas voces (babble) a 0 dB de SNR (prueba MuAViC), Whisper-Large solo con audio vs Whisper-Flamingo audiovisual | 13,8% vs 7,2% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER en televisión de la BBC a 10 dB y 0 dB de SNR, solo audio vs audio más labios | 37,6% y 62,9% vs 27,6% y 42,0% | Chung et al. (Oxford VGG y Google DeepMind), CVPR 2017 |
Nota sobre valores atípicos: las cifras de la BBC de 2017 proceden de una generación de modelos mucho más débil, pero muestran el mismo patrón con un nivel de error más alto. A 0 dB, añadir los labios redujo el error en 20,9 puntos (62,9 menos 42,0); con ruido blanco a -7,5 dB en 2023, la reducción fue de 64,7 puntos (88,9 menos 24,2). Dato más reciente disponible para esa comparación con la BBC: el estudio de 2017.
3. Lectores Labiales Humanos como Referencia
La lectura labial humana es mucho más difícil de lo que la mayoría supone. Los adultos jóvenes con audición normal identificaron solo el 12,4% de las palabras en video mudo de frases habladas (Altieri, Pisoni y Townsend, JASA 2011). Depender del rostro toda la vida eleva esa cifra de forma notable: los adultos que perdieron la audición pronto leyeron más del doble de palabras que los adultos oyentes (Auer y Bernstein, JSLHR 2007).
Las máquinas superaron hace años a los profesionales entrenados en videos de benchmark, pero la comparación tiene límites. Las referencias humanas usaron muestras pequeñas: 300 videos y 3 lectores labiales en LipNet, 200 videos y un profesional en el estudio de la BBC. Ese profesional podía ver de qué programa procedía cada clip, estudiar videos de entrenamiento de muestra y repetir los clips sin límite, así que la puntuación humana no es un resultado de lectura a ciegas. Para el lado del aula en la educación de personas sordas, véanse nuestras estadísticas de educación de estudiantes sordos y con dificultades auditivas.
| Métrica | Valor | Fuente |
|---|---|---|
| Palabras correctas en video mudo de frases CUNY, 84 estudiantes universitarios con audición normal | 12,4% (DE 6,67%) | Altieri, Pisoni y Townsend (Indiana University), Some normative data on lip-reading skills, JASA 2011 |
| Palabras correctas en video mudo de 30 frases, adultos con pérdida auditiva de aparición temprana (n = 112) vs audición normal (n = 220) | 43,55% (DE 17,48) vs 18,57% (DE 13,18); t(330) = 14,576, p < 0,01 | Auer y Bernstein, JSLHR 2007 |
| Consonantes reconocidas en video mudo sin mascarilla: niños con audición normal vs niños con pérdida auditiva vs adultos con audición normal | alrededor del 31% vs 33% vs 42% | Lalonde, Buss, Miller y Leibold, Frontiers in Psychology 2022 |
| WER en frases GRID de hablantes no vistos, 3 lectores labiales con discapacidad auditiva vs LipNet | 47,7% vs 11,4% | Assael et al. (University of Oxford y Google DeepMind), LipNet 2016 |
| WER en clips de prueba de la BBC, un lector labial profesional vs modelo automático solo con labios | 73,8% vs 50,2% (87,6% para el humano si se cuentan los clips rechazados) | Chung et al. (Oxford VGG y Google DeepMind), CVPR 2017 |
| WER en clips de YouTube, lectores labiales profesionales sin contexto vs con contexto vs sistema automático | 92,9% vs 86,4% vs 40,9% | Shillingford et al. (DeepMind y Google), Large-Scale Visual Speech Recognition 2018 |
| Beneficio visual para adultos con audición normal (descenso de la SNR necesaria para acertar la mitad de las palabras clave), habla clara vs habla procesada con vocoder de ruido | 3,74 dB (DE 2,67) vs 4,68 dB (DE 3,28) | Blackburn et al., Trends in Hearing 2019 |
Contexto: en el experimento 1 del estudio de Blackburn, los oyentes acertaron en promedio solo el 1,56% con video solo, y aun así ver al hablante mejoró sus umbrales respecto al audio aislado (las cifras de 3,74 dB y 4,68 dB provienen del experimento 2). La lectura labial funciona mejor como complemento del sonido, tanto para máquinas como para personas. El habla procesada con vocoder de ruido es audio degradado deliberadamente al eliminar detalles finos del sonido. Dato más reciente disponible para las puntuaciones humanas normativas: Altieri et al., 2011, y Auer y Bernstein, 2007.
4. Conjuntos de Datos de Lectura Labial: Horas, Hablantes y Vocabulario
La investigación en lectura labial se apoya en un puñado de conjuntos de datos públicos construidos a partir de televisión abierta y charlas TED. El benchmark LRS3 reúne más de 400 horas de 5.594 charlas TED y TEDx, pero su conjunto de prueba es de solo 1 hora (Afouras, Chung y Zisserman, LRS3-TED 2018). Todo un campo clasifica sus modelos con 1.452 enunciados de prueba, lo que es una de las razones por las que importa la sección 6.
Los mayores conjuntos de entrenamiento pertenecen a la industria. El conjunto LSVSR de YouTube, de 3.886 horas, es casi diez veces mayor que el conjunto de preentrenamiento de LRS3 (3.886 dividido entre 407 da 9,5), mientras que la investigación pública lo compensa con etiquetas generadas por máquina y preentrenamiento autosupervisado.
| Métrica | Valor | Fuente |
|---|---|---|
| Total de video y charlas de origen de LRS3-TED; tamaño del conjunto de prueba | más de 400 horas de 5.594 charlas TED y TEDx; 1 hora, 1.452 enunciados, 451 hablantes | Afouras, Chung y Zisserman (Oxford VGG), LRS3-TED 2018 |
| LRS2-BBC conjunto de preentrenamiento vs conjunto de entrenamiento y validación | 195 horas (96 mil enunciados) vs 29 horas (47 mil enunciados) | Afouras, Chung y Zisserman (Oxford VGG), LRS3-TED 2018, Tabla 1 |
| Conjunto LSVSR de YouTube: horas, enunciados, vocabulario | 3.886 horas; 2.934.899 enunciados; 127.055 palabras | Shillingford et al. (DeepMind y Google), 2018 |
| Video en inglés de VoxCeleb2 usado en el preentrenamiento; total de datos de preentrenamiento de AV-HuBERT | 1.326 horas; 1.759 horas | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Corpus audiovisual multilingüe MuAViC | 1.200 horas en 9 idiomas | Anwar et al. (Meta AI), MuAViC 2023 |
| Conjunto de prueba WildVSR: horas, enunciados, hablantes, vocabulario | 4,8 horas; 2.854 enunciados; 618 hablantes; 6.040 palabras | Djilali et al. (Technology Innovation Institute), Do VSR Models Generalize Beyond LRS3?, 2023 |
Contexto: las divisiones de preentrenamiento y de entrenamiento y validación de LRS3 se solapan en contenido, por lo que sus horas no deben sumarse. Dato más reciente disponible para los benchmarks principales: artículo de LRS3-TED, 2018. El artículo de MuAViC se presenta como el mayor benchmark abierto de reconocimiento audiovisual del habla multilingüe.
5. Escala de los Datos de Entrenamiento vs Precisión en la Lectura Labial
Más video sigue comprando precisión, pero un entrenamiento más inteligente compra más por cada hora. AV-HuBERT igualó a un sistema de 31.000 horas con solo 30 horas etiquetadas: 32,5% de WER frente a 33,6% (Shi et al., Meta AI, ICLR 2022). El preentrenamiento autosupervisado con video sin etiquetar hizo el trabajo pesado: la misma arquitectura entrenada desde cero con esas 30 horas obtuvo un 92,3%.
Las horas siguen importando, pero no deciden la clasificación. Pasar de 818 a 3.448 horas de entrenamiento redujo el error de lectura labial en LRS3 en 13,9 puntos (33,0 menos 19,1). Dos ejecuciones mucho mayores de la tabla siguiente quedan después a 4,2 puntos de distancia, un 17,0% con unas 90.000 horas y un 12,8% con 100 mil horas, lo que apunta a la arquitectura además del volumen.
| Métrica | Valor | Fuente |
|---|---|---|
| WER de lectura labial en LRS3 con 818 vs 1.902 vs 3.448 horas de entrenamiento (un modelo entrenado con unas 90.000 horas no públicas: 17,0%) | 33,0% vs 23,5% vs 19,1% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER de lectura labial en LRS3, AV-HuBERT con 30 horas etiquetadas vs las 433 horas etiquetadas más autoentrenamiento (mejor previo: 33,6% con 31.000 horas) | 32,5% vs 26,9% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| WER de lectura labial en LRS3, la misma arquitectura grande entrenada desde cero con 30 vs 433 horas etiquetadas | 92,3% vs 62,3% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022, Tabla 1 |
| Datos etiquetados usados por un lector labial basado en fonemas en comparación con el siguiente mejor enfoque | 99,4% menos (para un 18,7% de WER en LRS3) | Thomas, Fish y Bowden, VALLR, arXiv 2025 |
| Video de entrenamiento detrás del 12,8% de WER de lectura labial de Google en LRS3 | 100 mil horas de segmentos transcritos de YouTube, luego ajuste fino en LRS3 (más de 400 horas) | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
Contexto: los modelos de lenguaje más grandes tampoco son un atajo. Jain y Harte (arXiv, septiembre de 2025) concluyen que los decodificadores de grandes modelos de lenguaje refinan sobre todo el razonamiento contextual y no las características visuales, y que hacen falta codificadores visuales más potentes para seguir avanzando.
6. Más Allá de las Charlas TED: Video en Condiciones Reales y Lectura Labial Fuera del Inglés
La WER de los benchmarks favorece a la lectura labial. Cuando los investigadores construyeron un nuevo conjunto de prueba con video de YouTube, siguiendo de cerca el proceso de creación de LRS3, los modelos de lectura labial más avanzados perdieron en promedio 30 puntos de WER (Djilali et al., WildVSR 2023). El audio varió mucho menos: Whisper pasó del 1,1% al 4,2%. Las clasificaciones, sin embargo, se mantuvieron, así que una mejor puntuación en LRS3 sigue prediciendo una mejor puntuación en WildVSR.
El idioma es el segundo punto ciego. El método que obtuvo un 31,5% de WER en el LRS3 en inglés obtuvo un 56,3% o peor en charlas de estilo TED en español, italiano y francés (Ma, Petridis y Pantic, Nature Machine Intelligence 2022). Dato más reciente disponible para la lectura labial fuera del inglés: ese artículo de 2022.
| Métrica | Valor | Fuente |
|---|---|---|
| Aumento promedio de la WER en modelos de lectura labial más avanzados, de LRS3 a WildVSR | 30 puntos | Djilali et al., WildVSR 2023 |
| WER de lectura labial, mejor modelo probado (Auto-AVSR, 3.448 horas), LRS3 vs WildVSR | 19,1% vs 38,6% | Djilali et al., WildVSR 2023, Tabla 2 |
| WER solo con audio, Whisper, LRS3 vs WildVSR | 1,1% vs 4,2% | Djilali et al., WildVSR 2023, Tabla 2 |
| Relación ajustada entre la WER en WildVSR y la WER en LRS3 entre modelos | WER en WildVSR = aprox. 1,31 x WER en LRS3 + 14,05 | Djilali et al., WildVSR 2023 |
| WER de lectura labial, modelo con decodificador Llama-2-13B, LRS3 vs WildVSR | 24,7% vs 47,0% | Jain y Harte, From Hype to Insight, arXiv 2025 |
| Error de lectura labial por idioma, mejor ejecución: tasa de error de caracteres en mandarín (CMLR) vs tasa de error de palabras en español, italiano y francés (Multilingual TEDx) | 8,0% vs 56,3%, 57,4% y 66,2% | Ma, Petridis y Pantic, Nature Machine Intelligence 2022 |
Contexto: la cifra del mandarín cuenta errores por carácter y no por palabra, por lo que no es directamente comparable con las cifras de WER. La brecha en WildVSR del mejor modelo es de 19,5 puntos (38,6 menos 19,1), por debajo del promedio de 30 puntos, lo que concuerda con la conclusión de los autores de que los modelos más sólidos se degradan menos.
7. Privacidad, Vigilancia y Accesibilidad
La preocupación documentada por la privacidad es concreta: los propios investigadores señalan el CCTV. Ma, Petridis y Pantic llaman al reconocimiento visual del habla “una tecnología de doble uso” que “puede desplegarse para vigilancia mediante CCTV o incluso mediante cámaras de teléfonos inteligentes, lo que plantea preocupaciones de privacidad”, y sostienen que es necesaria una regulación gubernamental. También informan de que en ese momento se estaba probando en hospitales del NHS del Reino Unido una aplicación para teléfonos inteligentes que ayuda a personas con discapacidad del habla a comunicarse. El Comisionado de Cámaras de Vigilancia (Surveillance Camera Commissioner) del Reino Unido, Tony Porter, advirtió en agosto de 2019 de la tecnología de vigilancia por lectura labial que se avecinaba (Big Brother Watch, 28 de agosto de 2019).
El contrapeso es técnico. Los investigadores de Oxford VGG consideran el espionaje por CCTV de “riesgo muy bajo” porque las cámaras “suelen funcionar con una resolución y una tasa de fotogramas mucho menores y desde ángulos inusuales” (Prajwal, Afouras y Zisserman, 2021). El sistema de 3.886 horas se entrenó solo con rostros girados hasta 30 grados respecto a la cámara, y sus autores dicen que no funciona bien en otros contextos (Shillingford et al., 2018). El argumento de la accesibilidad se apoya en una población numerosa: la hoja informativa de la OMS incluye el subtitulado y la lectura labial entre los apoyos para la pérdida auditiva. La IA de lenguaje visual más allá de los labios se trata en nuestras estadísticas de IA para lengua de señas y visión por computadora.
| Métrica | Valor | Fuente |
|---|---|---|
| Condiciones de entrenamiento del sistema de lectura labial de 3.886 horas: ángulo de la cabeza; tamaño mínimo del rostro; tasa de fotogramas mínima | guiñada y cabeceo dentro de más o menos 30 grados; al menos 80 píxeles entre los ojos; clips de menos de 23 fotogramas por segundo eliminados | Shillingford et al. (DeepMind y Google), 2018 |
| Altura mínima de los labios cerrados en el video para una lectura labial automática fiable | 4 píxeles | Bear, Harvey, Theobald y Lan, Resolution limits on visual speech recognition, ICIP 2014 |
| Menor resolución de video probada en el estudio de resolución vs fuente en full HD | 42 x 32 vs 1440 x 1080 píxeles (18 resoluciones probadas) | Bear, Harvey, Theobald y Lan, ICIP 2014 |
| Personas que necesitan rehabilitación por pérdida auditiva incapacitante | 430 millones (más del 5% de la población mundial) | Organización Mundial de la Salud, hoja informativa Deafness and hearing loss, 3 de marzo de 2026 |
| Personas que se proyecta que tendrán algún grado de pérdida auditiva vs pérdida auditiva incapacitante en 2050 | casi 2.500 millones vs más de 700 millones | Organización Mundial de la Salud, hoja informativa Deafness and hearing loss, 3 de marzo de 2026 |
| Costo mundial anual de la pérdida auditiva no atendida | casi US$1 billón | Organización Mundial de la Salud, hoja informativa Deafness and hearing loss, 3 de marzo de 2026 |
Contexto: el estudio de Bear et al. usó unos 30 minutos de video de dos hablantes, así que el mínimo de 4 píxeles es un límite orientativo y no una garantía. Dato más reciente disponible para el límite de resolución: Bear et al., 2014.
Resumen: WER en Lectura Labial y Reconocimiento Visual del Habla en Cifras
| Métrica | Valor | Fuente |
|---|---|---|
| WER a -7,5 dB de SNR con ruido blanco, solo audio vs audio más video | 88,9% vs 24,2% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER promedio en 4 tipos de ruido y 5 niveles de SNR, modelo solo de audio vs audiovisual | 25,8% vs 5,8% | Shi, Hsu y Mohamed (Meta AI), Interspeech 2022 |
| WER en inglés con ruido de fondo de muchas voces (babble) a 0 dB, Whisper-Large solo con audio vs Whisper-Flamingo | 13,8% vs 7,2% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER en LRS3, solo audio vs audio más video, sistema basado en LLM | 0,79% vs 0,77% | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| WER de lectura labial en LRS3, modelo Google Conformer | 12,8% | Chang et al. (Google), 2023 |
| WER de lectura labial en LRS3, modelo basado en fonemas con un 99,4% menos de datos etiquetados | 18,7% | Thomas, Fish y Bowden, VALLR, arXiv 2025 |
| WER de lectura labial en LRS3, AV-HuBERT con 30 horas etiquetadas vs mejor previo con 31.000 horas | 32,5% vs 33,6% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Aumento promedio de la WER en modelos de lectura labial más avanzados, de LRS3 a WildVSR | 30 puntos | Djilali et al., WildVSR 2023 |
| WER de lectura labial, modelo con decodificador Llama-2-13B, LRS3 vs WildVSR | 24,7% vs 47,0% | Jain y Harte, arXiv 2025 |
| Palabras correctas en frases sin sonido, 84 estudiantes universitarios con audición normal | 12,4% | Altieri, Pisoni y Townsend, JASA 2011 |
| Palabras correctas en frases sin sonido, pérdida auditiva de aparición temprana vs audición normal | 43,55% vs 18,57% | Auer y Bernstein, JSLHR 2007 |
| WER en clips de YouTube, lectores labiales profesionales (sin vs con contexto) vs máquina | 92,9% y 86,4% vs 40,9% | Shillingford et al. (DeepMind y Google), 2018 |
| WER en clips de la BBC, lector labial profesional vs modelo solo con labios | 73,8% vs 50,2% | Chung et al. (Oxford VGG y Google DeepMind), CVPR 2017 |
| Beneficio visual con ruido para el habla clara, adultos con audición normal | 3,74 dB | Blackburn et al., Trends in Hearing 2019 |
| Video y charlas de LRS3-TED | más de 400 horas, 5.594 charlas | Afouras, Chung y Zisserman (Oxford VGG), 2018 |
| Altura mínima de los labios cerrados en el video para una lectura labial automática fiable | 4 píxeles | Bear et al., ICIP 2014 |
| Personas que necesitan rehabilitación por pérdida auditiva incapacitante | 430 millones | Organización Mundial de la Salud, 2026 |
Metodología y Fuentes
- Ma et al., Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels, ICASSP 2023: brecha entre modalidades, tablas de robustez al ruido y escala de los datos de entrenamiento.
- Cappellazzo et al., Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR), ICASSP 2025: WER de audio y audiovisual en LRS3.
- Rouditchenko et al., Whisper-Flamingo, Interspeech 2024: WER limpia y con ruido de fondo de muchas voces (babble) de Whisper solo de audio vs audiovisual.
- Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023: 12,8% de WER de lectura labial en LRS3 y su conjunto de entrenamiento de 100 mil horas.
- Thomas, Fish y Bowden, VALLR: Visual ASR Language Model for Lip Reading, arXiv 2025: 18,7% de WER y eficiencia en el uso de datos etiquetados.
- Jain y Harte, From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition, arXiv septiembre de 2025: resultados de decodificadores con LLM en LRS3 y WildVSR.
- Meta AI: Shi et al., AV-HuBERT, ICLR 2022 y Shi, Hsu y Mohamed, Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022: eficiencia en el uso de datos y robustez al ruido.
- Anwar et al. (Meta AI), corpus audiovisual multilingüe MuAViC, 2023: tamaño del corpus y cobertura de idiomas.
- Oxford VGG: Afouras, Chung y Zisserman, LRS3-TED, 2018 y Prajwal, Afouras y Zisserman, Sub-word Level Lip Reading With Visual Attention, 2021: tamaños de los conjuntos de datos y la evaluación del riesgo del CCTV.
- Chung et al., Lip Reading Sentences in the Wild, CVPR 2017: resultados de labios vs audio en la BBC, resultados con ruido y referencia del lector labial profesional.
- Assael et al., LipNet: End-to-End Sentence-level Lipreading, 2016: resultados en el corpus de frases GRID y referencia de lectores labiales con discapacidad auditiva.
- Shillingford et al., Large-Scale Visual Speech Recognition, 2018: conjunto LSVSR, WER de lectores labiales profesionales, restricciones de ángulo del rostro y de resolución.
- Djilali et al., Do VSR Models Generalize Beyond LRS3? (WildVSR), 2023: brecha de generalización en condiciones reales.
- Ma, Petridis y Pantic, Visual Speech Recognition for Multiple Languages in the Wild, Nature Machine Intelligence 2022: WER fuera del inglés y la discusión sobre doble uso y privacidad.
- Altieri, Pisoni y Townsend, Some normative data on lip-reading skills, JASA 2011: puntuaciones humanas en frases solo con información visual.
- Auer y Bernstein, Enhanced visual speech perception in individuals with early-onset hearing impairment, JSLHR 2007: puntuaciones de lectura labial de personas sordas vs oyentes.
- Blackburn et al., Visual Speech Benefit in Clear and Degraded Speech, Trends in Hearing 2019: beneficio visual en decibelios.
- Lalonde, Buss, Miller y Leibold, Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss, Frontiers in Psychology 2022: puntuaciones de consonantes solo con información visual en niños y adultos.
- Bear, Harvey, Theobald y Lan, Resolution limits on visual speech recognition, ICIP 2014: resolución mínima de los labios.
- Organización Mundial de la Salud, hoja informativa Deafness and hearing loss, 3 de marzo de 2026: prevalencia, proyecciones y costo de la pérdida auditiva.
- Big Brother Watch, 28 de agosto de 2019: informe sobre la advertencia del Comisionado de Cámaras de Vigilancia del Reino Unido acerca de la vigilancia por lectura labial.
- Nota sobre los datos: las puntuaciones en el conjunto de prueba LRS3 no son comparables en igualdad de condiciones entre artículos que entrenan con datos distintos, y los conjuntos de prueba son diminutos (1 hora en LRS3). Varios artículos reclaman el estado del arte en fechas distintas: el 0,79% y el 0,77% de Llama-AVSR conviven con el 0,68% y el 0,76% de Whisper-Flamingo, y el 18,7% de VALLR convive con el 12,8%, más bajo, de Google, que usó muchos más datos etiquetados. VALLR y el estudio de Jain y Harte son preprints sin sede revisada por pares indicada. Las horas del mismo conjunto de datos difieren según la fuente: el artículo de LRS3-TED indica 407 horas de preentrenamiento y los conjuntos de preentrenamiento y de entrenamiento y validación de LRS2-BBC en 195 y 29 horas, mientras que Ma, Petridis y Pantic cuentan 438 horas para LRS3 y 223 horas para LRS2. El artículo de WildVSR da dos pendientes para su ajuste (1,31 y 1,30), y su Apéndice B dice que Whisper obtiene menos de 4 de WER en ambos conjuntos de prueba, lo que contradice el 4,2 de su Tabla 2. Tampoco indica el tamaño del modelo Whisper. Las referencias humanas dependen de paneles muy pequeños (un profesional en el estudio de la BBC, tres lectores labiales con discapacidad auditiva en LipNet), y los datos humanos normativos datan de 2007 y 2011. El estudio de Lalonde simuló mascarillas en lugar de hacer que los hablantes las llevaran puestas. No encontramos ninguna medición revisada por pares de la precisión de la lectura labial con grabaciones reales de CCTV: las preocupaciones de vigilancia citadas aquí son advertencias documentadas, no despliegues medidos.
Última actualización: 31 de octubre de 2026. Actualizamos este informe trimestralmente, y la próxima revisión se espera cuando las actas de ICASSP 2027 e Interspeech 2027 publiquen nuevos resultados de LRS3 y WildVSR.