Adicionar o vídeo dos lábios de quem fala reduziu a taxa de erro de palavras (WER) de um reconhecedor de fala de 88,9% para 24,2% em ruído branco intenso, a -7,5 dB (Ma et al., Auto-AVSR, ICASSP 2023). Só com os lábios, o resultado continua muito pior do que com áudio: um leitor labial de 2025 registra 18,7% de WER no benchmark de palestras TED LRS3 (Thomas, Fish e Bowden, VALLR 2025), enquanto um sistema audiovisual baseado em LLM chega a 0,77% (Cappellazzo et al., Llama-AVSR, ICASSP 2025). A leitura labial humana é um padrão ainda mais baixo: leitores labiais profissionais tiveram de 86,4% a 92,9% de WER em clipes do YouTube (Shillingford et al., DeepMind e Google, Large-Scale Visual Speech Recognition 2018). Reunimos dados dos conjuntos LRS2 e LRS3 do Oxford Visual Geometry Group (VGG), dos artigos sobre o AV-HuBERT da Meta AI, do estudo de generalização WildVSR, da Organização Mundial da Saúde e de pesquisas revisadas por pares sobre audição publicadas no JASA, no JSLHR e no Trends in Hearing. Para ver como reconhecedores só de áudio falham entre diferentes falantes, consulte nossas estatísticas de viés de sotaque no reconhecimento de fala.
Uma nota sobre os termos usados ao longo do texto: WER (taxa de erro de palavras) é a parcela de palavras que um sistema erra, contando palavras substituídas, ausentes e extras, portanto quanto menor, melhor. VSR (reconhecimento visual de fala) significa leitura labial por máquina a partir de vídeo sem som, ASR significa reconhecimento apenas por áudio e AVSR significa reconhecimento audiovisual, que usa os dois. SNR (relação sinal-ruído) mede quanto a fala é mais alta do que o ruído de fundo; uma SNR negativa significa que o ruído é mais alto do que a voz.
TL;DR
- A WER em inglês com ruído de fundo com muitas vozes (babble) a 0 dB caiu de 13,8% no Whisper-Large só com áudio para 7,2% no Whisper-Flamingo audiovisual (Rouditchenko et al., Interspeech 2024).
- Um sistema baseado em LLM registra 0,77% de WER audiovisual e 0,79% só com áudio no LRS3 (Cappellazzo et al., Llama-AVSR, ICASSP 2025).
- Um modelo de leitura labial do Google registra 12,8% de WER no LRS3, descrito como rival de modelos só de áudio de quatro anos antes (Chang et al., Google, artigo Conformers 2023).
- Um leitor labial baseado em fonemas alcançou 18,7% de WER no LRS3 com 99,4% menos dados rotulados do que a melhor abordagem seguinte (Thomas, Fish e Bowden, VALLR 2025).
- Leitores labiais profissionais tiveram 92,9% de WER sem contexto e 86,4% com contexto, contra 40,9% de um sistema de máquina (Shillingford et al., DeepMind e Google 2018).
- 84 estudantes universitários com audição normal identificaram 12,4% das palavras em vídeo mudo de frases (Altieri, Pisoni e Townsend, JASA 2011).
- Adultos com perda auditiva de início precoce leram 43,55% das palavras pelos lábios, contra 18,57% de adultos com audição normal (Auer e Bernstein, JSLHR 2007).
- Com apenas 30 horas rotuladas, o AV-HuBERT alcançou 32,5% de WER em leitura labial, superando um sistema de 33,6% treinado com 31.000 horas (Shi et al., Meta AI, ICLR 2022).
- Modelos de leitura labial de ponta perdem em média 30 pontos de WER ao passar do LRS3 para o conjunto de teste WildVSR (Djilali et al., WildVSR 2023).
- Rostos visíveis reduziram em 3,74 dB o limiar de ruído para entender fala clara (Blackburn et al., Trends in Hearing 2019).
- 430 milhões de pessoas precisam de reabilitação por perda auditiva incapacitante (Organização Mundial da Saúde, ficha informativa Deafness and hearing loss 2026).
1. Lábios, Áudio ou Ambos: a Lacuna entre Modalidades na Taxa de Erro de Palavras
A distância entre os olhos e os ouvidos ainda é de mais de uma ordem de grandeza. As menores pontuações de leitura labial no LRS3 neste levantamento são 12,8% e 18,7% de WER, enquanto as menores pontuações de áudio e audiovisual ficam abaixo de 1%. Sons diferentes podem produzir exatamente o mesmo movimento labial (‘p’ e ‘b’ são um exemplo clássico), então um modelo sem som precisa inferir pelo contexto o que um modelo de áudio simplesmente ouve.
O número mais surpreendente está no topo. Com áudio limpo, o vídeo acrescenta quase nada e pode até custar um pouco: o Whisper-Flamingo teve 0,76% de WER audiovisual contra 0,68% só com áudio no LRS3 (Rouditchenko et al., Interspeech 2024). O valor dos lábios aparece no ruído (veja a seção 2), não em palestras TED com qualidade de estúdio. O artigo do Llama-AVSR mostra o mesmo quase empate, com 0,79% contra 0,77%.
| Métrica | Valor | Fonte |
|---|---|---|
| WER no LRS3, só leitura labial vs só áudio vs áudio mais vídeo, modelo treinado com 3.448 horas | 19,1% vs 1,0% vs 0,9% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER no LRS3, só áudio vs áudio mais vídeo, sistema baseado em LLM | 0,79% vs 0,77% | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| WER no LRS3, só áudio vs áudio mais vídeo, sistema baseado em Whisper | 0,68% vs 0,76% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER de leitura labial no LRS3, modelo Google Conformer | 12,8% | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
| WER de leitura labial no LRS3, modelo baseado em fonemas com um grande modelo de linguagem | 18,7% | Thomas, Fish e Bowden, VALLR, arXiv 2025 (revisado em 5 de janeiro de 2026) |
| WER na televisão da BBC (LRS), só lábios vs só áudio limpo vs áudio limpo mais lábios | 50,2% vs 17,7% vs 13,9% | Chung et al. (Oxford VGG e Google DeepMind), Lip Reading Sentences in the Wild, CVPR 2017 |
Contexto: o artigo do Auto-AVSR relata esses números para um modelo treinado com 3.448 horas, e sua taxa de erro só com lábios no conjunto LRS2, baseado na BBC, foi menor, de 14,6%, contra 1,5% só com áudio. Esses modelos compartilham um conjunto de teste, mas não os dados de treinamento, portanto as pontuações não são comparáveis em pé de igualdade. Sistemas só de áudio têm modos de falha próprios além de simples erros de palavras, abordados em nossas estatísticas de alucinação em reconhecimento de fala.
2. Quanto o Vídeo Ajuda o Reconhecimento de Fala com SNR Baixa
É aqui que o vídeo dos lábios mostra seu valor. À medida que o ruído sobe, o erro só com áudio dispara, enquanto o erro audiovisual sobe devagar, de modo que a diferença aumenta exatamente onde legendas e interfaces de voz mais falham. O modelo audiovisual da Meta teve em média 5,8% de WER com ruído contra 25,8% da versão só com áudio, em 4 tipos de ruído e 5 níveis de SNR de -10 a 10 dB (Shi, Hsu e Mohamed, Interspeech 2022).
O tipo de ruído importa. O ruído de fundo com muitas vozes (babble) foi o que menos prejudicou o modelo só de áudio nos testes a -7,5 dB abaixo, mas esse ruído também foi usado no treinamento, então os autores alertam que esses resultados não são diretamente comparáveis com os de ruído rosa e branco (chiado de banda larga). Esses dois tipos de ruído produziram as maiores diferenças.
| Métrica | Valor | Fonte |
|---|---|---|
| WER a -7,5 dB de SNR, só áudio vs áudio mais vídeo: ruído branco; ruído rosa; ruído de fundo com muitas vozes (babble) | 88,9% vs 24,2%; 56,8% vs 16,2%; 8,3% vs 5,6% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER em ruído branco a 2,5 dB de SNR, só áudio vs áudio mais vídeo | 10,4% vs 4,3% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER média em 4 tipos de ruído e 5 níveis de SNR (-10 a 10 dB), modelo só de áudio vs modelo audiovisual baseado no AV-HuBERT | 25,8% vs 5,8% | Shi, Hsu e Mohamed (Meta AI), Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022 |
| WER em ruído de fundo com muitas vozes (babble), estado da arte anterior treinado com 433 horas rotuladas vs AV-HuBERT treinado com 30 horas rotuladas | 28,0% vs 14,1% | Shi, Hsu e Mohamed (Meta AI), Interspeech 2022 |
| WER em inglês em ruído de fundo com muitas vozes (babble) a 0 dB de SNR (teste MuAViC), Whisper-Large só com áudio vs Whisper-Flamingo audiovisual | 13,8% vs 7,2% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER na televisão da BBC a 10 dB e 0 dB de SNR, só áudio vs áudio mais lábios | 37,6% e 62,9% vs 27,6% e 42,0% | Chung et al. (Oxford VGG e Google DeepMind), CVPR 2017 |
Nota sobre valores atípicos: os números da BBC de 2017 vêm de uma geração de modelos muito mais fraca, mas mostram o mesmo padrão em um nível de erro mais alto. A 0 dB, adicionar os lábios reduziu o erro em 20,9 pontos (62,9 menos 42,0); com ruído branco a -7,5 dB em 2023, a redução foi de 64,7 pontos (88,9 menos 24,2). Dado mais recente disponível para essa comparação com a BBC: o estudo de 2017.
3. Leitores Labiais Humanos como Referência
A leitura labial humana é muito mais difícil do que a maioria das pessoas imagina. Jovens adultos com audição normal identificaram apenas 12,4% das palavras em vídeo mudo de frases faladas (Altieri, Pisoni e Townsend, JASA 2011). Depender do rosto a vida toda eleva muito esse número: adultos que perderam a audição cedo leram mais que o dobro de palavras do que adultos ouvintes (Auer e Bernstein, JSLHR 2007).
As máquinas superaram profissionais treinados há anos em vídeos de benchmark, mas a comparação tem limites. As referências humanas usaram amostras pequenas: 300 vídeos e 3 leitores labiais no LipNet, 200 vídeos e um profissional no estudo da BBC. Esse profissional via de qual programa vinha cada clipe, estudava vídeos de treinamento de amostra e podia repetir os clipes sem limite, portanto a pontuação humana não é um resultado de leitura às cegas. Para o lado da sala de aula na educação de surdos, veja nossas estatísticas de educação de estudantes surdos e com deficiência auditiva.
| Métrica | Valor | Fonte |
|---|---|---|
| Palavras corretas em vídeo mudo de frases CUNY, 84 estudantes universitários com audição normal | 12,4% (DP 6,67%) | Altieri, Pisoni e Townsend (Indiana University), Some normative data on lip-reading skills, JASA 2011 |
| Palavras corretas em vídeo mudo de 30 frases, adultos com perda auditiva de início precoce (n = 112) vs audição normal (n = 220) | 43,55% (DP 17,48) vs 18,57% (DP 13,18); t(330) = 14,576, p < 0,01 | Auer e Bernstein, JSLHR 2007 |
| Consoantes reconhecidas em vídeo mudo sem máscara: crianças com audição normal vs crianças com perda auditiva vs adultos com audição normal | cerca de 31% vs 33% vs 42% | Lalonde, Buss, Miller e Leibold, Frontiers in Psychology 2022 |
| WER em frases GRID de falantes não vistos, 3 leitores labiais com deficiência auditiva vs LipNet | 47,7% vs 11,4% | Assael et al. (University of Oxford e Google DeepMind), LipNet 2016 |
| WER em clipes de teste da BBC, um leitor labial profissional vs modelo de máquina só com lábios | 73,8% vs 50,2% (87,6% para o humano quando os clipes recusados são contados) | Chung et al. (Oxford VGG e Google DeepMind), CVPR 2017 |
| WER em clipes do YouTube, leitores labiais profissionais sem contexto vs com contexto vs sistema de máquina | 92,9% vs 86,4% vs 40,9% | Shillingford et al. (DeepMind e Google), Large-Scale Visual Speech Recognition 2018 |
| Benefício visual para adultos com audição normal (queda da SNR necessária para acertar metade das palavras-chave), fala clara vs fala processada por vocoder de ruído | 3,74 dB (DP 2,67) vs 4,68 dB (DP 3,28) | Blackburn et al., Trends in Hearing 2019 |
Contexto: no experimento 1 do estudo de Blackburn, os ouvintes acertaram em média apenas 1,56% só com vídeo, e ainda assim ver o falante melhorou seus limiares em relação ao áudio isolado (os valores de 3,74 dB e 4,68 dB vêm do experimento 2). A leitura labial funciona melhor como complemento do som, tanto para máquinas quanto para pessoas. Fala processada por vocoder de ruído é áudio deliberadamente degradado pela remoção de detalhes finos do som. Dado mais recente disponível para as pontuações humanas normativas: Altieri et al., 2011, e Auer e Bernstein, 2007.
4. Conjuntos de Dados de Leitura Labial: Horas, Falantes e Vocabulário
A pesquisa em leitura labial se apoia em um punhado de conjuntos de dados públicos construídos a partir de TV aberta e palestras TED. O benchmark LRS3 reúne mais de 400 horas de 5.594 palestras TED e TEDx, mas seu conjunto de teste tem apenas 1 hora (Afouras, Chung e Zisserman, LRS3-TED 2018). Um campo inteiro ranqueia seus modelos em 1.452 enunciados de teste, o que é uma das razões pelas quais a seção 6 importa.
Os maiores conjuntos de treinamento pertencem à indústria. O conjunto LSVSR do YouTube, com 3.886 horas, é quase dez vezes maior que o conjunto de pré-treinamento do LRS3 (3.886 dividido por 407 dá 9,5), enquanto a pesquisa pública compensa com rótulos gerados por máquina e pré-treinamento autossupervisionado.
| Métrica | Valor | Fonte |
|---|---|---|
| Total de vídeo e palestras de origem do LRS3-TED; tamanho do conjunto de teste | mais de 400 horas de 5.594 palestras TED e TEDx; 1 hora, 1.452 enunciados, 451 falantes | Afouras, Chung e Zisserman (Oxford VGG), LRS3-TED 2018 |
| LRS2-BBC conjunto de pré-treinamento vs conjunto de treino-validação | 195 horas (96 mil enunciados) vs 29 horas (47 mil enunciados) | Afouras, Chung e Zisserman (Oxford VGG), LRS3-TED 2018, Tabela 1 |
| Conjunto LSVSR do YouTube: horas, enunciados, vocabulário | 3.886 horas; 2.934.899 enunciados; 127.055 palavras | Shillingford et al. (DeepMind e Google), 2018 |
| Vídeo em inglês do VoxCeleb2 usado no pré-treinamento; total de dados de pré-treinamento do AV-HuBERT | 1.326 horas; 1.759 horas | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Corpus audiovisual multilíngue MuAViC | 1.200 horas em 9 idiomas | Anwar et al. (Meta AI), MuAViC 2023 |
| Conjunto de teste WildVSR: horas, enunciados, falantes, vocabulário | 4,8 horas; 2.854 enunciados; 618 falantes; 6.040 palavras | Djilali et al. (Technology Innovation Institute), Do VSR Models Generalize Beyond LRS3?, 2023 |
Contexto: as divisões de pré-treinamento e treino-validação do LRS3 se sobrepõem em conteúdo, então suas horas não devem ser somadas. Dado mais recente disponível para os benchmarks centrais: artigo do LRS3-TED, 2018. O artigo do MuAViC se apresenta como o maior benchmark aberto para reconhecimento audiovisual de fala multilíngue.
5. Escala dos Dados de Treinamento vs Precisão na Leitura Labial
Mais vídeo ainda compra precisão, mas um treinamento mais inteligente compra mais por hora. O AV-HuBERT igualou um sistema de 31.000 horas com apenas 30 horas rotuladas: 32,5% de WER contra 33,6% (Shi et al., Meta AI, ICLR 2022). O pré-treinamento autossupervisionado em vídeo não rotulado fez o trabalho pesado: a mesma arquitetura treinada do zero nessas 30 horas teve 92,3%.
As horas ainda importam, mas não decidem o ranking. Ir de 818 para 3.448 horas de treinamento reduziu o erro de leitura labial no LRS3 em 13,9 pontos (33,0 menos 19,1). Duas execuções muito maiores na tabela abaixo ficam então a 4,2 pontos de distância, 17,0% com cerca de 90.000 horas e 12,8% com 100 mil horas, o que aponta para a arquitetura além do volume.
| Métrica | Valor | Fonte |
|---|---|---|
| WER de leitura labial no LRS3 com 818 vs 1.902 vs 3.448 horas de treinamento (um modelo treinado com cerca de 90.000 horas não públicas: 17,0%) | 33,0% vs 23,5% vs 19,1% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER de leitura labial no LRS3, AV-HuBERT com 30 horas rotuladas vs todas as 433 horas rotuladas mais autotreinamento (melhor anterior: 33,6% com 31.000 horas) | 32,5% vs 26,9% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| WER de leitura labial no LRS3, mesma arquitetura grande treinada do zero com 30 vs 433 horas rotuladas | 92,3% vs 62,3% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022, Tabela 1 |
| Dados rotulados usados por um leitor labial baseado em fonemas em comparação com a melhor abordagem seguinte | 99,4% menos (para 18,7% de WER no LRS3) | Thomas, Fish e Bowden, VALLR, arXiv 2025 |
| Vídeo de treinamento por trás dos 12,8% de WER de leitura labial do Google no LRS3 | 100 mil horas de segmentos transcritos do YouTube, depois ajuste fino no LRS3 (mais de 400 horas) | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
Contexto: modelos de linguagem maiores também não são um atalho. Jain e Harte (arXiv, setembro de 2025) concluem que os decodificadores de grandes modelos de linguagem refinam principalmente o raciocínio contextual, e não as características visuais, e que são necessários codificadores visuais mais fortes para avançar mais.
6. Além das Palestras TED: Vídeo em Condições Reais e Leitura Labial Fora do Inglês
A WER dos benchmarks favorece a leitura labial. Quando pesquisadores construíram um novo conjunto de teste a partir de vídeos do YouTube, seguindo de perto o processo de criação do LRS3, os modelos de leitura labial de ponta perderam em média 30 pontos de WER (Djilali et al., WildVSR 2023). O áudio mudou bem menos: o Whisper foi de 1,1% para 4,2%. Os rankings, porém, se mantiveram, então uma pontuação melhor no LRS3 ainda prevê uma pontuação melhor no WildVSR.
O idioma é o segundo ponto cego. O método que teve 31,5% de WER no LRS3 em inglês teve 56,3% ou pior em palestras no estilo TED em espanhol, italiano e francês (Ma, Petridis e Pantic, Nature Machine Intelligence 2022). Dado mais recente disponível para leitura labial fora do inglês: esse artigo de 2022.
| Métrica | Valor | Fonte |
|---|---|---|
| Aumento médio da WER em modelos de leitura labial de ponta, do LRS3 para o WildVSR | 30 pontos | Djilali et al., WildVSR 2023 |
| WER de leitura labial, melhor modelo testado (Auto-AVSR, 3.448 horas), LRS3 vs WildVSR | 19,1% vs 38,6% | Djilali et al., WildVSR 2023, Tabela 2 |
| WER só com áudio, Whisper, LRS3 vs WildVSR | 1,1% vs 4,2% | Djilali et al., WildVSR 2023, Tabela 2 |
| Relação ajustada entre a WER no WildVSR e a WER no LRS3 entre os modelos | WER no WildVSR = cerca de 1,31 x WER no LRS3 + 14,05 | Djilali et al., WildVSR 2023 |
| WER de leitura labial, modelo com decodificador Llama-2-13B, LRS3 vs WildVSR | 24,7% vs 47,0% | Jain e Harte, From Hype to Insight, arXiv 2025 |
| Erro de leitura labial por idioma, melhor execução: taxa de erro de caracteres em mandarim (CMLR) vs taxa de erro de palavras em espanhol, italiano e francês (Multilingual TEDx) | 8,0% vs 56,3%, 57,4% e 66,2% | Ma, Petridis e Pantic, Nature Machine Intelligence 2022 |
Contexto: o número do mandarim conta erros por caractere, e não por palavra, portanto não é diretamente comparável com os números de WER. A diferença no WildVSR para o melhor modelo é de 19,5 pontos (38,6 menos 19,1), abaixo da média de 30 pontos, o que é coerente com a conclusão dos autores de que modelos mais fortes se degradam menos.
7. Privacidade, Vigilância e Acessibilidade
A preocupação documentada com a privacidade é concreta: os próprios pesquisadores apontam o CCTV. Ma, Petridis e Pantic chamam o reconhecimento visual de fala de “uma tecnologia de uso duplo” que “pode ser implantada para vigilância via CCTV ou até por câmeras de smartphones, o que levanta preocupações de privacidade”, e defendem que a regulamentação governamental é necessária. Eles também relatam que um aplicativo de smartphone para ajudar pessoas com deficiência de fala a se comunicar estava em teste em hospitais do NHS no Reino Unido na época. O Comissário de Câmeras de Vigilância (Surveillance Camera Commissioner) do Reino Unido, Tony Porter, alertou em agosto de 2019 para a tecnologia de vigilância por leitura labial no horizonte (Big Brother Watch, 28 de agosto de 2019).
O contrapeso é técnico. Pesquisadores do Oxford VGG consideram a escuta clandestina por CCTV de “risco muito baixo” porque as câmeras “geralmente operam com resolução e taxas de quadros muito menores e em ângulos incomuns” (Prajwal, Afouras e Zisserman, 2021). O sistema de 3.886 horas foi treinado apenas com rostos virados em até 30 graus em relação à câmera, e seus autores dizem que ele não funciona bem em outros contextos (Shillingford et al., 2018). O argumento da acessibilidade se apoia em uma grande população: a ficha informativa da OMS lista legendas e leitura labial entre os apoios para a perda auditiva. A IA de linguagem visual além dos lábios é abordada em nossas estatísticas de IA para língua de sinais e visão computacional.
| Métrica | Valor | Fonte |
|---|---|---|
| Condições de treinamento do sistema de leitura labial de 3.886 horas: ângulo da cabeça; tamanho mínimo do rosto; taxa mínima de quadros | guinada e inclinação dentro de mais ou menos 30 graus; pelo menos 80 pixels entre os olhos; clipes abaixo de 23 quadros por segundo removidos | Shillingford et al. (DeepMind e Google), 2018 |
| Altura mínima dos lábios fechados no vídeo para leitura labial automática confiável | 4 pixels | Bear, Harvey, Theobald e Lan, Resolution limits on visual speech recognition, ICIP 2014 |
| Menor resolução de vídeo testada no estudo de resolução vs fonte em full HD | 42 x 32 vs 1440 x 1080 pixels (18 resoluções testadas) | Bear, Harvey, Theobald e Lan, ICIP 2014 |
| Pessoas que precisam de reabilitação por perda auditiva incapacitante | 430 milhões (mais de 5% da população mundial) | Organização Mundial da Saúde, ficha informativa Deafness and hearing loss, 3 de março de 2026 |
| Pessoas projetadas com algum grau de perda auditiva vs perda auditiva incapacitante até 2050 | quase 2,5 bilhões vs mais de 700 milhões | Organização Mundial da Saúde, ficha informativa Deafness and hearing loss, 3 de março de 2026 |
| Custo global anual da perda auditiva não tratada | quase US$ 1 trilhão | Organização Mundial da Saúde, ficha informativa Deafness and hearing loss, 3 de março de 2026 |
Contexto: o estudo de Bear et al. usou cerca de 30 minutos de vídeo de dois falantes, então o piso de 4 pixels é um limite indicativo, não uma garantia. Dado mais recente disponível para o limite de resolução: Bear et al., 2014.
Resumo: WER em Leitura Labial e Reconhecimento Visual de Fala em Números
| Métrica | Valor | Fonte |
|---|---|---|
| WER a -7,5 dB de SNR em ruído branco, só áudio vs áudio mais vídeo | 88,9% vs 24,2% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER média em 4 tipos de ruído e 5 níveis de SNR, modelo só de áudio vs audiovisual | 25,8% vs 5,8% | Shi, Hsu e Mohamed (Meta AI), Interspeech 2022 |
| WER em inglês em ruído de fundo com muitas vozes (babble) a 0 dB, Whisper-Large só com áudio vs Whisper-Flamingo | 13,8% vs 7,2% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER no LRS3, só áudio vs áudio mais vídeo, sistema baseado em LLM | 0,79% vs 0,77% | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| WER de leitura labial no LRS3, modelo Google Conformer | 12,8% | Chang et al. (Google), 2023 |
| WER de leitura labial no LRS3, modelo baseado em fonemas com 99,4% menos dados rotulados | 18,7% | Thomas, Fish e Bowden, VALLR, arXiv 2025 |
| WER de leitura labial no LRS3, AV-HuBERT com 30 horas rotuladas vs melhor anterior com 31.000 horas | 32,5% vs 33,6% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Aumento médio da WER em modelos de leitura labial de ponta, do LRS3 para o WildVSR | 30 pontos | Djilali et al., WildVSR 2023 |
| WER de leitura labial, modelo com decodificador Llama-2-13B, LRS3 vs WildVSR | 24,7% vs 47,0% | Jain e Harte, arXiv 2025 |
| Palavras corretas em frases sem som, 84 estudantes universitários com audição normal | 12,4% | Altieri, Pisoni e Townsend, JASA 2011 |
| Palavras corretas em frases sem som, perda auditiva de início precoce vs audição normal | 43,55% vs 18,57% | Auer e Bernstein, JSLHR 2007 |
| WER em clipes do YouTube, leitores labiais profissionais (sem vs com contexto) vs máquina | 92,9% e 86,4% vs 40,9% | Shillingford et al. (DeepMind e Google), 2018 |
| WER em clipes da BBC, leitor labial profissional vs modelo só com lábios | 73,8% vs 50,2% | Chung et al. (Oxford VGG e Google DeepMind), CVPR 2017 |
| Benefício visual no ruído para fala clara, adultos com audição normal | 3,74 dB | Blackburn et al., Trends in Hearing 2019 |
| Vídeo e palestras do LRS3-TED | mais de 400 horas, 5.594 palestras | Afouras, Chung e Zisserman (Oxford VGG), 2018 |
| Altura mínima dos lábios fechados no vídeo para leitura labial automática confiável | 4 pixels | Bear et al., ICIP 2014 |
| Pessoas que precisam de reabilitação por perda auditiva incapacitante | 430 milhões | Organização Mundial da Saúde, 2026 |
Metodologia e Fontes
- Ma et al., Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels, ICASSP 2023: lacuna entre modalidades, tabelas de robustez a ruído e escala dos dados de treinamento.
- Cappellazzo et al., Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR), ICASSP 2025: WER de áudio e audiovisual no LRS3.
- Rouditchenko et al., Whisper-Flamingo, Interspeech 2024: WER limpa e com ruído de fundo com muitas vozes (babble) do Whisper só de áudio vs audiovisual.
- Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023: 12,8% de WER de leitura labial no LRS3 e seu conjunto de treinamento de 100 mil horas.
- Thomas, Fish e Bowden, VALLR: Visual ASR Language Model for Lip Reading, arXiv 2025: 18,7% de WER e eficiência no uso de dados rotulados.
- Jain e Harte, From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition, arXiv setembro de 2025: resultados de decodificadores com LLM no LRS3 e no WildVSR.
- Meta AI: Shi et al., AV-HuBERT, ICLR 2022 e Shi, Hsu e Mohamed, Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022: eficiência no uso de dados e robustez a ruído.
- Anwar et al. (Meta AI), corpus audiovisual multilíngue MuAViC, 2023: tamanho do corpus e cobertura de idiomas.
- Oxford VGG: Afouras, Chung e Zisserman, LRS3-TED, 2018 e Prajwal, Afouras e Zisserman, Sub-word Level Lip Reading With Visual Attention, 2021: tamanhos dos conjuntos de dados e a avaliação de risco do CCTV.
- Chung et al., Lip Reading Sentences in the Wild, CVPR 2017: resultados de lábios vs áudio na BBC, resultados com ruído e referência do leitor labial profissional.
- Assael et al., LipNet: End-to-End Sentence-level Lipreading, 2016: resultados no corpus de frases GRID e referência de leitores labiais com deficiência auditiva.
- Shillingford et al., Large-Scale Visual Speech Recognition, 2018: conjunto LSVSR, WER de leitores labiais profissionais, restrições de ângulo do rosto e de resolução.
- Djilali et al., Do VSR Models Generalize Beyond LRS3? (WildVSR), 2023: lacuna de generalização em condições reais.
- Ma, Petridis e Pantic, Visual Speech Recognition for Multiple Languages in the Wild, Nature Machine Intelligence 2022: WER fora do inglês e a discussão sobre uso duplo e privacidade.
- Altieri, Pisoni e Townsend, Some normative data on lip-reading skills, JASA 2011: pontuações humanas em frases apenas com informação visual.
- Auer e Bernstein, Enhanced visual speech perception in individuals with early-onset hearing impairment, JSLHR 2007: pontuações de leitura labial de surdos vs ouvintes.
- Blackburn et al., Visual Speech Benefit in Clear and Degraded Speech, Trends in Hearing 2019: benefício visual em decibéis.
- Lalonde, Buss, Miller e Leibold, Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss, Frontiers in Psychology 2022: pontuações de consoantes apenas com informação visual para crianças e adultos.
- Bear, Harvey, Theobald e Lan, Resolution limits on visual speech recognition, ICIP 2014: resolução mínima dos lábios.
- Organização Mundial da Saúde, ficha informativa Deafness and hearing loss, 3 de março de 2026: prevalência, projeções e custo da perda auditiva.
- Big Brother Watch, 28 de agosto de 2019: relato do alerta do Comissário de Câmeras de Vigilância do Reino Unido sobre vigilância por leitura labial.
- Nota sobre os dados: as pontuações no conjunto de teste LRS3 não são comparáveis em pé de igualdade entre artigos que treinam com dados diferentes, e os conjuntos de teste são minúsculos (1 hora no LRS3). Vários artigos reivindicam o estado da arte em datas diferentes: os 0,79% e 0,77% do Llama-AVSR ficam ao lado dos 0,68% e 0,76% do Whisper-Flamingo, e os 18,7% do VALLR ficam ao lado dos 12,8% mais baixos do Google, que usou muito mais dados rotulados. O VALLR e o estudo de Jain e Harte são preprints sem veículo revisado por pares listado. As horas do mesmo conjunto de dados diferem conforme a fonte: o artigo do LRS3-TED lista 407 horas de pré-treinamento e os conjuntos de pré-treinamento e treino-validação do LRS2-BBC com 195 e 29 horas, enquanto Ma, Petridis e Pantic contam 438 horas para o LRS3 e 223 horas para o LRS2. O artigo do WildVSR dá duas inclinações para seu ajuste (1,31 e 1,30), e seu Apêndice B diz que o Whisper tem WER abaixo de 4 nos dois conjuntos de teste, o que conflita com o 4,2 de sua Tabela 2. Ele também não informa o tamanho do modelo Whisper. As referências humanas dependem de painéis muito pequenos (um profissional no estudo da BBC, três leitores labiais com deficiência auditiva no LipNet), e os dados humanos normativos datam de 2007 e 2011. O estudo de Lalonde simulou máscaras em vez de fazer os falantes usá-las. Não encontramos nenhuma medição revisada por pares da precisão de leitura labial em imagens reais de CCTV: as preocupações com vigilância citadas aqui são alertas documentados, não implantações medidas.
Última atualização: 31 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando os anais do ICASSP 2027 e do Interspeech 2027 publicarem novos resultados do LRS3 e do WildVSR.