Dodanie wideo ust mówcy obniżyło współczynnik błędów słów (WER) systemu rozpoznawania mowy z 88,9% do 24,2% w silnym białym szumie przy -7,5 dB (Ma i in., Auto-AVSR, ICASSP 2023). Same usta pozostają znacznie słabsze od dźwięku: model czytający z ruchu warg z 2025 roku osiąga WER 18,7% w benchmarku wystąpień TED LRS3 (Thomas, Fish i Bowden, VALLR 2025), a system audiowizualny oparty na dużym modelu językowym dociera do 0,77% (Cappellazzo i in., Llama-AVSR, ICASSP 2025). Ludzkie czytanie z ruchu warg to jeszcze niższa poprzeczka: zawodowe osoby czytające z ruchu warg uzyskały WER od 86,4% do 92,9% na klipach YouTube (Shillingford i in., DeepMind i Google, Large-Scale Visual Speech Recognition 2018). Zebraliśmy dane ze zbiorów LRS2 i LRS3 grupy Oxford Visual Geometry Group (VGG), prac Meta AI o AV-HuBERT, badania uogólniania WildVSR, Światowej Organizacji Zdrowia oraz recenzowanych badań nad słuchem w JASA, JSLHR i Trends in Hearing. O tym, jak systemy oparte wyłącznie na dźwięku zawodzą u różnych mówców, piszemy w naszych statystykach uprzedzeń akcentowych w rozpoznawaniu mowy.
Uwaga o terminach używanych w całym tekście: WER (współczynnik błędów słów) to odsetek słów, w których system się myli, licząc słowa błędne, brakujące i nadmiarowe, więc im niższy, tym lepiej. VSR (wizualne rozpoznawanie mowy) oznacza maszynowe czytanie z ruchu warg z wideo bez dźwięku, ASR oznacza rozpoznawanie mowy wyłącznie z dźwięku, a AVSR oznacza rozpoznawanie audiowizualne, które wykorzystuje oba źródła. SNR (stosunek sygnału do szumu) mierzy, o ile głośniejsza jest mowa od szumu tła; ujemny SNR oznacza, że szum jest głośniejszy od głosu.
TL;DR
- Angielski WER w szumie typu babble przy 0 dB spadł z 13,8% dla Whisper-Large korzystającego tylko z dźwięku do 7,2% dla audiowizualnego Whisper-Flamingo (Rouditchenko i in., Interspeech 2024).
- System oparty na dużym modelu językowym osiąga WER 0,77% w trybie audiowizualnym i 0,79% tylko z dźwiękiem na LRS3 (Cappellazzo i in., Llama-AVSR, ICASSP 2025).
- Model Google do czytania z ruchu warg osiąga WER 12,8% na LRS3, co opisano jako dorównujące modelom opartym na samym dźwięku sprzed czterech lat (Chang i in., Google, praca o Conformers 2023).
- Model czytania z ruchu warg oparty na fonemach osiągnął WER 18,7% na LRS3 przy 99,4% mniejszej ilości danych z etykietami niż kolejne najlepsze podejście (Thomas, Fish i Bowden, VALLR 2025).
- Zawodowe osoby czytające z ruchu warg uzyskały WER 92,9% bez kontekstu i 86,4% z kontekstem, wobec 40,9% dla systemu maszynowego (Shillingford i in., DeepMind i Google 2018).
- 84 studentów z prawidłowym słuchem rozpoznało 12,4% słów z wideo bez dźwięku ze zdaniami (Altieri, Pisoni i Townsend, JASA 2011).
- Dorośli z niedosłuchem o wczesnym początku odczytali z ust 43,55% słów wobec 18,57% u dorosłych z prawidłowym słuchem (Auer i Bernstein, JSLHR 2007).
- Przy zaledwie 30 godzinach z etykietami AV-HuBERT osiągnął WER 32,5% w czytaniu z ruchu warg, pokonując system z wynikiem 33,6% wytrenowany na 31.000 godzin (Shi i in., Meta AI, ICLR 2022).
- Najnowocześniejsze modele czytania z ruchu warg tracą średnio 30 punktów WER po przejściu z LRS3 na zbiór testowy WildVSR (Djilali i in., WildVSR 2023).
- Widoczne twarze obniżyły próg hałasu potrzebny do zrozumienia wyraźnej mowy o 3,74 dB (Blackburn i in., Trends in Hearing 2019).
- 430 milionów osób wymaga rehabilitacji z powodu niedosłuchu upośledzającego (Światowa Organizacja Zdrowia, karta informacyjna o głuchocie i niedosłuchu 2026).
1. Usta vs dźwięk vs oba: luka między modalnościami w WER
Dystans między oczami a uszami wciąż przekracza rząd wielkości. Najniższe wyniki czytania z ruchu warg na LRS3 w tym zestawieniu to WER 12,8% i 18,7%, podczas gdy najniższe wyniki dla dźwięku i dla dźwięku z wideo są poniżej 1%. Różne dźwięki mogą dawać dokładnie ten sam ruch warg (‘p’ i ‘b’ to standardowy przykład), więc model niemy musi wnioskować z kontekstu to, co model dźwiękowy po prostu słyszy.
Bardziej zaskakująca jest liczba na samej górze. Przy czystym dźwięku wideo nie dodaje prawie nic, a może nawet trochę kosztować: Whisper-Flamingo uzyskał WER 0,76% w trybie audiowizualnym wobec 0,68% tylko z dźwiękiem na LRS3 (Rouditchenko i in., Interspeech 2024). Wartość ust ujawnia się w hałasie (zob. sekcja 2), a nie w wystąpieniach TED o jakości studyjnej. Praca o Llama-AVSR pokazuje ten sam niemal remis, 0,79% wobec 0,77%.
| Metryka | Wartość | Źródło |
|---|---|---|
| WER na LRS3, tylko usta vs tylko dźwięk vs dźwięk plus wideo, model wytrenowany na 3.448 godz. | 19,1% vs 1,0% vs 0,9% | Ma i in., Auto-AVSR, ICASSP 2023 |
| WER na LRS3, tylko dźwięk vs dźwięk plus wideo, system oparty na dużym modelu językowym | 0,79% vs 0,77% | Cappellazzo i in., Llama-AVSR, ICASSP 2025 |
| WER na LRS3, tylko dźwięk vs dźwięk plus wideo, system oparty na Whisper | 0,68% vs 0,76% | Rouditchenko i in., Whisper-Flamingo, Interspeech 2024 |
| WER czytania z ruchu warg na LRS3, model Google Conformer | 12,8% | Chang i in. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
| WER czytania z ruchu warg na LRS3, model oparty na fonemach z dużym modelem językowym | 18,7% | Thomas, Fish i Bowden, VALLR, arXiv 2025 (zrewidowane 5 stycznia 2026) |
| WER w telewizji BBC (LRS), tylko usta vs tylko czysty dźwięk vs czysty dźwięk plus usta | 50,2% vs 17,7% vs 13,9% | Chung i in. (Oxford VGG i Google DeepMind), Lip Reading Sentences in the Wild, CVPR 2017 |
Kontekst: praca o Auto-AVSR podaje te liczby dla modelu wytrenowanego na 3.448 godzinach, a jego błąd przy samych ustach na zbiorze LRS2 opartym na BBC był niższy, 14,6%, wobec 1,5% przy samym dźwięku. Te modele mają wspólny zbiór testowy, ale nie dane treningowe, więc wyniki nie są porównywalne jeden do jednego. Systemy oparte wyłącznie na dźwięku mają własne rodzaje awarii wykraczające poza zwykłe błędy słów, opisane w naszych statystykach halucynacji w rozpoznawaniu mowy.
2. Ile wideo pomaga rozpoznawaniu mowy przy niskim SNR
Tu wideo ust zasługuje na swoje miejsce. Gdy hałas rośnie, błąd modeli opartych na samym dźwięku gwałtownie rośnie, a błąd modeli audiowizualnych rośnie powoli, więc różnica powiększa się dokładnie tam, gdzie napisy i interfejsy głosowe zawodzą najbardziej. Audiowizualny model Meta osiągnął średni WER 5,8% w hałasie wobec 25,8% dla wersji opartej na samym dźwięku, w 4 typach szumu i 5 poziomach SNR od -10 do 10 dB (Shi, Hsu i Mohamed, Interspeech 2022).
Rodzaj szumu ma znaczenie. Szum typu babble (wiele osób rozmawiających w tle) najmniej szkodził modelowi opartemu na samym dźwięku w poniższych testach przy -7,5 dB, ale był też używany podczas treningu, więc autorzy ostrzegają, że te wyniki nie są bezpośrednio porównywalne z różowym i białym szumem (szerokopasmowym sykiem). Te dwa rodzaje szumu dały największe różnice.
| Metryka | Wartość | Źródło |
|---|---|---|
| WER przy SNR -7,5 dB, tylko dźwięk vs dźwięk plus wideo: biały szum; różowy szum; szum typu babble | 88,9% vs 24,2%; 56,8% vs 16,2%; 8,3% vs 5,6% | Ma i in., Auto-AVSR, ICASSP 2023 |
| WER w białym szumie przy SNR 2,5 dB, tylko dźwięk vs dźwięk plus wideo | 10,4% vs 4,3% | Ma i in., Auto-AVSR, ICASSP 2023 |
| Średni WER w 4 typach szumu i 5 poziomach SNR (od -10 do 10 dB), model oparty na samym dźwięku vs model audiowizualny zbudowany na AV-HuBERT | 25,8% vs 5,8% | Shi, Hsu i Mohamed (Meta AI), Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022 |
| WER w szumie typu babble, poprzedni najlepszy wynik wytrenowany na 433 godz. z etykietami vs AV-HuBERT wytrenowany na 30 godz. z etykietami | 28,0% vs 14,1% | Shi, Hsu i Mohamed (Meta AI), Interspeech 2022 |
| Angielski WER w szumie typu babble przy SNR 0 dB (test MuAViC), Whisper-Large tylko z dźwiękiem vs audiowizualny Whisper-Flamingo | 13,8% vs 7,2% | Rouditchenko i in., Whisper-Flamingo, Interspeech 2024 |
| WER w telewizji BBC przy SNR 10 dB i 0 dB, tylko dźwięk vs dźwięk plus usta | 37,6% i 62,9% vs 27,6% i 42,0% | Chung i in. (Oxford VGG i Google DeepMind), CVPR 2017 |
Uwaga o wartości odstającej: liczby BBC z 2017 roku pochodzą ze znacznie słabszej generacji modeli, ale pokazują ten sam wzorzec przy wyższym poziomie błędu. Przy 0 dB dodanie ust obniżyło błąd o 20,9 punktu (62,9 minus 42,0); przy białym szumie -7,5 dB w 2023 roku obniżenie wyniosło 64,7 punktu (88,9 minus 24,2). Najnowsze dostępne dane dla tego porównania BBC: badanie z 2017 roku.
3. Ludzie czytający z ruchu warg jako punkt odniesienia
Ludzkie czytanie z ruchu warg jest o wiele trudniejsze, niż zakłada większość osób. Młodzi dorośli z prawidłowym słuchem rozpoznali zaledwie 12,4% słów z wideo bez dźwięku z wypowiadanymi zdaniami (Altieri, Pisoni i Townsend, JASA 2011). Całożyciowe poleganie na twarzy znacznie to podnosi: dorośli, którzy stracili słuch wcześnie, odczytali ponad dwukrotnie więcej słów niż dorośli słyszący (Auer i Bernstein, JSLHR 2007).
Maszyny wyprzedziły wyszkolonych zawodowców na nagraniach z benchmarków już lata temu, ale to porównanie ma ograniczenia. Ludzkie punkty odniesienia opierały się na małych próbach: 300 nagrań i 3 osoby czytające z ruchu warg w LipNet, 200 nagrań i jeden zawodowiec w badaniu BBC. Ten zawodowiec widział, z jakiego programu pochodzi każdy klip, mógł przestudiować próbki nagrań treningowych i odtwarzać klipy bez ograniczeń, więc ludzki wynik nie jest wynikiem odczytu na zimno. O szkolnej stronie edukacji niesłyszących piszemy w naszych statystykach edukacji uczniów niesłyszących i niedosłyszących.
| Metryka | Wartość | Źródło |
|---|---|---|
| Poprawne słowa z wideo bez dźwięku ze zdaniami CUNY, 84 studentów z prawidłowym słuchem | 12,4% (SD 6,67%) | Altieri, Pisoni i Townsend (Indiana University), Some normative data on lip-reading skills, JASA 2011 |
| Poprawne słowa z wideo bez dźwięku z 30 zdaniami, dorośli z niedosłuchem o wczesnym początku (n = 112) vs z prawidłowym słuchem (n = 220) | 43,55% (SD 17,48) vs 18,57% (SD 13,18); t(330) = 14,576, p < 0,01 | Auer i Bernstein, JSLHR 2007 |
| Rozpoznane spółgłoski z wideo bez dźwięku, bez maseczki: dzieci z prawidłowym słuchem vs dzieci z niedosłuchem vs dorośli z prawidłowym słuchem | ok. 31% vs 33% vs 42% | Lalonde, Buss, Miller i Leibold, Frontiers in Psychology 2022 |
| WER na zdaniach GRID od mówców niewidzianych wcześniej, 3 niedosłyszące osoby czytające z ruchu warg vs LipNet | 47,7% vs 11,4% | Assael i in. (University of Oxford i Google DeepMind), LipNet 2016 |
| WER na klipach testowych BBC, jedna zawodowa osoba czytająca z ruchu warg vs model maszynowy oparty tylko na ustach | 73,8% vs 50,2% (87,6% dla człowieka po doliczeniu klipów odrzuconych) | Chung i in. (Oxford VGG i Google DeepMind), CVPR 2017 |
| WER na klipach YouTube, zawodowe osoby czytające z ruchu warg bez kontekstu vs z kontekstem vs system maszynowy | 92,9% vs 86,4% vs 40,9% | Shillingford i in. (DeepMind i Google), Large-Scale Visual Speech Recognition 2018 |
| Korzyść wizualna dla dorosłych z prawidłowym słuchem (spadek SNR potrzebny do poprawnego rozpoznania połowy słów kluczowych), wyraźna mowa vs mowa przetworzona wokoderem szumowym | 3,74 dB (SD 2,67) vs 4,68 dB (SD 3,28) | Blackburn i in., Trends in Hearing 2019 |
Kontekst: w eksperymencie 1 badania Blackburn słuchacze uzyskiwali średnio tylko 1,56% poprawnych odpowiedzi przy samym wideo, a mimo to widok mówcy poprawiał ich progi w porównaniu z samym dźwiękiem (liczby 3,74 dB i 4,68 dB pochodzą z eksperymentu 2). Czytanie z ruchu warg działa najlepiej jako uzupełnienie dźwięku, zarówno dla maszyn, jak i dla ludzi. Mowa przetworzona wokoderem szumowym to dźwięk celowo pogorszony przez usunięcie z niego drobnych szczegółów. Najnowsze dostępne dane o normatywnych wynikach ludzi: Altieri i in., 2011 oraz Auer i Bernstein, 2007.
4. Zbiory danych do czytania z ruchu warg: godziny, mówcy i słownik
Badania nad czytaniem z ruchu warg opierają się na garstce publicznych zbiorów danych zbudowanych z telewizji i wystąpień TED. Benchmark LRS3 obejmuje ponad 400 godzin z 5.594 wystąpień TED i TEDx, a jego zbiór testowy to tylko 1 godzina (Afouras, Chung i Zisserman, LRS3-TED 2018). Cała dziedzina ocenia swoje modele na 1.452 wypowiedziach testowych, co jest jednym z powodów, dla których ważna jest sekcja 6.
Największe zbiory treningowe należą do przemysłu. Zbiór LSVSR z YouTube liczący 3.886 godzin jest prawie dziesięć razy większy niż zbiór do wstępnego treningu LRS3 (3.886 podzielone przez 407 daje 9,5), a badania publiczne nadrabiają to etykietami generowanymi maszynowo i samonadzorowanym wstępnym treningiem.
| Metryka | Wartość | Źródło |
|---|---|---|
| Łączne wideo LRS3-TED i wystąpienia źródłowe; rozmiar zbioru testowego | ponad 400 godz. z 5.594 wystąpień TED i TEDx; 1 godzina, 1.452 wypowiedzi, 451 mówców | Afouras, Chung i Zisserman (Oxford VGG), LRS3-TED 2018 |
| Zbiór do wstępnego treningu LRS2-BBC vs zbiór treningowo-walidacyjny | 195 godz. (96 tys. wypowiedzi) vs 29 godz. (47 tys. wypowiedzi) | Afouras, Chung i Zisserman (Oxford VGG), LRS3-TED 2018, tabela 1 |
| Zbiór danych LSVSR z YouTube: godziny, wypowiedzi, słownik | 3.886 godz.; 2.934.899 wypowiedzi; 127.055 słów | Shillingford i in. (DeepMind i Google), 2018 |
| Angielskie wideo VoxCeleb2 użyte do wstępnego treningu; łączne dane do wstępnego treningu AV-HuBERT | 1.326 godz.; 1.759 godz. | Shi i in. (Meta AI), AV-HuBERT, ICLR 2022 |
| Wielojęzyczny korpus audiowizualny MuAViC | 1.200 godz. w 9 językach | Anwar i in. (Meta AI), MuAViC 2023 |
| Zbiór testowy WildVSR: godziny, wypowiedzi, mówcy, słownik | 4,8 godz.; 2.854 wypowiedzi; 618 mówców; 6.040 słów | Djilali i in. (Technology Innovation Institute), Do VSR Models Generalize Beyond LRS3?, 2023 |
Kontekst: podziały LRS3 na zbiór do wstępnego treningu i treningowo-walidacyjny pokrywają się treściowo, więc ich godzin nie należy dodawać. Najnowsze dostępne dane dla podstawowych benchmarków: praca o LRS3-TED, 2018. Praca o MuAViC przedstawia się jako największy otwarty benchmark wielojęzycznego audiowizualnego rozpoznawania mowy.
5. Skala danych treningowych a dokładność czytania z ruchu warg
Więcej wideo wciąż kupuje dokładność, ale mądrzejszy trening kupuje więcej na godzinę. AV-HuBERT dorównał systemowi wytrenowanemu na 31.000 godzin przy zaledwie 30 godzinach z etykietami: WER 32,5% vs 33,6% (Shi i in., Meta AI, ICLR 2022). Główną pracę wykonał samonadzorowany wstępny trening na wideo bez etykiet: ta sama architektura wytrenowana od zera na tych 30 godzinach uzyskała 92,3%.
Godziny wciąż mają znaczenie, ale nie rozstrzygają rankingu. Przejście z 818 do 3.448 godzin treningowych obniżyło błąd czytania z ruchu warg na LRS3 o 13,9 punktu (33,0 minus 19,1). Dwa znacznie większe treningi z poniższej tabeli dzieli potem 4,2 punktu, 17,0% przy około 90.000 godzin i 12,8% przy 100 tys. godzin, co wskazuje na znaczenie architektury obok ilości danych.
| Metryka | Wartość | Źródło |
|---|---|---|
| WER czytania z ruchu warg na LRS3 przy 818 vs 1.902 vs 3.448 godz. treningowych (model wytrenowany na około 90.000 godz. niepublicznych: 17,0%) | 33,0% vs 23,5% vs 19,1% | Ma i in., Auto-AVSR, ICASSP 2023 |
| WER czytania z ruchu warg na LRS3, AV-HuBERT z 30 godz. z etykietami vs wszystkie 433 godz. z etykietami plus samouczenie (poprzedni najlepszy wynik: 33,6% na 31.000 godz.) | 32,5% vs 26,9% | Shi i in. (Meta AI), AV-HuBERT, ICLR 2022 |
| WER czytania z ruchu warg na LRS3, ta sama duża architektura wytrenowana od zera na 30 vs 433 godz. z etykietami | 92,3% vs 62,3% | Shi i in. (Meta AI), AV-HuBERT, ICLR 2022, tabela 1 |
| Dane z etykietami użyte przez model czytania z ruchu warg oparty na fonemach w porównaniu z kolejnym najlepszym podejściem | o 99,4% mniej (przy WER 18,7% na LRS3) | Thomas, Fish i Bowden, VALLR, arXiv 2025 |
| Wideo treningowe stojące za WER czytania z ruchu warg Google wynoszącym 12,8% na LRS3 | 100 tys. godz. transkrybowanych segmentów YouTube, następnie dostrajanie na LRS3 (ponad 400 godz.) | Chang i in. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
Kontekst: większe modele językowe też nie są skrótem. Jain i Harte (arXiv, wrzesień 2025) wnioskują, że dekodery oparte na dużych modelach językowych poprawiają głównie rozumowanie kontekstowe, a nie cechy wizualne, i że do dalszego postępu potrzebne są silniejsze enkodery wizualne.
6. Poza wystąpieniami TED: wideo z rzeczywistych warunków i czytanie z ruchu warg w innych językach
WER w benchmarkach pochlebia czytaniu z ruchu warg. Gdy badacze zbudowali nowy zbiór testowy z wideo z YouTube, ściśle naśladując proces tworzenia LRS3, najnowocześniejsze modele czytania z ruchu warg straciły średnio 30 punktów WER (Djilali i in., WildVSR 2023). Dźwięk zmienił się znacznie mniej: Whisper przeszedł z 1,1% na 4,2%. Ranking się jednak utrzymał, więc lepszy wynik na LRS3 wciąż przewiduje lepszy wynik na WildVSR.
Język to druga ślepa plamka. Metoda, która uzyskała WER 31,5% na angielskim LRS3, uzyskała 56,3% lub gorzej na hiszpańskich, włoskich i francuskich wystąpieniach w stylu TED (Ma, Petridis i Pantic, Nature Machine Intelligence 2022). Najnowsze dostępne dane dla czytania z ruchu warg w językach innych niż angielski: ta praca z 2022 roku.
| Metryka | Wartość | Źródło |
|---|---|---|
| Średni wzrost WER dla najnowocześniejszych modeli czytania z ruchu warg, z LRS3 na WildVSR | 30 punktów | Djilali i in., WildVSR 2023 |
| WER czytania z ruchu warg, najlepszy testowany model (Auto-AVSR, 3.448 godz.), LRS3 vs WildVSR | 19,1% vs 38,6% | Djilali i in., WildVSR 2023, tabela 2 |
| WER tylko z dźwiękiem, Whisper, LRS3 vs WildVSR | 1,1% vs 4,2% | Djilali i in., WildVSR 2023, tabela 2 |
| Dopasowana zależność między WER na WildVSR a WER na LRS3 dla różnych modeli | WER na WildVSR = ok. 1,31 x WER na LRS3 + 14,05 | Djilali i in., WildVSR 2023 |
| WER czytania z ruchu warg, model z dekoderem Llama-2-13B, LRS3 vs WildVSR | 24,7% vs 47,0% | Jain i Harte, From Hype to Insight, arXiv 2025 |
| Błąd czytania z ruchu warg według języka, najlepszy przebieg: współczynnik błędów znaków dla mandaryńskiego (CMLR) vs współczynnik błędów słów dla hiszpańskiego, włoskiego i francuskiego (Multilingual TEDx) | 8,0% vs 56,3%, 57,4% i 66,2% | Ma, Petridis i Pantic, Nature Machine Intelligence 2022 |
Kontekst: liczba dla mandaryńskiego liczy błędy na znak, a nie na słowo, więc nie jest bezpośrednio porównywalna z wartościami WER. Różnica na WildVSR dla najlepszego modelu wynosi 19,5 punktu (38,6 minus 19,1), poniżej średniej 30 punktów, co zgadza się z ustaleniem autorów, że silniejsze modele pogarszają się mniej.
7. Prywatność, nadzór i dostępność
Udokumentowana obawa o prywatność jest konkretna: sami badacze wskazują CCTV. Ma, Petridis i Pantic nazywają wizualne rozpoznawanie mowy «technologią podwójnego zastosowania», która «może być wykorzystywana do nadzoru za pomocą CCTV, a nawet kamer smartfonów, co budzi obawy o prywatność», i argumentują, że regulacja państwowa jest konieczna. Podają też, że w tamtym czasie w brytyjskich szpitalach NHS testowano aplikację na smartfony pomagającą porozumiewać się osobom z zaburzeniami mowy. Brytyjski komisarz ds. kamer nadzoru (Surveillance Camera Commissioner), Tony Porter, ostrzegł w sierpniu 2019 roku przed nadchodzącą technologią nadzoru opartą na czytaniu z ruchu warg (Big Brother Watch, 28 sierpnia 2019).
Przeciwwagą jest argument techniczny. Badacze z Oxford VGG oceniają podsłuchiwanie przez CCTV jako «bardzo niskie ryzyko», ponieważ kamery «zwykle działają ze znacznie niższą rozdzielczością i liczbą klatek na sekundę oraz pod nietypowymi kątami» (Prajwal, Afouras i Zisserman, 2021). System o zbiorze 3.886 godzin był trenowany wyłącznie na twarzach odwróconych o nie więcej niż 30 stopni od kamery, a jego autorzy twierdzą, że nie radzi sobie dobrze w innych kontekstach (Shillingford i in., 2018). Argument o dostępności opiera się na dużej populacji: karta informacyjna WHO wymienia napisy i czytanie z ruchu warg wśród form wsparcia przy niedosłuchu. O wizualnej AI językowej wykraczającej poza usta piszemy w naszych statystykach AI dla języka migowego i widzenia komputerowego.
| Metryka | Wartość | Źródło |
|---|---|---|
| Warunki treningu systemu czytania z ruchu warg o zbiorze 3.886 godz.: kąt głowy; minimalny rozmiar twarzy; minimalna liczba klatek na sekundę | odchylenie boczne i pionowe w granicach plus minus 30 stopni; co najmniej 80 pikseli między oczami; usunięte klipy poniżej 23 klatek na sekundę | Shillingford i in. (DeepMind i Google), 2018 |
| Minimalna wysokość zamkniętych ust w wideo dla niezawodnego automatycznego czytania z ruchu warg | 4 piksele | Bear, Harvey, Theobald i Lan, Resolution limits on visual speech recognition, ICIP 2014 |
| Najniższa rozdzielczość wideo testowana w badaniu rozdzielczości vs źródło Full HD | 42 x 32 vs 1440 x 1080 pikseli (przetestowano 18 rozdzielczości) | Bear, Harvey, Theobald i Lan, ICIP 2014 |
| Osoby wymagające rehabilitacji z powodu niedosłuchu upośledzającego | 430 milionów (ponad 5% ludności świata) | Światowa Organizacja Zdrowia, karta informacyjna o głuchocie i niedosłuchu, 3 marca 2026 |
| Osoby, u których do 2050 roku prognozuje się pewien stopień niedosłuchu vs niedosłuch upośledzający | prawie 2,5 miliarda vs ponad 700 milionów | Światowa Organizacja Zdrowia, karta informacyjna o głuchocie i niedosłuchu, 3 marca 2026 |
| Roczny globalny koszt nieleczonego niedosłuchu | prawie 1 bilion USD | Światowa Organizacja Zdrowia, karta informacyjna o głuchocie i niedosłuchu, 3 marca 2026 |
Kontekst: badanie Bear i in. wykorzystało około 30 minut wideo od dwóch mówców, więc próg 4 pikseli jest wartością orientacyjną, a nie gwarancją. Najnowsze dostępne dane o limicie rozdzielczości: Bear i in., 2014.
Podsumowanie: WER czytania z ruchu warg i wizualnego rozpoznawania mowy w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| WER przy SNR -7,5 dB w białym szumie, tylko dźwięk vs dźwięk plus wideo | 88,9% vs 24,2% | Ma i in., Auto-AVSR, ICASSP 2023 |
| Średni WER w 4 typach szumu i 5 poziomach SNR, model oparty na samym dźwięku vs audiowizualny | 25,8% vs 5,8% | Shi, Hsu i Mohamed (Meta AI), Interspeech 2022 |
| Angielski WER w szumie typu babble przy 0 dB, Whisper-Large tylko z dźwiękiem vs Whisper-Flamingo | 13,8% vs 7,2% | Rouditchenko i in., Whisper-Flamingo, Interspeech 2024 |
| WER na LRS3, tylko dźwięk vs dźwięk plus wideo, system oparty na dużym modelu językowym | 0,79% vs 0,77% | Cappellazzo i in., Llama-AVSR, ICASSP 2025 |
| WER czytania z ruchu warg na LRS3, model Google Conformer | 12,8% | Chang i in. (Google), 2023 |
| WER czytania z ruchu warg na LRS3, model oparty na fonemach z 99,4% mniejszą ilością danych z etykietami | 18,7% | Thomas, Fish i Bowden, VALLR, arXiv 2025 |
| WER czytania z ruchu warg na LRS3, AV-HuBERT z 30 godz. z etykietami vs poprzedni najlepszy wynik na 31.000 godz. | 32,5% vs 33,6% | Shi i in. (Meta AI), AV-HuBERT, ICLR 2022 |
| Średni wzrost WER dla najnowocześniejszych modeli czytania z ruchu warg, z LRS3 na WildVSR | 30 punktów | Djilali i in., WildVSR 2023 |
| WER czytania z ruchu warg, model z dekoderem Llama-2-13B, LRS3 vs WildVSR | 24,7% vs 47,0% | Jain i Harte, arXiv 2025 |
| Poprawne słowa ze zdań bez dźwięku, 84 studentów z prawidłowym słuchem | 12,4% | Altieri, Pisoni i Townsend, JASA 2011 |
| Poprawne słowa ze zdań bez dźwięku, niedosłuch o wczesnym początku vs prawidłowy słuch | 43,55% vs 18,57% | Auer i Bernstein, JSLHR 2007 |
| WER na klipach YouTube, zawodowe osoby czytające z ruchu warg (bez kontekstu vs z kontekstem) vs maszyna | 92,9% i 86,4% vs 40,9% | Shillingford i in. (DeepMind i Google), 2018 |
| WER na klipach BBC, zawodowa osoba czytająca z ruchu warg vs model oparty tylko na ustach | 73,8% vs 50,2% | Chung i in. (Oxford VGG i Google DeepMind), CVPR 2017 |
| Korzyść wizualna w hałasie dla wyraźnej mowy, dorośli z prawidłowym słuchem | 3,74 dB | Blackburn i in., Trends in Hearing 2019 |
| Wideo i wystąpienia LRS3-TED | ponad 400 godz., 5.594 wystąpień | Afouras, Chung i Zisserman (Oxford VGG), 2018 |
| Minimalna wysokość zamkniętych ust w wideo dla niezawodnego automatycznego czytania z ruchu warg | 4 piksele | Bear i in., ICIP 2014 |
| Osoby wymagające rehabilitacji z powodu niedosłuchu upośledzającego | 430 milionów | Światowa Organizacja Zdrowia, 2026 |
Metodologia i źródła
- Ma i in., Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels, ICASSP 2023: luka między modalnościami, tabele odporności na hałas i skalowanie danych treningowych.
- Cappellazzo i in., Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR), ICASSP 2025: WER tylko z dźwiękiem i audiowizualny na LRS3.
- Rouditchenko i in., Whisper-Flamingo, Interspeech 2024: WER przy czystym dźwięku i w szumie typu babble dla Whisper opartego na samym dźwięku vs audiowizualnego.
- Chang i in. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023: WER czytania z ruchu warg 12,8% na LRS3 i jego zbiór treningowy liczący 100 tys. godzin.
- Thomas, Fish i Bowden, VALLR: Visual ASR Language Model for Lip Reading, arXiv 2025: WER 18,7% i efektywność wykorzystania danych z etykietami.
- Jain i Harte, From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition, arXiv wrzesień 2025: wyniki dekoderów opartych na dużych modelach językowych na LRS3 i WildVSR.
- Meta AI: Shi i in., AV-HuBERT, ICLR 2022 oraz Shi, Hsu i Mohamed, Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022: efektywność danych i odporność na hałas.
- Anwar i in. (Meta AI), wielojęzyczny korpus audiowizualny MuAViC, 2023: rozmiar korpusu i pokrycie językowe.
- Oxford VGG: Afouras, Chung i Zisserman, LRS3-TED, 2018 oraz Prajwal, Afouras i Zisserman, Sub-word Level Lip Reading With Visual Attention, 2021: rozmiary zbiorów danych i ocena ryzyka związanego z CCTV.
- Chung i in., Lip Reading Sentences in the Wild, CVPR 2017: wyniki usta vs dźwięk w BBC, wyniki w hałasie i punkt odniesienia zawodowej osoby czytającej z ruchu warg.
- Assael i in., LipNet: End-to-End Sentence-level Lipreading, 2016: wyniki na korpusie zdań GRID i punkt odniesienia niedosłyszących osób czytających z ruchu warg.
- Shillingford i in., Large-Scale Visual Speech Recognition, 2018: zbiór LSVSR, WER zawodowych osób czytających z ruchu warg, ograniczenia dotyczące kąta twarzy i rozdzielczości.
- Djilali i in., Do VSR Models Generalize Beyond LRS3? (WildVSR), 2023: luka w uogólnianiu w rzeczywistych warunkach.
- Ma, Petridis i Pantic, Visual Speech Recognition for Multiple Languages in the Wild, Nature Machine Intelligence 2022: WER dla języków innych niż angielski oraz dyskusja o podwójnym zastosowaniu i prywatności.
- Altieri, Pisoni i Townsend, Some normative data on lip-reading skills, JASA 2011: ludzkie wyniki dla zdań odczytywanych samym wzrokiem.
- Auer i Bernstein, Enhanced visual speech perception in individuals with early-onset hearing impairment, JSLHR 2007: wyniki czytania z ruchu warg osób niesłyszących vs słyszących.
- Blackburn i in., Visual Speech Benefit in Clear and Degraded Speech, Trends in Hearing 2019: korzyść wizualna w decybelach.
- Lalonde, Buss, Miller i Leibold, Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss, Frontiers in Psychology 2022: wyniki rozpoznawania spółgłosek samym wzrokiem u dzieci i dorosłych.
- Bear, Harvey, Theobald i Lan, Resolution limits on visual speech recognition, ICIP 2014: minimalna rozdzielczość ust.
- Światowa Organizacja Zdrowia, karta informacyjna o głuchocie i niedosłuchu, 3 marca 2026: rozpowszechnienie niedosłuchu, prognozy i koszty.
- Big Brother Watch, 28 sierpnia 2019: relacja z ostrzeżenia brytyjskiego komisarza ds. kamer nadzoru przed nadzorem opartym na czytaniu z ruchu warg.
- Uwaga o danych: wyniki na zbiorze testowym LRS3 nie są porównywalne jeden do jednego między pracami, które trenują na różnych danych, a zbiory testowe są maleńkie (1 godzina dla LRS3). Kilka prac deklaruje najnowocześniejszy wynik w różnych datach: 0,79% i 0,77% z Llama-AVSR sąsiadują z 0,68% i 0,76% z Whisper-Flamingo, a 18,7% z VALLR sąsiaduje z niższym 12,8% Google, które wykorzystało znacznie więcej danych z etykietami. VALLR i badanie Jain i Harte to preprinty bez podanego recenzowanego miejsca publikacji. Godziny tego samego zbioru danych różnią się w zależności od źródła: praca o LRS3-TED podaje 407 godzin wstępnego treningu oraz zbiory do wstępnego treningu i treningowo-walidacyjny LRS2-BBC po 195 i 29 godzin, podczas gdy Ma, Petridis i Pantic liczą 438 godzin dla LRS3 i 223 godziny dla LRS2. Praca o WildVSR podaje dwa nachylenia dla swojego dopasowania (1,31 i 1,30), a jej Aneks B mówi, że Whisper uzyskuje poniżej 4 WER na obu zbiorach testowych, co jest sprzeczne z 4,2 w jej tabeli 2. Nie podaje też rozmiaru modelu Whisper. Ludzkie punkty odniesienia opierają się na bardzo małych grupach (jeden zawodowiec w badaniu BBC, trzy niedosłyszące osoby czytające z ruchu warg w LipNet), a normatywne dane o ludziach pochodzą z 2007 i 2011 roku. Badanie Lalonde symulowało maseczki, zamiast prosić mówców o ich noszenie. Nie znaleźliśmy recenzowanego pomiaru dokładności czytania z ruchu warg na prawdziwych nagraniach z CCTV: przytaczane tu obawy dotyczące nadzoru to udokumentowane ostrzeżenia, a nie zmierzone wdrożenia.
Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnej aktualizacji należy się spodziewać, gdy materiały konferencji ICASSP 2027 i Interspeech 2027 opublikują nowe wyniki na LRS3 i WildVSR.