Das Hinzufügen von Videobildern der Lippen des Sprechers senkte die Wortfehlerrate (WER) eines Spracherkenners bei starkem weißem Rauschen von 88,9% auf 24,2%, bei -7,5 dB (Ma et al., Auto-AVSR, ICASSP 2023). Allein mit den Lippen bleibt die Leistung weit hinter Audio zurück: Ein Lippenleser von 2025 meldet 18,7% WER auf dem LRS3-Benchmark aus TED-Vorträgen (Thomas, Fish und Bowden, VALLR 2025), während ein LLM-basiertes audiovisuelles System 0,77% erreicht (Cappellazzo et al., Llama-AVSR, ICASSP 2025). Menschliches Lippenlesen ist eine noch niedrigere Messlatte: Professionelle Lippenleser erreichten 86,4% bis 92,9% WER auf YouTube-Clips (Shillingford et al., DeepMind und Google, Large-Scale Visual Speech Recognition 2018). Wir haben Daten aus den LRS2- und LRS3-Datensätzen der Oxford Visual Geometry Group (VGG), den AV-HuBERT-Veröffentlichungen von Meta AI, der WildVSR-Generalisierungsstudie, der Weltgesundheitsorganisation und begutachteter Hörforschung in JASA, JSLHR und Trends in Hearing zusammengetragen. Wie reine Audio-Erkenner über verschiedene Sprecher hinweg versagen, zeigen unsere Statistiken zum Akzent-Bias in der Spracherkennung.
Ein Hinweis zu den durchgängig verwendeten Begriffen: WER (Wortfehlerrate) ist der Anteil der Wörter, die ein System falsch erkennt, wobei ersetzte, fehlende und überzählige Wörter gezählt werden; niedriger ist also besser. VSR (visuelle Spracherkennung) bezeichnet maschinelles Lippenlesen aus stummem Video, ASR bezeichnet reine Audio-Erkennung und AVSR bezeichnet audiovisuelle Erkennung, die beides nutzt. SNR (Signal-Rausch-Verhältnis) misst, um wie viel lauter die Sprache als das Hintergrundrauschen ist; ein negatives SNR bedeutet, dass das Rauschen lauter ist als die Stimme.
TL;DR
- Die englische WER bei Stimmengewirr (Babble-Rauschen) mit 0 dB sank von 13,8% beim reinen Audio-Modell Whisper-Large auf 7,2% beim audiovisuellen Whisper-Flamingo (Rouditchenko et al., Interspeech 2024).
- Ein LLM-basiertes System meldet auf LRS3 0,77% WER audiovisuell und 0,79% nur mit Audio (Cappellazzo et al., Llama-AVSR, ICASSP 2025).
- Ein Lippenlese-Modell von Google meldet 12,8% WER auf LRS3, beschrieben als ebenbürtig mit reinen Audio-Modellen von vier Jahren zuvor (Chang et al., Google, Conformers-Paper 2023).
- Ein phonembasierter Lippenleser erreichte auf LRS3 18,7% WER mit 99,4% weniger annotierten Daten als der nächstbeste Ansatz (Thomas, Fish und Bowden, VALLR 2025).
- Professionelle Lippenleser erreichten 92,9% WER ohne Kontext und 86,4% mit Kontext, gegenüber 40,9% bei einem maschinellen System (Shillingford et al., DeepMind und Google 2018).
- 84 normalhörende Studierende erkannten 12,4% der Wörter aus stummem Video von Sätzen (Altieri, Pisoni und Townsend, JASA 2011).
- Erwachsene mit früh einsetzendem Hörverlust lasen 43,55% der Wörter von den Lippen, gegenüber 18,57% bei normalhörenden Erwachsenen (Auer und Bernstein, JSLHR 2007).
- Mit nur 30 annotierten Stunden erreichte AV-HuBERT 32,5% WER beim Lippenlesen und schlug damit ein mit 31.000 Stunden trainiertes System mit 33,6% (Shi et al., Meta AI, ICLR 2022).
- Lippenlese-Modelle auf dem Stand der Technik verlieren im Schnitt 30 WER-Punkte, wenn man sie von LRS3 auf den WildVSR-Testsatz überträgt (Djilali et al., WildVSR 2023).
- Sichtbare Gesichter senkten die Rauschschwelle zum Verstehen klarer Sprache um 3,74 dB (Blackburn et al., Trends in Hearing 2019).
- 430 Millionen Menschen benötigen Rehabilitation wegen behinderndem Hörverlust (Weltgesundheitsorganisation, Factsheet Deafness and hearing loss 2026).
1. Lippen vs. Audio vs. beides: Die Modalitätslücke bei der Wortfehlerrate
Die Lücke zwischen Augen und Ohren beträgt noch immer mehr als eine Größenordnung. Die niedrigsten Lippenlese-Werte auf LRS3 in dieser Zusammenstellung sind 12,8% und 18,7% WER, während die niedrigsten Audio- und audiovisuellen Werte unter 1% liegen. Unterschiedliche Laute können exakt dieselbe Lippenbewegung erzeugen (‘p’ und ‘b’ sind das klassische Beispiel), sodass ein stummes Modell aus dem Kontext erschließen muss, was ein Audio-Modell schlicht hört.
Die überraschendere Zahl steht ganz oben. Bei sauberem Audio bringt Video fast nichts und kann sogar ein wenig schaden: Whisper-Flamingo erreichte auf LRS3 0,76% WER audiovisuell gegenüber 0,68% nur mit Audio (Rouditchenko et al., Interspeech 2024). Der Nutzen der Lippen zeigt sich bei Rauschen (siehe Abschnitt 2), nicht bei TED-Vorträgen in Studioqualität. Das Llama-AVSR-Paper zeigt dasselbe nahezu unentschiedene Ergebnis, mit 0,79% gegenüber 0,77%.
| Metrik | Wert | Quelle |
|---|---|---|
| WER auf LRS3, nur Lippenlesen vs. nur Audio vs. Audio plus Video, Modell mit 3.448 Stunden Training | 19,1% vs. 1,0% vs. 0,9% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER auf LRS3, nur Audio vs. Audio plus Video, LLM-basiertes System | 0,79% vs. 0,77% | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| WER auf LRS3, nur Audio vs. Audio plus Video, Whisper-basiertes System | 0,68% vs. 0,76% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| Lippenlese-WER auf LRS3, Google-Conformer-Modell | 12,8% | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
| Lippenlese-WER auf LRS3, phonembasiertes Modell mit einem großen Sprachmodell | 18,7% | Thomas, Fish und Bowden, VALLR, arXiv 2025 (überarbeitet am 5. Januar 2026) |
| WER im BBC-Fernsehen (LRS), nur Lippen vs. nur sauberes Audio vs. sauberes Audio plus Lippen | 50,2% vs. 17,7% vs. 13,9% | Chung et al. (Oxford VGG und Google DeepMind), Lip Reading Sentences in the Wild, CVPR 2017 |
Kontext: Das Auto-AVSR-Paper berichtet diese Werte für ein mit 3.448 Stunden trainiertes Modell, und seine Fehlerrate nur mit Lippen auf dem BBC-basierten LRS2-Satz war mit 14,6% niedriger, gegenüber 1,5% nur mit Audio. Diese Modelle teilen sich einen Testsatz, aber nicht ihre Trainingsdaten, die Werte sind also nicht eins zu eins vergleichbar. Reine Audio-Systeme haben über schlichte Wortfehler hinaus eigene Fehlermodi, die wir in unseren Statistiken zu Halluzinationen in der Spracherkennung behandeln.
2. Wie viel Video der Spracherkennung bei niedrigem SNR hilft
Hier verdient sich das Lippenvideo seinen Platz. Mit steigendem Rauschen klettert der Fehler nur mit Audio steil, während der audiovisuelle Fehler langsam steigt, sodass sich die Lücke genau dort vergrößert, wo Untertitel und Sprachschnittstellen am häufigsten versagen. Metas audiovisuelles Modell erreichte im Schnitt 5,8% WER bei Rauschen gegenüber 25,8% bei der reinen Audio-Version, über 4 Rauscharten und 5 SNR-Stufen von -10 bis 10 dB (Shi, Hsu und Mohamed, Interspeech 2022).
Die Art des Rauschens spielt eine Rolle. Stimmengewirr (Babble-Rauschen, viele Menschen sprechen im Hintergrund) schadete dem reinen Audio-Modell in den folgenden Tests bei -7,5 dB am wenigsten, wurde aber auch im Training verwendet, weshalb die Autoren warnen, dass diese Ergebnisse nicht direkt mit denen für rosa und weißes Rauschen (breitbandiges Rauschen) vergleichbar sind. Diese beiden Rauscharten erzeugten die größten Lücken.
| Metrik | Wert | Quelle |
|---|---|---|
| WER bei -7,5 dB SNR, nur Audio vs. Audio plus Video: weißes Rauschen; rosa Rauschen; Stimmengewirr (Babble-Rauschen) | 88,9% vs. 24,2%; 56,8% vs. 16,2%; 8,3% vs. 5,6% | Ma et al., Auto-AVSR, ICASSP 2023 |
| WER bei weißem Rauschen mit 2,5 dB SNR, nur Audio vs. Audio plus Video | 10,4% vs. 4,3% | Ma et al., Auto-AVSR, ICASSP 2023 |
| Durchschnittliche WER über 4 Rauscharten und 5 SNR-Stufen (-10 bis 10 dB), reines Audio-Modell vs. audiovisuelles Modell auf Basis von AV-HuBERT | 25,8% vs. 5,8% | Shi, Hsu und Mohamed (Meta AI), Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022 |
| WER bei Stimmengewirr (Babble-Rauschen), bisheriger Stand der Technik mit 433 annotierten Stunden vs. AV-HuBERT mit 30 annotierten Stunden | 28,0% vs. 14,1% | Shi, Hsu und Mohamed (Meta AI), Interspeech 2022 |
| Englische WER bei Stimmengewirr (Babble-Rauschen) mit 0 dB SNR (MuAViC-Test), reines Audio-Modell Whisper-Large vs. audiovisuelles Whisper-Flamingo | 13,8% vs. 7,2% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER im BBC-Fernsehen bei 10 dB und 0 dB SNR, nur Audio vs. Audio plus Lippen | 37,6% und 62,9% vs. 27,6% und 42,0% | Chung et al. (Oxford VGG und Google DeepMind), CVPR 2017 |
Hinweis zu Ausreißern: Die BBC-Werte von 2017 stammen von einer deutlich schwächeren Modellgeneration, zeigen aber dasselbe Muster auf höherem Fehlerniveau. Bei 0 dB senkte das Hinzufügen der Lippen den Fehler um 20,9 Punkte (62,9 minus 42,0); bei weißem Rauschen mit -7,5 dB im Jahr 2023 betrug die Senkung 64,7 Punkte (88,9 minus 24,2). Neueste verfügbare Daten für diesen BBC-Vergleich: die Studie von 2017.
3. Menschliche Lippenleser als Referenz
Menschliches Lippenlesen ist weit schwieriger, als die meisten annehmen. Normalhörende junge Erwachsene erkannten aus stummem Video gesprochener Sätze nur 12,4% der Wörter (Altieri, Pisoni und Townsend, JASA 2011). Lebenslanges Angewiesensein auf das Gesicht hebt diesen Wert deutlich: Erwachsene, die früh ihr Gehör verloren, lasen mehr als doppelt so viele Wörter wie hörende Erwachsene (Auer und Bernstein, JSLHR 2007).
Maschinen haben geschulte Profis auf Benchmark-Videos schon vor Jahren überholt, doch der Vergleich hat Grenzen. Die menschlichen Referenzwerte beruhen auf kleinen Stichproben: 300 Videos und 3 Lippenleser bei LipNet, 200 Videos und ein Profi bei der BBC-Studie. Dieser Profi konnte sehen, aus welcher Sendung jeder Clip stammte, Beispiel-Trainingsvideos studieren und Clips unbegrenzt wiederholen, der menschliche Wert ist also kein Ergebnis eines Lesens ohne Vorkenntnis. Zur Klassenzimmer-Seite der Gehörlosenbildung siehe unsere Statistiken zur Bildung gehörloser und schwerhöriger Schüler und Studierender.
| Metrik | Wert | Quelle |
|---|---|---|
| Richtige Wörter aus stummem Video von CUNY-Sätzen, 84 normalhörende Studierende | 12,4% (SD 6,67%) | Altieri, Pisoni und Townsend (Indiana University), Some normative data on lip-reading skills, JASA 2011 |
| Richtige Wörter aus stummem Video von 30 Sätzen, Erwachsene mit früh einsetzendem Hörverlust (n = 112) vs. Normalhörende (n = 220) | 43,55% (SD 17,48) vs. 18,57% (SD 13,18); t(330) = 14,576, p < 0,01 | Auer und Bernstein, JSLHR 2007 |
| Aus stummem Video ohne Maske erkannte Konsonanten: Kinder mit normalem Gehör vs. Kinder mit Hörverlust vs. Erwachsene mit normalem Gehör | etwa 31% vs. 33% vs. 42% | Lalonde, Buss, Miller und Leibold, Frontiers in Psychology 2022 |
| WER bei GRID-Sätzen unbekannter Sprecher, 3 schwerhörige Lippenleser vs. LipNet | 47,7% vs. 11,4% | Assael et al. (University of Oxford und Google DeepMind), LipNet 2016 |
| WER bei BBC-Testclips, ein professioneller Lippenleser vs. reines Lippenmodell | 73,8% vs. 50,2% (87,6% für den Menschen, wenn abgelehnte Clips mitgezählt werden) | Chung et al. (Oxford VGG und Google DeepMind), CVPR 2017 |
| WER bei YouTube-Clips, professionelle Lippenleser ohne Kontext vs. mit Kontext vs. maschinelles System | 92,9% vs. 86,4% vs. 40,9% | Shillingford et al. (DeepMind und Google), Large-Scale Visual Speech Recognition 2018 |
| Visueller Nutzen für normalhörende Erwachsene (Absenkung des SNR, das für die Hälfte richtiger Schlüsselwörter nötig ist), klare Sprache vs. rauschvokodierte Sprache | 3,74 dB (SD 2,67) vs. 4,68 dB (SD 3,28) | Blackburn et al., Trends in Hearing 2019 |
Kontext: In Experiment 1 der Blackburn-Studie erreichten die Hörer allein mit Video im Schnitt nur 1,56% richtige Wörter, und doch verbesserte der Anblick des Sprechers ihre Schwellen gegenüber reinem Audio (die Werte 3,74 dB und 4,68 dB stammen aus Experiment 2). Lippenlesen funktioniert am besten als Ergänzung zum Ton, für Maschinen wie für Menschen. Rauschvokodierte Sprache ist Audio, das absichtlich verschlechtert wurde, indem feine Details aus dem Klang entfernt wurden. Neueste verfügbare Daten für normative menschliche Werte: Altieri et al., 2011, und Auer und Bernstein, 2007.
4. Datensätze zum Lippenlesen: Stunden, Sprecher und Vokabular
Die Forschung zum Lippenlesen stützt sich auf eine Handvoll öffentlicher Datensätze, die aus Fernsehsendungen und TED-Vorträgen entstanden sind. Der LRS3-Benchmark umfasst über 400 Stunden aus 5.594 TED- und TEDx-Vorträgen, doch sein Testsatz ist nur 1 Stunde lang (Afouras, Chung und Zisserman, LRS3-TED 2018). Ein ganzes Forschungsfeld ordnet seine Modelle anhand von 1.452 Testäußerungen, was einer der Gründe ist, warum Abschnitt 6 wichtig ist.
Die größten Trainingsdatensätze gehören der Industrie. Der 3.886 Stunden große LSVSR-YouTube-Satz ist fast zehnmal so groß wie der LRS3-Vortrainingssatz (3.886 geteilt durch 407 ergibt 9,5), während die öffentliche Forschung dies durch maschinell erzeugte Annotationen und selbstüberwachtes Vortraining ausgleicht.
| Metrik | Wert | Quelle |
|---|---|---|
| LRS3-TED Gesamtvideo und Quellvorträge; Größe des Testsatzes | über 400 Stunden aus 5.594 TED- und TEDx-Vorträgen; 1 Stunde, 1.452 Äußerungen, 451 Sprecher | Afouras, Chung und Zisserman (Oxford VGG), LRS3-TED 2018 |
| LRS2-BBC Vortrainingssatz vs. Trainings-und-Validierungssatz | 195 Stunden (96 Tsd. Äußerungen) vs. 29 Stunden (47 Tsd. Äußerungen) | Afouras, Chung und Zisserman (Oxford VGG), LRS3-TED 2018, Tabelle 1 |
| LSVSR-YouTube-Datensatz: Stunden, Äußerungen, Vokabular | 3.886 Stunden; 2.934.899 Äußerungen; 127.055 Wörter | Shillingford et al. (DeepMind und Google), 2018 |
| Für das Vortraining genutztes englisches VoxCeleb2-Video; Gesamtdaten für das AV-HuBERT-Vortraining | 1.326 Stunden; 1.759 Stunden | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Mehrsprachiges audiovisuelles Korpus MuAViC | 1.200 Stunden in 9 Sprachen | Anwar et al. (Meta AI), MuAViC 2023 |
| WildVSR-Testsatz: Stunden, Äußerungen, Sprecher, Vokabular | 4,8 Stunden; 2.854 Äußerungen; 618 Sprecher; 6.040 Wörter | Djilali et al. (Technology Innovation Institute), Do VSR Models Generalize Beyond LRS3?, 2023 |
Kontext: Die Vortrainings- und Trainings-und-Validierungs-Aufteilungen von LRS3 überschneiden sich inhaltlich, ihre Stunden sollten also nicht addiert werden. Neueste verfügbare Daten für die zentralen Benchmarks: LRS3-TED-Paper, 2018. Das MuAViC-Paper bezeichnet sich selbst als größten offenen Benchmark für mehrsprachige audiovisuelle Spracherkennung.
5. Umfang der Trainingsdaten vs. Genauigkeit beim Lippenlesen
Mehr Video erkauft weiterhin Genauigkeit, doch klügeres Training erkauft pro Stunde mehr. AV-HuBERT erreichte mit nur 30 annotierten Stunden das Niveau eines 31.000-Stunden-Systems: 32,5% WER gegenüber 33,6% (Shi et al., Meta AI, ICLR 2022). Das selbstüberwachte Vortraining auf nicht annotiertem Video leistete die Hauptarbeit: Dieselbe Architektur, von Grund auf auf diesen 30 Stunden trainiert, erreichte 92,3%.
Stunden zählen weiterhin, entscheiden aber nicht über die Rangfolge. Der Sprung von 818 auf 3.448 Trainingsstunden senkte den Lippenlese-Fehler auf LRS3 um 13,9 Punkte (33,0 minus 19,1). Zwei deutlich größere Läufe in der folgenden Tabelle liegen dann 4,2 Punkte auseinander, 17,0% mit etwa 90.000 Stunden und 12,8% mit 100 Tsd. Stunden, was neben dem Umfang auch auf die Architektur hindeutet.
| Metrik | Wert | Quelle |
|---|---|---|
| Lippenlese-WER auf LRS3 mit 818 vs. 1.902 vs. 3.448 Trainingsstunden (ein mit etwa 90.000 nicht öffentlichen Stunden trainiertes Modell: 17,0%) | 33,0% vs. 23,5% vs. 19,1% | Ma et al., Auto-AVSR, ICASSP 2023 |
| Lippenlese-WER auf LRS3, AV-HuBERT mit 30 annotierten Stunden vs. allen 433 annotierten Stunden plus Selbsttraining (bisher bester Wert: 33,6% mit 31.000 Stunden) | 32,5% vs. 26,9% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Lippenlese-WER auf LRS3, dieselbe große Architektur von Grund auf trainiert mit 30 vs. 433 annotierten Stunden | 92,3% vs. 62,3% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022, Tabelle 1 |
| Von einem phonembasierten Lippenleser genutzte annotierte Daten im Vergleich zum nächstbesten Ansatz | 99,4% weniger (bei 18,7% WER auf LRS3) | Thomas, Fish und Bowden, VALLR, arXiv 2025 |
| Trainingsvideo hinter Googles 12,8% Lippenlese-WER auf LRS3 | 100 Tsd. Stunden transkribierter YouTube-Segmente, danach Feinabstimmung auf LRS3 (über 400 Stunden) | Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
Kontext: Auch größere Sprachmodelle sind keine Abkürzung. Jain und Harte (arXiv, September 2025) folgern, dass Decoder auf Basis großer Sprachmodelle vor allem das kontextuelle Schlussfolgern verfeinern und nicht die visuellen Merkmale, und dass für weitere Fortschritte stärkere visuelle Encoder nötig sind.
6. Jenseits von TED-Vorträgen: Video unter realen Bedingungen und Lippenlesen außerhalb des Englischen
Die Benchmark-WER schmeichelt dem Lippenlesen. Als Forschende aus YouTube-Video einen neuen Testsatz bauten und dabei den Entstehungsprozess von LRS3 eng nachahmten, verloren Lippenlese-Modelle auf dem Stand der Technik im Schnitt 30 WER-Punkte (Djilali et al., WildVSR 2023). Beim Audio änderte sich weit weniger: Whisper ging von 1,1% auf 4,2%. Die Rangfolge blieb allerdings bestehen, ein besserer LRS3-Wert sagt also weiterhin einen besseren WildVSR-Wert voraus.
Die Sprache ist der zweite blinde Fleck. Die Methode, die auf englischem LRS3 31,5% WER erreichte, kam bei spanischen, italienischen und französischen Vorträgen im TED-Stil auf 56,3% oder schlechter (Ma, Petridis und Pantic, Nature Machine Intelligence 2022). Neueste verfügbare Daten für Lippenlesen außerhalb des Englischen: dieses Paper von 2022.
| Metrik | Wert | Quelle |
|---|---|---|
| Durchschnittlicher WER-Anstieg bei Lippenlese-Modellen auf dem Stand der Technik, von LRS3 zu WildVSR | 30 Punkte | Djilali et al., WildVSR 2023 |
| Lippenlese-WER, bestes getestetes Modell (Auto-AVSR, 3.448 Stunden), LRS3 vs. WildVSR | 19,1% vs. 38,6% | Djilali et al., WildVSR 2023, Tabelle 2 |
| WER nur mit Audio, Whisper, LRS3 vs. WildVSR | 1,1% vs. 4,2% | Djilali et al., WildVSR 2023, Tabelle 2 |
| Angepasster Zusammenhang zwischen WildVSR-WER und LRS3-WER über die Modelle hinweg | WildVSR-WER = etwa 1,31 x LRS3-WER + 14,05 | Djilali et al., WildVSR 2023 |
| Lippenlese-WER, Modell mit Llama-2-13B-Decoder, LRS3 vs. WildVSR | 24,7% vs. 47,0% | Jain und Harte, From Hype to Insight, arXiv 2025 |
| Lippenlese-Fehler nach Sprache, bester Lauf: Zeichenfehlerrate bei Mandarin (CMLR) vs. Wortfehlerrate bei Spanisch, Italienisch und Französisch (Multilingual TEDx) | 8,0% vs. 56,3%, 57,4% und 66,2% | Ma, Petridis und Pantic, Nature Machine Intelligence 2022 |
Kontext: Der Mandarin-Wert zählt Fehler pro Zeichen und nicht pro Wort und ist daher nicht direkt mit den WER-Werten vergleichbar. Die WildVSR-Lücke des besten Modells beträgt 19,5 Punkte (38,6 minus 19,1), liegt also unter dem Durchschnitt von 30 Punkten, passend zum Befund der Autoren, dass stärkere Modelle weniger abfallen.
7. Datenschutz, Überwachung und Barrierefreiheit
Die dokumentierte Datenschutzsorge ist konkret: Die Forschenden selbst nennen CCTV. Ma, Petridis und Pantic bezeichnen visuelle Spracherkennung als “eine Dual-Use-Technologie”, die “per CCTV oder sogar per Smartphone-Kameras zur Überwachung eingesetzt werden kann, was Datenschutzbedenken aufwirft”, und sie argumentieren, dass staatliche Regulierung nötig sei. Sie berichten außerdem, dass damals eine Smartphone-App, die sprachbeeinträchtigten Menschen die Kommunikation erleichtern soll, in Krankenhäusern des britischen NHS erprobt wurde. Der Beauftragte für Überwachungskameras (Surveillance Camera Commissioner) des Vereinigten Königreichs, Tony Porter, warnte im August 2019 vor einer sich abzeichnenden Überwachungstechnik zum Lippenlesen (Big Brother Watch, 28. August 2019).
Das Gegengewicht ist technischer Natur. Forschende der Oxford VGG halten CCTV-Abhören für ein “sehr geringes Risiko”, weil Kameras “in der Regel mit viel geringerer Auflösung und Bildrate und aus ungewöhnlichen Winkeln arbeiten” (Prajwal, Afouras und Zisserman, 2021). Das 3.886-Stunden-System wurde nur mit Gesichtern trainiert, die bis zu 30 Grad zur Kamera gedreht waren, und seine Autoren sagen, dass es in anderen Kontexten nicht gut funktioniert (Shillingford et al., 2018). Das Argument der Barrierefreiheit stützt sich auf eine große Bevölkerungsgruppe: Das WHO-Factsheet nennt Untertitelung und Lippenlesen unter den Hilfen bei Hörverlust. Visuelle Sprach-KI jenseits der Lippen behandeln unsere Statistiken zu Gebärdensprach-KI und Computer Vision.
| Metrik | Wert | Quelle |
|---|---|---|
| Trainingsbedingungen des 3.886-Stunden-Lippenlese-Systems: Kopfwinkel; minimale Gesichtsgröße; minimale Bildrate | Gier- und Nickwinkel innerhalb von plus oder minus 30 Grad; mindestens 80 Pixel zwischen den Augen; Clips unter 23 Bildern pro Sekunde entfernt | Shillingford et al. (DeepMind und Google), 2018 |
| Minimale Höhe der geschlossenen Lippen im Video für zuverlässiges automatisches Lippenlesen | 4 Pixel | Bear, Harvey, Theobald und Lan, Resolution limits on visual speech recognition, ICIP 2014 |
| Niedrigste in der Auflösungsstudie getestete Videoauflösung vs. Full-HD-Quelle | 42 x 32 vs. 1440 x 1080 Pixel (18 getestete Auflösungen) | Bear, Harvey, Theobald und Lan, ICIP 2014 |
| Menschen, die Rehabilitation wegen behinderndem Hörverlust benötigen | 430 Millionen (über 5% der Weltbevölkerung) | Weltgesundheitsorganisation, Factsheet Deafness and hearing loss, 3. März 2026 |
| Bis 2050 prognostizierte Menschen mit einem gewissen Grad an Hörverlust vs. behinderndem Hörverlust | fast 2,5 Milliarden vs. über 700 Millionen | Weltgesundheitsorganisation, Factsheet Deafness and hearing loss, 3. März 2026 |
| Jährliche weltweite Kosten unbehandelten Hörverlusts | fast 1 Billion US$ | Weltgesundheitsorganisation, Factsheet Deafness and hearing loss, 3. März 2026 |
Kontext: Die Studie von Bear et al. nutzte etwa 30 Minuten Video von zwei Sprechern, die Untergrenze von 4 Pixeln ist daher ein Richtwert und keine Garantie. Neueste verfügbare Daten für die Auflösungsgrenze: Bear et al., 2014.
Zusammenfassung: WER bei Lippenlesen und visueller Spracherkennung in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| WER bei -7,5 dB SNR in weißem Rauschen, nur Audio vs. Audio plus Video | 88,9% vs. 24,2% | Ma et al., Auto-AVSR, ICASSP 2023 |
| Durchschnittliche WER über 4 Rauscharten und 5 SNR-Stufen, reines Audio-Modell vs. audiovisuelles Modell | 25,8% vs. 5,8% | Shi, Hsu und Mohamed (Meta AI), Interspeech 2022 |
| Englische WER bei Stimmengewirr (Babble-Rauschen) mit 0 dB, reines Audio-Modell Whisper-Large vs. Whisper-Flamingo | 13,8% vs. 7,2% | Rouditchenko et al., Whisper-Flamingo, Interspeech 2024 |
| WER auf LRS3, nur Audio vs. Audio plus Video, LLM-basiertes System | 0,79% vs. 0,77% | Cappellazzo et al., Llama-AVSR, ICASSP 2025 |
| Lippenlese-WER auf LRS3, Google-Conformer-Modell | 12,8% | Chang et al. (Google), 2023 |
| Lippenlese-WER auf LRS3, phonembasiertes Modell mit 99,4% weniger annotierten Daten | 18,7% | Thomas, Fish und Bowden, VALLR, arXiv 2025 |
| Lippenlese-WER auf LRS3, AV-HuBERT mit 30 annotierten Stunden vs. bisher bester Wert mit 31.000 Stunden | 32,5% vs. 33,6% | Shi et al. (Meta AI), AV-HuBERT, ICLR 2022 |
| Durchschnittlicher WER-Anstieg bei Lippenlese-Modellen auf dem Stand der Technik, von LRS3 zu WildVSR | 30 Punkte | Djilali et al., WildVSR 2023 |
| Lippenlese-WER, Modell mit Llama-2-13B-Decoder, LRS3 vs. WildVSR | 24,7% vs. 47,0% | Jain und Harte, arXiv 2025 |
| Richtige Wörter aus stummen Sätzen, 84 normalhörende Studierende | 12,4% | Altieri, Pisoni und Townsend, JASA 2011 |
| Richtige Wörter aus stummen Sätzen, früh einsetzender Hörverlust vs. normales Gehör | 43,55% vs. 18,57% | Auer und Bernstein, JSLHR 2007 |
| WER bei YouTube-Clips, professionelle Lippenleser (ohne vs. mit Kontext) vs. Maschine | 92,9% und 86,4% vs. 40,9% | Shillingford et al. (DeepMind und Google), 2018 |
| WER bei BBC-Clips, professioneller Lippenleser vs. reines Lippenmodell | 73,8% vs. 50,2% | Chung et al. (Oxford VGG und Google DeepMind), CVPR 2017 |
| Visueller Nutzen bei Rauschen für klare Sprache, normalhörende Erwachsene | 3,74 dB | Blackburn et al., Trends in Hearing 2019 |
| LRS3-TED Video und Vorträge | über 400 Stunden, 5.594 Vorträge | Afouras, Chung und Zisserman (Oxford VGG), 2018 |
| Minimale Höhe der geschlossenen Lippen im Video für zuverlässiges automatisches Lippenlesen | 4 Pixel | Bear et al., ICIP 2014 |
| Menschen, die Rehabilitation wegen behinderndem Hörverlust benötigen | 430 Millionen | Weltgesundheitsorganisation, 2026 |
Methodik und Quellen
- Ma et al., Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels, ICASSP 2023: Modalitätslücke, Tabellen zur Rauschrobustheit und Skalierung der Trainingsdaten.
- Cappellazzo et al., Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR), ICASSP 2025: Audio- und audiovisuelle WER auf LRS3.
- Rouditchenko et al., Whisper-Flamingo, Interspeech 2024: WER bei sauberem Audio und bei Stimmengewirr (Babble-Rauschen) für Whisper nur mit Audio vs. audiovisuell.
- Chang et al. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023: 12,8% Lippenlese-WER auf LRS3 und der zugehörige Trainingssatz mit 100 Tsd. Stunden.
- Thomas, Fish und Bowden, VALLR: Visual ASR Language Model for Lip Reading, arXiv 2025: 18,7% WER und Effizienz bei annotierten Daten.
- Jain und Harte, From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition, arXiv September 2025: Ergebnisse von LLM-Decodern auf LRS3 und WildVSR.
- Meta AI: Shi et al., AV-HuBERT, ICLR 2022 und Shi, Hsu und Mohamed, Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022: Dateneffizienz und Rauschrobustheit.
- Anwar et al. (Meta AI), mehrsprachiges audiovisuelles Korpus MuAViC, 2023: Korpusgröße und Sprachabdeckung.
- Oxford VGG: Afouras, Chung und Zisserman, LRS3-TED, 2018 und Prajwal, Afouras und Zisserman, Sub-word Level Lip Reading With Visual Attention, 2021: Datensatzgrößen und die Risikobewertung zu CCTV.
- Chung et al., Lip Reading Sentences in the Wild, CVPR 2017: BBC-Ergebnisse für Lippen vs. Audio, Rauschergebnisse und Referenzwert des professionellen Lippenlesers.
- Assael et al., LipNet: End-to-End Sentence-level Lipreading, 2016: Ergebnisse auf dem GRID-Satzkorpus und Referenzwert schwerhöriger Lippenleser.
- Shillingford et al., Large-Scale Visual Speech Recognition, 2018: LSVSR-Datensatz, WER professioneller Lippenleser, Einschränkungen bei Gesichtswinkel und Auflösung.
- Djilali et al., Do VSR Models Generalize Beyond LRS3? (WildVSR), 2023: Generalisierungslücke unter realen Bedingungen.
- Ma, Petridis und Pantic, Visual Speech Recognition for Multiple Languages in the Wild, Nature Machine Intelligence 2022: WER außerhalb des Englischen und die Diskussion zu Dual-Use und Datenschutz.
- Altieri, Pisoni und Townsend, Some normative data on lip-reading skills, JASA 2011: menschliche Werte bei rein visuellen Sätzen.
- Auer und Bernstein, Enhanced visual speech perception in individuals with early-onset hearing impairment, JSLHR 2007: Lippenlese-Werte gehörloser vs. hörender Menschen.
- Blackburn et al., Visual Speech Benefit in Clear and Degraded Speech, Trends in Hearing 2019: visueller Nutzen in Dezibel.
- Lalonde, Buss, Miller und Leibold, Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss, Frontiers in Psychology 2022: rein visuelle Konsonantenwerte für Kinder und Erwachsene.
- Bear, Harvey, Theobald und Lan, Resolution limits on visual speech recognition, ICIP 2014: minimale Lippenauflösung.
- Weltgesundheitsorganisation, Factsheet Deafness and hearing loss, 3. März 2026: Verbreitung von Hörverlust, Prognosen und Kosten.
- Big Brother Watch, 28. August 2019: Bericht über die Warnung des britischen Beauftragten für Überwachungskameras vor Überwachung durch Lippenlesen.
- Daten-Hinweis: Werte auf dem LRS3-Testsatz sind zwischen Papern, die mit unterschiedlichen Daten trainieren, nicht eins zu eins vergleichbar, und die Testsätze sind winzig (1 Stunde bei LRS3). Mehrere Paper beanspruchen den Stand der Technik zu unterschiedlichen Zeitpunkten: Die 0,79% und 0,77% von Llama-AVSR stehen neben den 0,68% und 0,76% von Whisper-Flamingo, und die 18,7% von VALLR stehen neben den niedrigeren 12,8% von Google, das weit mehr annotierte Daten nutzte. VALLR und die Studie von Jain und Harte sind Preprints ohne angegebenen begutachteten Veröffentlichungsort. Die Stunden desselben Datensatzes unterscheiden sich je nach Quelle: Das LRS3-TED-Paper nennt 407 Vortrainingsstunden sowie für LRS2-BBC Vortrainings- und Trainings-und-Validierungssätze mit 195 und 29 Stunden, während Ma, Petridis und Pantic 438 Stunden für LRS3 und 223 Stunden für LRS2 zählen. Das WildVSR-Paper nennt für seine Anpassung zwei Steigungen (1,31 und 1,30), und sein Anhang B besagt, dass Whisper auf beiden Testsätzen unter 4 WER erreicht, was dem Wert 4,2 in seiner Tabelle 2 widerspricht. Es gibt auch die Größe des Whisper-Modells nicht an. Menschliche Referenzwerte stützen sich auf sehr kleine Gruppen (ein Profi bei der BBC-Studie, drei schwerhörige Lippenleser bei LipNet), und die normativen menschlichen Daten stammen aus den Jahren 2007 und 2011. Die Lalonde-Studie simulierte Masken, statt die Sprecher Masken tragen zu lassen. Wir fanden keine begutachtete Messung der Lippenlese-Genauigkeit an echtem CCTV-Material: Die hier zitierten Überwachungsbedenken sind dokumentierte Warnungen, keine gemessenen Einsätze.
Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn die Tagungsbände von ICASSP 2027 und Interspeech 2027 neue LRS3- und WildVSR-Ergebnisse veröffentlichen.