話者の唇の映像を加えると、強い白色ノイズ(-7.5 dB)下で音声認識器の単語誤り率が88.9%から24.2%に低下した(Ma ほか、Auto-AVSR、ICASSP 2023)。唇だけでは音声よりはるかに劣る。2025年の読唇モデルはTED講演のLRS3ベンチマークでWER 18.7%を報告し(Thomas、Fish、Bowden、VALLR 2025)、LLMベースの視聴覚システムは0.77%に達している(Cappellazzo ほか、Llama-AVSR、ICASSP 2025)。人間の読唇はさらに低い水準だ。プロの読唇者はYouTubeのクリップで86.4%から92.9%のWERを記録した(Shillingford ほか、DeepMindとGoogle、Large-Scale Visual Speech Recognition 2018)。本稿では、Oxford Visual Geometry Group(VGG)のLRS2およびLRS3データセット、Meta AIのAV-HuBERT論文、WildVSR汎化研究、世界保健機関、そしてJASA、JSLHR、Trends in Hearingに掲載された査読済みの聴覚研究のデータを集計した。音声のみの認識器が話者によってどのように精度を落とすかについては、当社の音声認識のアクセントバイアス統計をご覧ください。
本稿全体で使う用語について。WER(単語誤り率)は、置換、欠落、余分な単語を数えて、システムが誤った単語の割合を示すもので、低いほど良い。VSR(視覚音声認識)は、音声のない映像からの機械による読唇を指し、ASRは音声のみの認識、AVSRは両方を使う視聴覚認識を指す。SNR(信号対雑音比)は、音声が背景ノイズよりどれだけ大きいかを表し、SNRが負であることは、ノイズが声より大きいことを意味する。
主なポイント
- 0 dBのバブルノイズ下の英語WERは、音声のみのWhisper-Largeの13.8%から、視聴覚のWhisper-Flamingoの7.2%に低下した(Rouditchenko ほか、Interspeech 2024)。
- LLMベースのシステムは、LRS3で視聴覚0.77%、音声のみ0.79%のWERを報告している(Cappellazzo ほか、Llama-AVSR、ICASSP 2025)。
- Googleの読唇モデルはLRS3でWER 12.8%を報告しており、4年前の音声のみのモデルに匹敵すると説明されている(Chang ほか、Google、Conformers論文 2023)。
- 音素ベースの読唇モデルは、次点の手法より99.4%少ないラベル付きデータで、LRS3においてWER 18.7%に達した(Thomas、Fish、Bowden、VALLR 2025)。
- プロの読唇者は、文脈なしでWER 92.9%、文脈ありで86.4%だったのに対し、機械システムは40.9%だった(Shillingford ほか、DeepMindとGoogle 2018)。
- 健聴の大学生84人は、音声なしの文の映像から単語の12.4%を識別した(Altieri、Pisoni、Townsend、JASA 2011)。
- 早期発症の難聴のある成人は、唇から単語の43.55%を読み取り、健聴の成人の18.57%を上回った(AuerとBernstein、JSLHR 2007)。
- ラベル付きデータがわずか30時間でも、AV-HuBERTは読唇WER 32.5%に達し、31,000時間で学習した33.6%のシステムを上回った(Shi ほか、Meta AI、ICLR 2022)。
- 最先端の読唇モデルは、LRS3からWildVSRテストセットに移すと、平均でWERが30ポイント悪化する(Djilali ほか、WildVSR 2023)。
- 顔が見えることで、明瞭な音声を理解するためのノイズ閾値が3.74 dB下がった(Blackburn ほか、Trends in Hearing 2019)。
- 430百万人が、日常生活に支障をきたす難聴のためにリハビリテーションを必要としている(世界保健機関、難聴とろうに関するファクトシート 2026)。
1. 唇、音声、その両方:単語誤り率におけるモダリティ間の差
目と耳の差は、依然として1桁以上ある。本稿で取り上げたLRS3での読唇の最低スコアはWER 12.8%と18.7%であるのに対し、音声および視聴覚の最低スコアは1%未満だ。異なる音がまったく同じ唇の動きを生むことがあり(‘p’と’b’が標準的な例)、そのため音声なしのモデルは、音声モデルが単に聞き取る内容を文脈から推測しなければならない。
より意外な数値は、上限側にある。クリーンな音声では、映像はほとんど何も加えず、むしろ少しマイナスになることさえある。Whisper-Flamingoは、LRS3で視聴覚WER 0.76%、音声のみ0.68%だった(Rouditchenko ほか、Interspeech 2024)。唇の価値が現れるのはノイズ下であり(セクション2を参照)、スタジオ品質のTED講演ではない。Llama-AVSR論文も、0.79%対0.77%というほぼ同じ引き分けを示している。
| 指標 | 値 | 出典 |
|---|---|---|
| LRS3のWER、唇のみ対音声のみ対音声+映像、3,448時間で学習したモデル | 19.1%対1.0%対0.9% | Ma ほか、Auto-AVSR、ICASSP 2023 |
| LRS3のWER、音声のみ対音声+映像、LLMベースのシステム | 0.79%対0.77% | Cappellazzo ほか、Llama-AVSR、ICASSP 2025 |
| LRS3のWER、音声のみ対音声+映像、Whisperベースのシステム | 0.68%対0.76% | Rouditchenko ほか、Whisper-Flamingo、Interspeech 2024 |
| LRS3の読唇WER、Google Conformerモデル | 12.8% | Chang ほか(Google)、Conformers Are All You Need for Visual Speech Recognition、2023 |
| LRS3の読唇WER、大規模言語モデルを併用した音素ベースのモデル | 18.7% | Thomas、Fish、Bowden、VALLR、arXiv 2025(2026年1月5日改訂) |
| BBCテレビ(LRS)のWER、唇のみ対クリーン音声のみ対クリーン音声+唇 | 50.2%対17.7%対13.9% | Chung ほか(Oxford VGGとGoogle DeepMind)、Lip Reading Sentences in the Wild、CVPR 2017 |
背景:Auto-AVSR論文はこれらの数値を3,448時間で学習したモデルについて報告しており、BBCベースのLRS2セットでの唇のみの誤り率はより低く、音声のみの1.5%に対して14.6%だった。これらのモデルはテストセットを共有しているが、学習データは共有していないため、スコアは同条件の比較ではない。音声のみのシステムには、単純な単語誤りにとどまらない独自の失敗モードがあり、当社の音声認識のハルシネーション統計で扱っている。
2. 低SNRで映像が音声認識をどれくらい助けるか
ここが、唇の映像の真価が発揮される場面だ。ノイズが増えるにつれ、音声のみの誤りは急激に増えるが、視聴覚の誤りはゆるやかにしか増えず、キャプションや音声インターフェースが最も機能しなくなるまさにその場面で差が広がる。Metaの視聴覚モデルは、ノイズ下の平均WERが5.8%で、音声のみ版の25.8%を大きく下回った。これは4種類のノイズと、-10から10 dBまでの5段階のSNRにわたる結果である(Shi、Hsu、Mohamed、Interspeech 2022)。
ノイズの種類も重要だ。以下の-7.5 dBのテストでは、バブルノイズ(背景で多くの人が話している音)は音声のみのモデルへの影響が最も小さかったが、バブルノイズは学習時にも使われていたため、著者らはこれらの結果がピンクノイズやホワイトノイズ(広帯域のヒス音)と直接比較できないと注意している。この2種類のノイズが、最も大きな差を生んだ。
| 指標 | 値 | 出典 |
|---|---|---|
| SNR -7.5 dBでのWER、音声のみ対音声+映像:ホワイトノイズ、ピンクノイズ、バブルノイズ | 88.9%対24.2%、56.8%対16.2%、8.3%対5.6% | Ma ほか、Auto-AVSR、ICASSP 2023 |
| SNR 2.5 dBのホワイトノイズでのWER、音声のみ対音声+映像 | 10.4%対4.3% | Ma ほか、Auto-AVSR、ICASSP 2023 |
| 4種類のノイズと5段階のSNR(-10から10 dB)にわたる平均WER、音声のみのモデル対AV-HuBERTを基にした視聴覚モデル | 25.8%対5.8% | Shi、Hsu、Mohamed(Meta AI)、Robust Self-Supervised Audio-Visual Speech Recognition、Interspeech 2022 |
| バブルノイズでのWER、433時間のラベル付きデータで学習した従来の最先端対30時間のラベル付きデータで学習したAV-HuBERT | 28.0%対14.1% | Shi、Hsu、Mohamed(Meta AI)、Interspeech 2022 |
| SNR 0 dBのバブルノイズでの英語WER(MuAViCテスト)、音声のみのWhisper-Large対視聴覚のWhisper-Flamingo | 13.8%対7.2% | Rouditchenko ほか、Whisper-Flamingo、Interspeech 2024 |
| SNR 10 dBおよび0 dBでのBBCテレビのWER、音声のみ対音声+唇 | 37.6%と62.9%対27.6%と42.0% | Chung ほか(Oxford VGGとGoogle DeepMind)、CVPR 2017 |
外れ値に関する注記:2017年のBBCの数値ははるかに性能の低い世代のモデルによるものだが、より高い誤り水準で同じパターンを示している。0 dBでは、唇を加えることで誤りが20.9ポイント減った(62.9引く42.0)。2023年の-7.5 dBのホワイトノイズでは、減少幅は64.7ポイントだった(88.9引く24.2)。このBBCの比較について入手可能な最新データ:2017年の研究。
3. ベースラインとしての人間の読唇者
人間の読唇は、ほとんどの人が思うよりはるかに難しい。健聴の若年成人は、発話された文の音声なしの映像から、単語のわずか12.4%しか識別できなかった(Altieri、Pisoni、Townsend、JASA 2011)。生涯にわたって顔に頼ることで、この数値は大きく上がる。早期に聴力を失った成人は、健聴の成人の2倍を超える単語を読み取った(AuerとBernstein、JSLHR 2007)。
機械はベンチマーク映像で、訓練を受けたプロを何年も前に上回ったが、この比較には限界がある。人間のベースラインは小さなサンプルに基づいており、LipNetでは300本の映像と3人の読唇者、BBCの研究では200本の映像と1人のプロだった。そのプロは各クリップがどの番組のものかを見ることができ、学習用のサンプル映像を研究でき、クリップを無制限に再生し直せたため、人間のスコアは初見での読み取りの結果ではない。ろう教育の教室側の事情については、当社のろう・難聴の児童生徒の教育統計をご覧ください。
| 指標 | 値 | 出典 |
|---|---|---|
| CUNY文の音声なし映像での正答単語、健聴の大学生84人 | 12.4%(SD 6.67%) | Altieri、Pisoni、Townsend(Indiana University)、Some normative data on lip-reading skills、JASA 2011 |
| 30文の音声なし映像での正答単語、早期発症の難聴のある成人(n = 112)対健聴(n = 220) | 43.55%(SD 17.48)対18.57%(SD 13.18)、t(330) = 14.576, p < .01 | AuerとBernstein、JSLHR 2007 |
| マスクなしの音声なし映像で認識された子音:健聴の子ども対難聴の子ども対健聴の成人 | 約31%対33%対42% | Lalonde、Buss、Miller、Leibold、Frontiers in Psychology 2022 |
| 未知の話者のGRID文でのWER、難聴の読唇者3人対LipNet | 47.7%対11.4% | Assael ほか(University of OxfordとGoogle DeepMind)、LipNet 2016 |
| BBCテストクリップでのWER、プロの読唇者1人対唇のみの機械モデル | 73.8%対50.2%(辞退されたクリップを数えると人間は87.6%) | Chung ほか(Oxford VGGとGoogle DeepMind)、CVPR 2017 |
| YouTubeクリップでのWER、プロの読唇者の文脈なし対文脈あり対機械システム | 92.9%対86.4%対40.9% | Shillingford ほか(DeepMindとGoogle)、Large-Scale Visual Speech Recognition 2018 |
| 健聴の成人の視覚的利得(キーワードの半分を正答するのに必要なSNRの低下幅)、明瞭な音声対ノイズボコード音声 | 3.74 dB(SD 2.67)対4.68 dB(SD 3.28) | Blackburn ほか、Trends in Hearing 2019 |
背景:Blackburnの研究の実験1では、聞き手の映像のみでの正答率は平均わずか1.56%だったが、それでも話者が見えることで音声のみの場合より閾値が改善した(3.74 dBと4.68 dBの数値は実験2のもの)。読唇は、機械でも人間でも、音声を補うものとして最もよく機能する。ノイズボコード音声とは、音声から細かな情報を取り除いて意図的に劣化させた音声のことだ。人間の標準的なスコアについて入手可能な最新データ:Altieri ほか、2011年、およびAuerとBernstein、2007年。
4. 読唇データセット:時間、話者、語彙
読唇研究は、放送テレビやTED講演から作られた一握りの公開データセットに依存している。LRS3ベンチマークは、5,594件のTEDおよびTEDx講演から400時間以上を収めているが、そのテストセットはわずか1時間である(Afouras、Chung、Zisserman、LRS3-TED 2018)。分野全体が1,452件のテスト発話でモデルを順位付けしており、これがセクション6が重要な理由の一つだ。
最大の学習セットは産業界が持っている。3,886時間のLSVSR YouTubeセットは、LRS3の事前学習セットのほぼ10倍(3,886を407で割ると9.5)であり、公開研究は機械生成ラベルと自己教師あり事前学習でそれを補っている。
| 指標 | 値 | 出典 |
|---|---|---|
| LRS3-TEDの映像総量と元の講演、テストセットの規模 | 5,594件のTEDおよびTEDx講演から400時間以上、1時間・1,452発話・451人の話者 | Afouras、Chung、Zisserman(Oxford VGG)、LRS3-TED 2018 |
| LRS2-BBCの事前学習セット対学習・検証セット | 195時間(96k発話)対29時間(47k発話) | Afouras、Chung、Zisserman(Oxford VGG)、LRS3-TED 2018、表1 |
| LSVSR YouTubeデータセット:時間、発話数、語彙 | 3,886時間、2,934,899発話、127,055語 | Shillingford ほか(DeepMindとGoogle)、2018 |
| 事前学習に使われた英語のVoxCeleb2映像、AV-HuBERTの事前学習データ総量 | 1,326時間、1,759時間 | Shi ほか(Meta AI)、AV-HuBERT、ICLR 2022 |
| 多言語視聴覚コーパスMuAViC | 9言語で1,200時間 | Anwar ほか(Meta AI)、MuAViC 2023 |
| WildVSRテストセット:時間、発話数、話者数、語彙 | 4.8時間、2,854発話、618人の話者、6,040語 | Djilali ほか(Technology Innovation Institute)、Do VSR Models Generalize Beyond LRS3?、2023 |
背景:LRS3の事前学習セットと学習・検証セットは内容が重複しているため、それぞれの時間を足し合わせるべきではない。主要ベンチマークについて入手可能な最新データ:LRS3-TED論文、2018年。MuAViC論文は、多言語の視聴覚音声認識における最大のオープンなベンチマークだと自称している。
5. 学習データ量と読唇精度
映像を増やせば精度は上がるが、賢い学習は1時間あたりでより多くをもたらす。AV-HuBERTは、わずか30時間のラベル付きデータで、31,000時間のシステムに並んだ。WERは32.5%対33.6%である(Shi ほか、Meta AI、ICLR 2022)。大きな役割を果たしたのは、ラベルなし映像での自己教師あり事前学習だった。同じアーキテクチャをその30時間だけでゼロから学習させると、92.3%だった。
時間数は依然として重要だが、順位を決めるわけではない。学習時間を818時間から3,448時間に増やすと、LRS3の読唇誤りは13.9ポイント減った(33.0引く19.1)。下の表にあるさらに大規模な2つの実験は、約90,000時間で17.0%、100k時間で12.8%と、4.2ポイント差に収まっており、データ量だけでなくアーキテクチャも効いていることを示している。
| 指標 | 値 | 出典 |
|---|---|---|
| 学習時間818対1,902対3,448時間でのLRS3読唇WER(約90,000時間の非公開データで学習したモデル:17.0%) | 33.0%対23.5%対19.1% | Ma ほか、Auto-AVSR、ICASSP 2023 |
| LRS3の読唇WER、ラベル付き30時間のAV-HuBERT対ラベル付き433時間すべてと自己学習(従来の最高:31,000時間で33.6%) | 32.5%対26.9% | Shi ほか(Meta AI)、AV-HuBERT、ICLR 2022 |
| LRS3の読唇WER、同じ大規模アーキテクチャをゼロから学習、ラベル付き30対433時間 | 92.3%対62.3% | Shi ほか(Meta AI)、AV-HuBERT、ICLR 2022、表1 |
| 音素ベースの読唇モデルが使ったラベル付きデータ量、次点の手法との比較 | 99.4%少ない(LRS3でWER 18.7%) | Thomas、Fish、Bowden、VALLR、arXiv 2025 |
| GoogleのLRS3読唇WER 12.8%の背後にある学習映像 | 文字起こし付きYouTubeセグメント100k時間、その後LRS3(400時間以上)でファインチューニング | Chang ほか(Google)、Conformers Are All You Need for Visual Speech Recognition、2023 |
背景:より大きな言語モデルも近道ではない。JainとHarte(arXiv、2025年9月)は、大規模言語モデルのデコーダーが主に改善するのは視覚特徴ではなく文脈推論であり、さらなる進歩にはより強力な視覚エンコーダーが必要だと結論づけている。
6. TED講演を超えて:実環境の映像と英語以外の読唇
ベンチマークのWERは、読唇を実力以上によく見せる。研究者がLRS3の作成過程に忠実に従ってYouTube映像から新しいテストセットを作ったところ、最先端の読唇モデルは平均でWERが30ポイント悪化した(Djilali ほか、WildVSR 2023)。音声の変動ははるかに小さく、Whisperは1.1%から4.2%になっただけだった。ただし順位は保たれたため、LRS3でスコアが良いモデルは、WildVSRでも依然としてスコアが良い。
言語は2つ目の死角だ。英語のLRS3でWER 31.5%だった手法は、スペイン語、イタリア語、フランス語のTED形式の講演では56.3%以上だった(Ma、Petridis、Pantic、Nature Machine Intelligence 2022)。英語以外の読唇について入手可能な最新データ:その2022年の論文。
| 指標 | 値 | 出典 |
|---|---|---|
| 最先端の読唇モデルの平均WER上昇幅、LRS3からWildVSRへ | 30ポイント | Djilali ほか、WildVSR 2023 |
| 読唇WER、検証した最良のモデル(Auto-AVSR、3,448時間)、LRS3対WildVSR | 19.1%対38.6% | Djilali ほか、WildVSR 2023、表2 |
| 音声のみのWER、Whisper、LRS3対WildVSR | 1.1%対4.2% | Djilali ほか、WildVSR 2023、表2 |
| モデル全体でのWildVSR WERとLRS3 WERの近似関係 | WildVSR WER = 約1.31 x LRS3 WER + 14.05 | Djilali ほか、WildVSR 2023 |
| 読唇WER、Llama-2-13Bデコーダーモデル、LRS3対WildVSR | 24.7%対47.0% | JainとHarte、From Hype to Insight、arXiv 2025 |
| 言語別の読唇誤り(最良の実行):中国語(普通話)の文字誤り率(CMLR)対スペイン語、イタリア語、フランス語の単語誤り率(Multilingual TEDx) | 8.0%対56.3%、57.4%、66.2% | Ma、Petridis、Pantic、Nature Machine Intelligence 2022 |
背景:中国語(普通話)の数値は単語ではなく文字ごとの誤りを数えているため、WERの数値と直接比較することはできない。最良モデルのWildVSRでの差は19.5ポイント(38.6引く19.1)で、平均の30ポイントを下回っており、強いモデルほど劣化が小さいという著者らの知見と一致している。
7. プライバシー、監視、アクセシビリティ
文書化されているプライバシー上の懸念は具体的だ。研究者自身がCCTVを指摘している。Ma、Petridis、Pantic は視覚音声認識を「デュアルユース技術」と呼び、「CCTVやスマートフォンのカメラを通じた監視に利用され得るため、プライバシー上の懸念が生じる」と述べ、政府による規制が必要だと論じている。また、当時、言語障害のある人のコミュニケーションを支援するスマートフォンアプリが英国のNHS病院で試験運用されていたことも報告している。英国の監視カメラ・コミッショナー(Surveillance Camera Commissioner)であるTony Porterは、2019年8月に、読唇による監視技術が近づいていると警告した(Big Brother Watch、2019年8月28日)。
これに対する歯止めは技術的なものだ。Oxford VGGの研究者は、カメラが「通常、はるかに低い解像度とフレームレートで、変わった角度から撮影する」ため、CCTVによる盗み聞きは「リスクが非常に低い」と判断している(Prajwal、Afouras、Zisserman、2021)。3,886時間のシステムは、カメラに対して30度以内に向いた顔でのみ学習されており、著者らは他の状況ではうまく機能しないと述べている(Shillingford ほか、2018)。アクセシビリティの根拠は、大きな人口に支えられている。WHOのファクトシートは、難聴への支援策として、キャプションと読話を挙げている。唇以外の視覚的な言語AIについては、当社の手話AIとコンピュータービジョンの統計で扱っている。
| 指標 | 値 | 出典 |
|---|---|---|
| 3,886時間の読唇システムの学習条件:頭の角度、最小の顔サイズ、最小フレームレート | ヨー角とピッチ角が±30度以内、両目の間が80ピクセル以上、毎秒23フレーム未満のクリップは除外 | Shillingford ほか(DeepMindとGoogle)、2018 |
| 確実な自動読唇に必要な、映像内の閉じた唇の最小の高さ | 4ピクセル | Bear、Harvey、Theobald、Lan、Resolution limits on visual speech recognition、ICIP 2014 |
| 解像度の研究で検証した最低の映像解像度対フルHDの元映像 | 42 x 32対1440 x 1080ピクセル(18通りの解像度を検証) | Bear、Harvey、Theobald、Lan、ICIP 2014 |
| 日常生活に支障をきたす難聴のためにリハビリテーションを必要とする人 | 430百万人(世界人口の5%超) | 世界保健機関、難聴とろうに関するファクトシート、2026年3月3日 |
| 2050年までに何らかの程度の難聴になると予測される人対日常生活に支障をきたす難聴になると予測される人 | 2.5十億人近く対700百万人超 | 世界保健機関、難聴とろうに関するファクトシート、2026年3月3日 |
| 対処されていない難聴による年間の世界的なコスト | US$1兆近く | 世界保健機関、難聴とろうに関するファクトシート、2026年3月3日 |
背景:Bearらの研究は、2人の話者による約30分の映像を使っているため、4ピクセルという下限は目安であり、保証ではない。解像度の限界について入手可能な最新データ:Bearほか、2014年。
数字で見る読唇・視覚音声認識のWER(まとめ)
| 指標 | 値 | 出典 |
|---|---|---|
| SNR -7.5 dBのホワイトノイズでのWER、音声のみ対音声+映像 | 88.9%対24.2% | Ma ほか、Auto-AVSR、ICASSP 2023 |
| 4種類のノイズと5段階のSNRにわたる平均WER、音声のみ対視聴覚モデル | 25.8%対5.8% | Shi、Hsu、Mohamed(Meta AI)、Interspeech 2022 |
| 0 dBのバブルノイズでの英語WER、音声のみのWhisper-Large対Whisper-Flamingo | 13.8%対7.2% | Rouditchenko ほか、Whisper-Flamingo、Interspeech 2024 |
| LRS3のWER、音声のみ対音声+映像、LLMベースのシステム | 0.79%対0.77% | Cappellazzo ほか、Llama-AVSR、ICASSP 2025 |
| LRS3の読唇WER、Google Conformerモデル | 12.8% | Chang ほか(Google)、2023 |
| LRS3の読唇WER、ラベル付きデータが99.4%少ない音素ベースのモデル | 18.7% | Thomas、Fish、Bowden、VALLR、arXiv 2025 |
| LRS3の読唇WER、ラベル付き30時間のAV-HuBERT対31,000時間での従来の最高 | 32.5%対33.6% | Shi ほか(Meta AI)、AV-HuBERT、ICLR 2022 |
| 最先端の読唇モデルの平均WER上昇幅、LRS3からWildVSRへ | 30ポイント | Djilali ほか、WildVSR 2023 |
| 読唇WER、Llama-2-13Bデコーダーモデル、LRS3対WildVSR | 24.7%対47.0% | JainとHarte、arXiv 2025 |
| 音声なしの文での正答単語、健聴の大学生84人 | 12.4% | Altieri、Pisoni、Townsend、JASA 2011 |
| 音声なしの文での正答単語、早期発症の難聴対健聴 | 43.55%対18.57% | AuerとBernstein、JSLHR 2007 |
| YouTubeクリップでのWER、プロの読唇者(文脈なし対あり)対機械 | 92.9%と86.4%対40.9% | Shillingford ほか(DeepMindとGoogle)、2018 |
| BBCクリップでのWER、プロの読唇者対唇のみのモデル | 73.8%対50.2% | Chung ほか(Oxford VGGとGoogle DeepMind)、CVPR 2017 |
| 明瞭な音声に対するノイズ下の視覚的利得、健聴の成人 | 3.74 dB | Blackburn ほか、Trends in Hearing 2019 |
| LRS3-TEDの映像と講演 | 400時間以上、5,594件の講演 | Afouras、Chung、Zisserman(Oxford VGG)、2018 |
| 確実な自動読唇に必要な、映像内の閉じた唇の最小の高さ | 4ピクセル | Bearほか、ICIP 2014 |
| 日常生活に支障をきたす難聴のためにリハビリテーションを必要とする人 | 430百万人 | 世界保健機関、2026年 |
方法論と出典
- Ma ほか、Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels、ICASSP 2023:モダリティ間の差、ノイズ耐性の表、学習データ量のスケーリング。
- Cappellazzo ほか、Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR)、ICASSP 2025:LRS3での音声のみおよび視聴覚のWER。
- Rouditchenko ほか、Whisper-Flamingo、Interspeech 2024:音声のみ対視聴覚のWhisperの、クリーン音声およびバブルノイズでのWER。
- Chang ほか(Google)、Conformers Are All You Need for Visual Speech Recognition、2023:LRS3での読唇WER 12.8%と、その100k時間の学習セット。
- Thomas、Fish、Bowden、VALLR: Visual ASR Language Model for Lip Reading、arXiv 2025:WER 18.7%とラベル付きデータの効率。
- JainとHarte、From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition、arXiv 2025年9月:LRS3とWildVSRでのLLMデコーダーの結果。
- Meta AI:Shi ほか、AV-HuBERT、ICLR 2022およびShi、Hsu、Mohamed、Robust Self-Supervised Audio-Visual Speech Recognition、Interspeech 2022:データ効率とノイズ耐性。
- Anwar ほか(Meta AI)、多言語視聴覚コーパスMuAViC、2023:コーパスの規模と対応言語。
- Oxford VGG:Afouras、Chung、Zisserman、LRS3-TED、2018およびPrajwal、Afouras、Zisserman、Sub-word Level Lip Reading With Visual Attention、2021:データセットの規模とCCTVのリスク評価。
- Chung ほか、Lip Reading Sentences in the Wild、CVPR 2017:BBCでの唇対音声の結果、ノイズの結果、プロの読唇者のベースライン。
- Assael ほか、LipNet: End-to-End Sentence-level Lipreading、2016:GRID文コーパスでの結果と、難聴の読唇者のベースライン。
- Shillingford ほか、Large-Scale Visual Speech Recognition、2018:LSVSRデータセット、プロの読唇者のWER、顔の角度と解像度の制約。
- Djilali ほか、Do VSR Models Generalize Beyond LRS3? (WildVSR)、2023:実環境での汎化の差。
- Ma、Petridis、Pantic、Visual Speech Recognition for Multiple Languages in the Wild、Nature Machine Intelligence 2022:英語以外のWER、およびデュアルユースとプライバシーに関する議論。
- Altieri、Pisoni、Townsend、Some normative data on lip-reading skills、JASA 2011:人間の視覚のみでの文のスコア。
- AuerとBernstein、Enhanced visual speech perception in individuals with early-onset hearing impairment、JSLHR 2007:ろう者対聴者の読唇スコア。
- Blackburn ほか、Visual Speech Benefit in Clear and Degraded Speech、Trends in Hearing 2019:デシベルで示した視覚的利得。
- Lalonde、Buss、Miller、Leibold、Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss、Frontiers in Psychology 2022:子どもと成人の、視覚のみでの子音スコア。
- Bear、Harvey、Theobald、Lan、Resolution limits on visual speech recognition、ICIP 2014:唇の最小解像度。
- 世界保健機関、難聴とろうに関するファクトシート、2026年3月3日:難聴の有病率、予測、コスト。
- Big Brother Watch、2019年8月28日:英国の監視カメラ・コミッショナーによる読唇監視への警告に関する報道。
- データウォッチ:LRS3テストセットのスコアは、異なるデータで学習した論文間では同条件の比較ではなく、テストセットも非常に小さい(LRS3は1時間)。複数の論文が異なる時期に最先端を主張している。Llama-AVSRの0.79%と0.77%は、Whisper-Flamingoの0.68%と0.76%と並び、VALLRの18.7%は、はるかに多くのラベル付きデータを使ったGoogleのより低い12.8%と並んでいる。VALLRとJainとHarteの研究は、査読済みの掲載先が記載されていないプレプリントである。同じデータセットでも時間数は出典によって異なる。LRS3-TED論文は事前学習407時間、LRS2-BBCの事前学習セットと学習・検証セットをそれぞれ195時間と29時間としているが、Ma、Petridis、PanticはLRS3を438時間、LRS2を223時間と数えている。WildVSR論文は近似の傾きを2つ(1.31と1.30)示しており、その付録Bは両方のテストセットでWhisperのWERが4未満だと述べているが、これは表2の4.2と食い違っている。また、Whisperのモデルサイズも明記していない。人間のベースラインは非常に小さなパネルに依存しており(BBCの研究ではプロ1人、LipNetでは難聴の読唇者3人)、人間の標準データは2007年と2011年のものである。Lalondeの研究は、話者に実際にマスクを着けさせるのではなく、マスクをシミュレートしたものだった。実際のCCTV映像での読唇精度について査読済みの測定は見つからなかった。ここで引用した監視への懸念は、文書化された警告であって、測定された運用ではない。
最終更新日:2026年10月31日。当社はこのまとめを四半期ごとに更新しており、次回の更新は、ICASSP 2027とInterspeech 2027の論文集がLRS3とWildVSRの新しい結果を公表した時期を予定している。