화자의 입술 영상을 더하자 -7.5 dB의 강한 백색 소음에서 음성 인식기의 단어 오류율이 88.9%에서 24.2%로 떨어졌다(Ma 외, Auto-AVSR, ICASSP 2023). 입술만으로는 여전히 음성보다 훨씬 약하다. 2025년의 독순 모델은 TED 강연 벤치마크인 LRS3에서 WER 18.7%를 기록했고(Thomas, Fish, Bowden, VALLR 2025), LLM 기반 시청각 시스템은 0.77%에 도달했다(Cappellazzo 외, Llama-AVSR, ICASSP 2025). 사람의 독순은 그보다도 낮은 기준이다. 전문 독순자는 YouTube 클립에서 86.4%에서 92.9%의 WER을 기록했다(Shillingford 외, DeepMind와 Google, Large-Scale Visual Speech Recognition 2018). 본 글에서는 Oxford Visual Geometry Group(VGG)의 LRS2 및 LRS3 데이터셋, Meta AI의 AV-HuBERT 논문, WildVSR 일반화 연구, 세계보건기구, 그리고 JASA, JSLHR, Trends in Hearing에 실린 동료 심사 청각 연구의 데이터를 종합했다. 음성만 쓰는 인식기가 화자에 따라 어떻게 무너지는지는 저희 음성 인식 억양 편향 통계를 참고하세요.
본문 전반에서 쓰이는 용어에 대한 설명이다. WER(단어 오류율)은 대체, 누락, 추가된 단어를 모두 세어 시스템이 틀린 단어의 비율을 나타내며, 낮을수록 좋다. VSR(시각 음성 인식)은 소리 없는 영상으로 기계가 입술을 읽는 것을, ASR은 음성만 쓰는 인식을, AVSR은 둘을 모두 쓰는 시청각 인식을 뜻한다. SNR(신호 대 잡음비)은 음성이 배경 소음보다 얼마나 큰지를 나타내며, SNR이 음수라는 것은 소음이 목소리보다 크다는 뜻이다.
요약
- 0 dB 배블 노이즈에서 영어 WER은 음성만 쓰는 Whisper-Large의 13.8%에서 시청각 Whisper-Flamingo의 7.2%로 떨어졌다(Rouditchenko 외, Interspeech 2024).
- LLM 기반 시스템은 LRS3에서 시청각 0.77%, 음성만 0.79%의 WER을 기록했다(Cappellazzo 외, Llama-AVSR, ICASSP 2025).
- Google의 독순 모델은 LRS3에서 WER 12.8%를 기록했으며, 4년 전의 음성 전용 모델에 필적한다고 설명된다(Chang 외, Google, Conformers 논문 2023).
- 음소 기반 독순 모델은 차선 접근법보다 라벨 데이터를 99.4% 적게 쓰고도 LRS3에서 WER 18.7%에 도달했다(Thomas, Fish, Bowden, VALLR 2025).
- 전문 독순자는 문맥 없이 WER 92.9%, 문맥이 있을 때 86.4%를 기록했으며, 기계 시스템은 40.9%였다(Shillingford 외, DeepMind와 Google 2018).
- 정상 청력의 대학생 84명은 소리 없는 문장 영상에서 단어의 12.4%를 식별했다(Altieri, Pisoni, Townsend, JASA 2011).
- 조기 발병 난청이 있는 성인은 입술에서 단어의 43.55%를 읽어냈고, 정상 청력 성인은 18.57%였다(Auer와 Bernstein, JSLHR 2007).
- 라벨 데이터가 30시간뿐인데도 AV-HuBERT는 독순 WER 32.5%에 도달해, 31,000시간으로 학습한 33.6%의 시스템을 앞섰다(Shi 외, Meta AI, ICLR 2022).
- 최첨단 독순 모델은 LRS3에서 WildVSR 테스트 세트로 옮기면 평균 30 WER 포인트가 나빠진다(Djilali 외, WildVSR 2023).
- 얼굴이 보이면 명료한 음성을 이해하기 위한 소음 임계값이 3.74 dB 낮아졌다(Blackburn 외, Trends in Hearing 2019).
- 430백만 명이 장애를 유발하는 난청 때문에 재활이 필요하다(세계보건기구, 난청 및 청각장애 팩트시트 2026).
1. 입술 대 음성 대 둘 다: 단어 오류율의 모달리티 격차
눈과 귀 사이의 격차는 여전히 10배가 넘는다. 본 정리에서 LRS3 독순의 최저 점수는 WER 12.8%와 18.7%인 반면, 음성 및 시청각의 최저 점수는 1% 미만이다. 서로 다른 소리가 완전히 같은 입술 움직임을 만들 수 있기 때문에(‘p’와 ‘b’가 대표적인 예), 소리 없는 모델은 음성 모델이 그냥 듣는 것을 문맥에서 추론해야 한다.
더 놀라운 수치는 가장 위쪽에 있다. 깨끗한 음성에서는 영상이 거의 보탬이 되지 않으며 오히려 약간 손해가 되기도 한다. Whisper-Flamingo는 LRS3에서 시청각 WER 0.76%, 음성만 0.68%를 기록했다(Rouditchenko 외, Interspeech 2024). 입술의 가치는 소음 속에서 드러나며(섹션 2 참조), 스튜디오 품질의 TED 강연에서는 드러나지 않는다. Llama-AVSR 논문도 0.79% 대 0.77%라는 거의 같은 무승부를 보여준다.
| 지표 | 값 | 출처 |
|---|---|---|
| LRS3의 WER, 입술만 대 음성만 대 음성+영상, 3,448시간으로 학습한 모델 | 19.1% 대 1.0% 대 0.9% | Ma 외, Auto-AVSR, ICASSP 2023 |
| LRS3의 WER, 음성만 대 음성+영상, LLM 기반 시스템 | 0.79% 대 0.77% | Cappellazzo 외, Llama-AVSR, ICASSP 2025 |
| LRS3의 WER, 음성만 대 음성+영상, Whisper 기반 시스템 | 0.68% 대 0.76% | Rouditchenko 외, Whisper-Flamingo, Interspeech 2024 |
| LRS3의 독순 WER, Google Conformer 모델 | 12.8% | Chang 외(Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
| LRS3의 독순 WER, 대규모 언어 모델을 결합한 음소 기반 모델 | 18.7% | Thomas, Fish, Bowden, VALLR, arXiv 2025 (2026년 1월 5일 개정) |
| BBC 텔레비전(LRS)의 WER, 입술만 대 깨끗한 음성만 대 깨끗한 음성+입술 | 50.2% 대 17.7% 대 13.9% | Chung 외(Oxford VGG와 Google DeepMind), Lip Reading Sentences in the Wild, CVPR 2017 |
배경: Auto-AVSR 논문은 이 수치를 3,448시간으로 학습한 모델에 대해 보고하며, BBC 기반 LRS2 세트에서 입술만 쓴 오류율은 더 낮은 14.6%였고 음성만 쓴 경우는 1.5%였다. 이 모델들은 테스트 세트를 공유하지만 학습 데이터는 공유하지 않으므로, 점수가 동일 조건의 비교는 아니다. 음성만 쓰는 시스템에는 단순한 단어 오류를 넘어서는 고유한 실패 양상이 있으며, 저희 음성 인식 환각 통계에서 다룬다.
2. 낮은 SNR에서 영상이 음성 인식에 얼마나 도움이 되는가
바로 여기서 입술 영상이 제 몫을 한다. 소음이 커질수록 음성 전용 오류는 가파르게 오르지만 시청각 오류는 완만하게 오르므로, 자막과 음성 인터페이스가 가장 크게 실패하는 바로 그 지점에서 격차가 벌어진다. Meta의 시청각 모델은 소음 속 평균 WER이 5.8%로, 음성만 쓰는 버전의 25.8%를 크게 밑돌았다. 이는 4종류의 소음과 -10에서 10 dB에 이르는 5단계 SNR 전반에 걸친 결과다(Shi, Hsu, Mohamed, Interspeech 2022).
소음의 종류도 중요하다. 아래 -7.5 dB 테스트에서는 배블 노이즈(배경에서 여러 사람이 이야기하는 소리)가 음성 전용 모델에 가장 적은 피해를 주었지만, 배블 노이즈는 학습 중에도 사용되었기 때문에 저자들은 이 결과를 핑크 노이즈 및 백색 소음(광대역 쉬익 소리)과 직접 비교할 수 없다고 경고한다. 이 두 종류의 소음이 가장 큰 격차를 만들었다.
| 지표 | 값 | 출처 |
|---|---|---|
| SNR -7.5 dB에서의 WER, 음성만 대 음성+영상: 백색 소음, 핑크 노이즈, 배블 노이즈 | 88.9% 대 24.2%, 56.8% 대 16.2%, 8.3% 대 5.6% | Ma 외, Auto-AVSR, ICASSP 2023 |
| SNR 2.5 dB의 백색 소음에서의 WER, 음성만 대 음성+영상 | 10.4% 대 4.3% | Ma 외, Auto-AVSR, ICASSP 2023 |
| 4종류의 소음과 5단계 SNR(-10에서 10 dB) 전반의 평균 WER, 음성 전용 모델 대 AV-HuBERT 기반 시청각 모델 | 25.8% 대 5.8% | Shi, Hsu, Mohamed(Meta AI), Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022 |
| 배블 노이즈에서의 WER, 라벨 데이터 433시간으로 학습한 기존 최고 성능 대 라벨 데이터 30시간으로 학습한 AV-HuBERT | 28.0% 대 14.1% | Shi, Hsu, Mohamed(Meta AI), Interspeech 2022 |
| SNR 0 dB 배블 노이즈에서의 영어 WER(MuAViC 테스트), 음성만 쓰는 Whisper-Large 대 시청각 Whisper-Flamingo | 13.8% 대 7.2% | Rouditchenko 외, Whisper-Flamingo, Interspeech 2024 |
| SNR 10 dB 및 0 dB에서의 BBC 텔레비전 WER, 음성만 대 음성+입술 | 37.6%와 62.9% 대 27.6%와 42.0% | Chung 외(Oxford VGG와 Google DeepMind), CVPR 2017 |
이상치에 대한 참고: 2017년 BBC 수치는 훨씬 성능이 낮은 세대의 모델에서 나온 것이지만, 더 높은 오류 수준에서 같은 패턴을 보여준다. 0 dB에서 입술을 더하자 오류가 20.9포인트 줄었고(62.9 빼기 42.0), 2023년 -7.5 dB 백색 소음에서는 64.7포인트 줄었다(88.9 빼기 24.2). 해당 BBC 비교에 대해 입수 가능한 최신 데이터: 2017년 연구.
3. 기준선으로서의 사람 독순자
사람의 독순은 대부분의 사람이 생각하는 것보다 훨씬 어렵다. 정상 청력의 젊은 성인은 소리 없는 발화 문장 영상에서 단어의 12.4%만 식별했다(Altieri, Pisoni, Townsend, JASA 2011). 평생 얼굴에 의존해 온 경험은 이 수치를 크게 끌어올린다. 일찍 청력을 잃은 성인은 청인 성인보다 두 배가 넘는 단어를 읽어냈다(Auer와 Bernstein, JSLHR 2007).
기계는 벤치마크 영상에서 훈련받은 전문가를 몇 년 전에 이미 앞질렀지만, 이 비교에는 한계가 있다. 사람의 기준선은 작은 표본에 기반했다. LipNet에서는 영상 300개와 독순자 3명, BBC 연구에서는 영상 200개와 전문가 1명이었다. 그 전문가는 각 클립이 어느 프로그램에서 나왔는지 볼 수 있었고, 학습용 샘플 영상을 공부할 수 있었으며, 클립을 횟수 제한 없이 다시 재생할 수 있었으므로, 사람의 점수는 처음 보는 상태에서의 독해 결과가 아니다. 청각장애 교육의 교실 쪽 이야기는 저희 청각장애·난청 학생 교육 통계를 참고하세요.
| 지표 | 값 | 출처 |
|---|---|---|
| CUNY 문장의 소리 없는 영상에서 맞힌 단어, 정상 청력 대학생 84명 | 12.4% (SD 6.67%) | Altieri, Pisoni, Townsend(Indiana University), Some normative data on lip-reading skills, JASA 2011 |
| 30개 문장의 소리 없는 영상에서 맞힌 단어, 조기 발병 난청 성인(n = 112) 대 정상 청력(n = 220) | 43.55% (SD 17.48) 대 18.57% (SD 13.18), t(330) = 14.576, p < .01 | Auer와 Bernstein, JSLHR 2007 |
| 마스크 없이 소리 없는 영상에서 인식한 자음: 정상 청력 아동 대 난청 아동 대 정상 청력 성인 | 약 31% 대 33% 대 42% | Lalonde, Buss, Miller, Leibold, Frontiers in Psychology 2022 |
| 처음 보는 화자의 GRID 문장에서의 WER, 난청 독순자 3명 대 LipNet | 47.7% 대 11.4% | Assael 외(University of Oxford와 Google DeepMind), LipNet 2016 |
| BBC 테스트 클립에서의 WER, 전문 독순자 1명 대 입술만 쓰는 기계 모델 | 73.8% 대 50.2% (거절된 클립을 포함하면 사람은 87.6%) | Chung 외(Oxford VGG와 Google DeepMind), CVPR 2017 |
| YouTube 클립에서의 WER, 전문 독순자의 문맥 없음 대 문맥 있음 대 기계 시스템 | 92.9% 대 86.4% 대 40.9% | Shillingford 외(DeepMind와 Google), Large-Scale Visual Speech Recognition 2018 |
| 정상 청력 성인의 시각 이득(핵심 단어의 절반을 맞히는 데 필요한 SNR의 감소폭), 명료한 음성 대 노이즈 보코딩 음성 | 3.74 dB (SD 2.67) 대 4.68 dB (SD 3.28) | Blackburn 외, Trends in Hearing 2019 |
배경: Blackburn 연구의 실험 1에서 청취자는 영상만 있을 때 평균 1.56%만 맞혔지만, 그럼에도 화자를 볼 수 있으면 음성만 있을 때보다 임계값이 개선되었다(3.74 dB와 4.68 dB 수치는 실험 2의 것이다). 독순은 기계든 사람이든 소리를 보완하는 수단일 때 가장 잘 작동한다. 노이즈 보코딩 음성은 소리에서 세밀한 정보를 제거해 의도적으로 열화시킨 음성이다. 사람의 표준 점수에 대해 입수 가능한 최신 데이터: Altieri 외, 2011년 및 Auer와 Bernstein, 2007년.
4. 독순 데이터셋: 시간, 화자, 어휘
독순 연구는 방송 TV와 TED 강연으로 만든 소수의 공개 데이터셋에 의존한다. LRS3 벤치마크는 5,594개의 TED 및 TEDx 강연에서 나온 400시간 이상을 담고 있지만, 테스트 세트는 단 1시간이다(Afouras, Chung, Zisserman, LRS3-TED 2018). 한 분야 전체가 1,452개의 테스트 발화로 모델 순위를 매기고 있으며, 이것이 섹션 6이 중요한 이유 중 하나다.
가장 큰 학습 세트는 산업계가 가지고 있다. 3,886시간짜리 LSVSR YouTube 세트는 LRS3 사전 학습 세트의 거의 열 배(3,886을 407로 나누면 9.5)이며, 공개 연구는 기계가 생성한 라벨과 자기 지도 사전 학습으로 이를 보완한다.
| 지표 | 값 | 출처 |
|---|---|---|
| LRS3-TED의 전체 영상과 원본 강연, 테스트 세트 규모 | 5,594개의 TED 및 TEDx 강연에서 나온 400시간 이상, 1시간, 1,452개 발화, 451명의 화자 | Afouras, Chung, Zisserman(Oxford VGG), LRS3-TED 2018 |
| LRS2-BBC 사전 학습 세트 대 학습·검증 세트 | 195시간(96k 발화) 대 29시간(47k 발화) | Afouras, Chung, Zisserman(Oxford VGG), LRS3-TED 2018, 표 1 |
| LSVSR YouTube 데이터셋: 시간, 발화 수, 어휘 | 3,886시간, 2,934,899개 발화, 127,055개 단어 | Shillingford 외(DeepMind와 Google), 2018 |
| 사전 학습에 쓰인 영어 VoxCeleb2 영상, AV-HuBERT 사전 학습 데이터 총량 | 1,326시간, 1,759시간 | Shi 외(Meta AI), AV-HuBERT, ICLR 2022 |
| 다국어 시청각 코퍼스 MuAViC | 9개 언어 1,200시간 | Anwar 외(Meta AI), MuAViC 2023 |
| WildVSR 테스트 세트: 시간, 발화 수, 화자 수, 어휘 | 4.8시간, 2,854개 발화, 618명의 화자, 6,040개 단어 | Djilali 외(Technology Innovation Institute), Do VSR Models Generalize Beyond LRS3?, 2023 |
배경: LRS3의 사전 학습 세트와 학습·검증 세트는 내용이 겹치므로 각각의 시간을 더해서는 안 된다. 핵심 벤치마크에 대해 입수 가능한 최신 데이터: LRS3-TED 논문, 2018년. MuAViC 논문은 스스로를 다국어 시청각 음성 인식을 위한 최대 규모의 공개 벤치마크라고 소개한다.
5. 학습 데이터 규모 대 독순 정확도
영상을 더 쓰면 여전히 정확도를 살 수 있지만, 더 똑똑한 학습은 시간당 더 많은 것을 사준다. AV-HuBERT는 라벨 데이터 30시간만으로 31,000시간 시스템과 대등해졌다. WER은 32.5% 대 33.6%였다(Shi 외, Meta AI, ICLR 2022). 핵심 역할을 한 것은 라벨 없는 영상에 대한 자기 지도 사전 학습이었다. 같은 구조를 그 30시간만으로 처음부터 학습시키면 92.3%였다.
시간은 여전히 중요하지만 순위를 결정하지는 않는다. 학습 시간을 818시간에서 3,448시간으로 늘리자 LRS3 독순 오류가 13.9포인트 줄었다(33.0 빼기 19.1). 아래 표에 있는 훨씬 큰 두 실험은 약 90,000시간에서 17.0%, 100k시간에서 12.8%로 4.2포인트 차이에 그쳐, 데이터 양뿐 아니라 구조도 영향을 준다는 것을 시사한다.
| 지표 | 값 | 출처 |
|---|---|---|
| 학습 시간 818 대 1,902 대 3,448시간에서의 LRS3 독순 WER(약 90,000시간의 비공개 데이터로 학습한 모델: 17.0%) | 33.0% 대 23.5% 대 19.1% | Ma 외, Auto-AVSR, ICASSP 2023 |
| LRS3 독순 WER, 라벨 30시간의 AV-HuBERT 대 라벨 433시간 전체와 자가 학습(기존 최고: 31,000시간에서 33.6%) | 32.5% 대 26.9% | Shi 외(Meta AI), AV-HuBERT, ICLR 2022 |
| LRS3 독순 WER, 같은 대형 구조를 처음부터 학습, 라벨 30시간 대 433시간 | 92.3% 대 62.3% | Shi 외(Meta AI), AV-HuBERT, ICLR 2022, 표 1 |
| 음소 기반 독순 모델이 사용한 라벨 데이터, 차선 접근법과 비교 | 99.4% 적음(LRS3 WER 18.7%) | Thomas, Fish, Bowden, VALLR, arXiv 2025 |
| Google의 LRS3 독순 WER 12.8%를 뒷받침한 학습 영상 | 전사된 YouTube 구간 100k시간, 이후 LRS3(400시간 이상)에서 미세 조정 | Chang 외(Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
배경: 더 큰 언어 모델도 지름길은 아니다. Jain과 Harte(arXiv, 2025년 9월)는 대규모 언어 모델 디코더가 주로 개선하는 것은 시각적 특징이 아니라 문맥 추론이며, 더 나아가려면 더 강력한 시각 인코더가 필요하다고 결론짓는다.
6. TED 강연 너머: 실제 환경 영상과 영어 이외의 독순
벤치마크 WER은 독순을 실제보다 좋아 보이게 한다. 연구자들이 LRS3 제작 과정을 면밀히 따라 YouTube 영상으로 새 테스트 세트를 만들었더니, 최첨단 독순 모델은 평균 30 WER 포인트가 나빠졌다(Djilali 외, WildVSR 2023). 음성은 훨씬 적게 변했다. Whisper는 1.1%에서 4.2%가 되었을 뿐이다. 다만 순위는 유지되었으므로, LRS3 점수가 더 좋으면 여전히 WildVSR 점수도 더 좋다고 예측할 수 있다.
언어는 두 번째 사각지대다. 영어 LRS3에서 WER 31.5%를 기록한 방법은 스페인어, 이탈리아어, 프랑스어의 TED식 강연에서 56.3% 이상을 기록했다(Ma, Petridis, Pantic, Nature Machine Intelligence 2022). 영어 이외의 독순에 대해 입수 가능한 최신 데이터: 2022년의 그 논문.
| 지표 | 값 | 출처 |
|---|---|---|
| 최첨단 독순 모델의 평균 WER 증가폭, LRS3에서 WildVSR로 | 30포인트 | Djilali 외, WildVSR 2023 |
| 독순 WER, 테스트한 최고 모델(Auto-AVSR, 3,448시간), LRS3 대 WildVSR | 19.1% 대 38.6% | Djilali 외, WildVSR 2023, 표 2 |
| 음성만 쓴 WER, Whisper, LRS3 대 WildVSR | 1.1% 대 4.2% | Djilali 외, WildVSR 2023, 표 2 |
| 모델 전반에 걸친 WildVSR WER과 LRS3 WER의 적합된 관계 | WildVSR WER = 약 1.31 x LRS3 WER + 14.05 | Djilali 외, WildVSR 2023 |
| 독순 WER, Llama-2-13B 디코더 모델, LRS3 대 WildVSR | 24.7% 대 47.0% | Jain과 Harte, From Hype to Insight, arXiv 2025 |
| 언어별 독순 오류, 최고 실행: 중국어(보통화) 문자 오류율(CMLR) 대 스페인어, 이탈리아어, 프랑스어 단어 오류율(Multilingual TEDx) | 8.0% 대 56.3%, 57.4%, 66.2% | Ma, Petridis, Pantic, Nature Machine Intelligence 2022 |
배경: 중국어(보통화) 수치는 단어가 아니라 문자별 오류를 센 것이므로 WER 수치와 직접 비교할 수 없다. 최고 모델의 WildVSR 격차는 19.5포인트(38.6 빼기 19.1)로 평균 30포인트보다 작으며, 더 강한 모델일수록 덜 나빠진다는 저자들의 발견과 일치한다.
7. 개인정보 보호, 감시, 접근성
문서로 확인된 개인정보 우려는 구체적이다. 연구자들 스스로 CCTV를 지목한다. Ma, Petridis, Pantic은 시각 음성 인식을 ‘이중 용도 기술’이라 부르며, 이 기술이 ‘CCTV나 심지어 스마트폰 카메라를 통한 감시에 배치될 수 있어 개인정보 보호 우려를 낳는다’고 지적하고, 정부 규제가 필요하다고 주장한다. 또한 당시 말하기에 어려움이 있는 사람들의 의사소통을 돕는 스마트폰 앱이 영국 NHS 병원에서 시범 운영되고 있었다고 보고한다. 영국의 감시 카메라 위원(Surveillance Camera Commissioner)인 Tony Porter는 2019년 8월에 독순 감시 기술이 다가오고 있다고 경고했다(Big Brother Watch, 2019년 8월 28일).
반대편의 논거는 기술적이다. Oxford VGG 연구자들은 카메라가 ‘대개 훨씬 낮은 해상도와 프레임 속도로, 그리고 특이한 각도에서 촬영하기’ 때문에 CCTV 도청의 위험을 ‘매우 낮다’고 판단한다(Prajwal, Afouras, Zisserman, 2021). 3,886시간 시스템은 카메라에서 30도 이내로 돌아간 얼굴로만 학습되었고, 저자들은 다른 상황에서는 잘 작동하지 않는다고 말한다(Shillingford 외, 2018). 접근성 논거는 큰 인구 집단에 기반한다. WHO 팩트시트는 난청에 대한 지원 수단으로 자막과 독화를 꼽는다. 입술을 넘어선 시각 언어 AI는 저희 수어 AI와 컴퓨터 비전 통계에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| 3,886시간 독순 시스템의 학습 조건: 머리 각도, 최소 얼굴 크기, 최소 프레임 속도 | 요(yaw)와 피치(pitch)가 ±30도 이내, 두 눈 사이 80픽셀 이상, 초당 23프레임 미만 클립은 제거 | Shillingford 외(DeepMind와 Google), 2018 |
| 안정적인 자동 독순을 위한 영상 속 닫힌 입술의 최소 높이 | 4픽셀 | Bear, Harvey, Theobald, Lan, Resolution limits on visual speech recognition, ICIP 2014 |
| 해상도 연구에서 테스트한 가장 낮은 영상 해상도 대 풀 HD 원본 | 42 x 32 대 1440 x 1080픽셀(18가지 해상도 테스트) | Bear, Harvey, Theobald, Lan, ICIP 2014 |
| 장애를 유발하는 난청 때문에 재활이 필요한 사람 | 430백만 명(세계 인구의 5% 초과) | 세계보건기구, 난청 및 청각장애 팩트시트, 2026년 3월 3일 |
| 2050년까지 어느 정도의 난청이 있을 것으로 예측되는 사람 대 장애를 유발하는 난청이 있을 것으로 예측되는 사람 | 2.5십억 명 가까이 대 700백만 명 초과 | 세계보건기구, 난청 및 청각장애 팩트시트, 2026년 3월 3일 |
| 방치된 난청으로 인한 연간 전 세계 비용 | 거의 US$1조 | 세계보건기구, 난청 및 청각장애 팩트시트, 2026년 3월 3일 |
배경: Bear 외의 연구는 두 화자의 약 30분 분량 영상을 사용했으므로, 4픽셀이라는 하한은 보장이 아니라 지표적인 한계다. 해상도 한계에 대해 입수 가능한 최신 데이터: Bear 외, 2014년.
숫자로 보는 독순술·시각 음성 인식 WER
| 지표 | 값 | 출처 |
|---|---|---|
| SNR -7.5 dB 백색 소음에서의 WER, 음성만 대 음성+영상 | 88.9% 대 24.2% | Ma 외, Auto-AVSR, ICASSP 2023 |
| 4종류의 소음과 5단계 SNR 전반의 평균 WER, 음성 전용 모델 대 시청각 모델 | 25.8% 대 5.8% | Shi, Hsu, Mohamed(Meta AI), Interspeech 2022 |
| 0 dB 배블 노이즈에서의 영어 WER, 음성만 쓰는 Whisper-Large 대 Whisper-Flamingo | 13.8% 대 7.2% | Rouditchenko 외, Whisper-Flamingo, Interspeech 2024 |
| LRS3의 WER, 음성만 대 음성+영상, LLM 기반 시스템 | 0.79% 대 0.77% | Cappellazzo 외, Llama-AVSR, ICASSP 2025 |
| LRS3의 독순 WER, Google Conformer 모델 | 12.8% | Chang 외(Google), 2023 |
| LRS3의 독순 WER, 라벨 데이터를 99.4% 적게 쓴 음소 기반 모델 | 18.7% | Thomas, Fish, Bowden, VALLR, arXiv 2025 |
| LRS3의 독순 WER, 라벨 30시간의 AV-HuBERT 대 31,000시간에서의 기존 최고 | 32.5% 대 33.6% | Shi 외(Meta AI), AV-HuBERT, ICLR 2022 |
| 최첨단 독순 모델의 평균 WER 증가폭, LRS3에서 WildVSR로 | 30포인트 | Djilali 외, WildVSR 2023 |
| 독순 WER, Llama-2-13B 디코더 모델, LRS3 대 WildVSR | 24.7% 대 47.0% | Jain과 Harte, arXiv 2025 |
| 소리 없는 문장에서 맞힌 단어, 정상 청력 대학생 84명 | 12.4% | Altieri, Pisoni, Townsend, JASA 2011 |
| 소리 없는 문장에서 맞힌 단어, 조기 발병 난청 대 정상 청력 | 43.55% 대 18.57% | Auer와 Bernstein, JSLHR 2007 |
| YouTube 클립에서의 WER, 전문 독순자(문맥 없음 대 있음) 대 기계 | 92.9%와 86.4% 대 40.9% | Shillingford 외(DeepMind와 Google), 2018 |
| BBC 클립에서의 WER, 전문 독순자 대 입술만 쓰는 모델 | 73.8% 대 50.2% | Chung 외(Oxford VGG와 Google DeepMind), CVPR 2017 |
| 명료한 음성에 대한 소음 속 시각 이득, 정상 청력 성인 | 3.74 dB | Blackburn 외, Trends in Hearing 2019 |
| LRS3-TED 영상과 강연 | 400시간 이상, 5,594개 강연 | Afouras, Chung, Zisserman(Oxford VGG), 2018 |
| 안정적인 자동 독순을 위한 영상 속 닫힌 입술의 최소 높이 | 4픽셀 | Bear 외, ICIP 2014 |
| 장애를 유발하는 난청 때문에 재활이 필요한 사람 | 430백만 명 | 세계보건기구, 2026년 |
방법론과 출처
- Ma 외, Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels, ICASSP 2023: 모달리티 격차, 소음 강건성 표, 학습 데이터 규모 확장.
- Cappellazzo 외, Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR), ICASSP 2025: LRS3에서의 음성 전용 및 시청각 WER.
- Rouditchenko 외, Whisper-Flamingo, Interspeech 2024: 음성 전용 대 시청각 Whisper의 깨끗한 음성 및 배블 노이즈 WER.
- Chang 외(Google), Conformers Are All You Need for Visual Speech Recognition, 2023: LRS3에서의 독순 WER 12.8%와 100k시간 학습 세트.
- Thomas, Fish, Bowden, VALLR: Visual ASR Language Model for Lip Reading, arXiv 2025: WER 18.7%와 라벨 데이터 효율.
- Jain과 Harte, From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition, arXiv 2025년 9월: LRS3와 WildVSR에서의 LLM 디코더 결과.
- Meta AI: Shi 외, AV-HuBERT, ICLR 2022 및 Shi, Hsu, Mohamed, Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022: 데이터 효율과 소음 강건성.
- Anwar 외(Meta AI), 다국어 시청각 코퍼스 MuAViC, 2023: 코퍼스 규모와 지원 언어.
- Oxford VGG: Afouras, Chung, Zisserman, LRS3-TED, 2018 및 Prajwal, Afouras, Zisserman, Sub-word Level Lip Reading With Visual Attention, 2021: 데이터셋 규모와 CCTV 위험 평가.
- Chung 외, Lip Reading Sentences in the Wild, CVPR 2017: BBC 입술 대 음성 결과, 소음 결과, 전문 독순자 기준선.
- Assael 외, LipNet: End-to-End Sentence-level Lipreading, 2016: GRID 문장 코퍼스 결과와 난청 독순자 기준선.
- Shillingford 외, Large-Scale Visual Speech Recognition, 2018: LSVSR 데이터셋, 전문 독순자 WER, 얼굴 각도 및 해상도 제약.
- Djilali 외, Do VSR Models Generalize Beyond LRS3? (WildVSR), 2023: 실제 환경에서의 일반화 격차.
- Ma, Petridis, Pantic, Visual Speech Recognition for Multiple Languages in the Wild, Nature Machine Intelligence 2022: 영어 이외의 WER과 이중 용도 및 개인정보 보호 논의.
- Altieri, Pisoni, Townsend, Some normative data on lip-reading skills, JASA 2011: 사람의 시각 전용 문장 점수.
- Auer와 Bernstein, Enhanced visual speech perception in individuals with early-onset hearing impairment, JSLHR 2007: 청각장애인 대 청인의 독순 점수.
- Blackburn 외, Visual Speech Benefit in Clear and Degraded Speech, Trends in Hearing 2019: 데시벨로 나타낸 시각 이득.
- Lalonde, Buss, Miller, Leibold, Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss, Frontiers in Psychology 2022: 아동과 성인의 시각 전용 자음 점수.
- Bear, Harvey, Theobald, Lan, Resolution limits on visual speech recognition, ICIP 2014: 입술의 최소 해상도.
- 세계보건기구, 난청 및 청각장애 팩트시트, 2026년 3월 3일: 난청 유병률, 전망, 비용.
- Big Brother Watch, 2019년 8월 28일: 영국 감시 카메라 위원의 독순 감시 경고에 관한 보도.
- 데이터 참고 사항: LRS3 테스트 세트 점수는 서로 다른 데이터로 학습한 논문 간에는 동일 조건의 비교가 아니며, 테스트 세트도 매우 작다(LRS3는 1시간). 여러 논문이 서로 다른 시점에 최고 성능을 주장한다. Llama-AVSR의 0.79%와 0.77%는 Whisper-Flamingo의 0.68%와 0.76% 옆에 놓여 있고, VALLR의 18.7%는 훨씬 많은 라벨 데이터를 쓴 Google의 더 낮은 12.8% 옆에 놓여 있다. VALLR과 Jain과 Harte의 연구는 동료 심사를 거친 게재처가 명시되지 않은 프리프린트이다. 같은 데이터셋이라도 출처에 따라 시간이 다르다. LRS3-TED 논문은 사전 학습 407시간, LRS2-BBC의 사전 학습 세트와 학습·검증 세트를 각각 195시간과 29시간으로 제시하는 반면, Ma, Petridis, Pantic은 LRS3를 438시간, LRS2를 223시간으로 센다. WildVSR 논문은 적합식의 기울기를 두 가지(1.31과 1.30)로 제시하며, 부록 B에서는 Whisper가 두 테스트 세트 모두에서 4 미만의 WER을 기록한다고 말하는데, 이는 표 2의 4.2와 상충한다. 또한 Whisper의 모델 크기도 밝히지 않는다. 사람의 기준선은 매우 작은 집단에 의존하며(BBC 연구는 전문가 1명, LipNet은 난청 독순자 3명), 사람의 표준 데이터는 2007년과 2011년 것이다. Lalonde의 연구는 화자가 실제로 마스크를 쓰게 한 것이 아니라 마스크를 시뮬레이션했다. 실제 CCTV 영상에서 독순 정확도를 측정한 동료 심사 연구는 찾지 못했다. 여기서 인용한 감시 우려는 문서화된 경고이지, 측정된 실제 운영 사례가 아니다.
마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 ICASSP 2027과 Interspeech 2027 논문집에서 LRS3와 WildVSR의 새로운 결과가 발표될 때 이루어질 것으로 예상한다.