Google의 Tacotron 2는 2017년 12월 평균 의견 점수(MOS) 4.53을 기록했는데, 전문가가 녹음한 음성은 4.58이었다(Google, Tacotron 2 논문 2017년). 이후 합성 음성과 사람 음성의 격차는 거의 모든 표준 벤치마크에서 좁혀졌다. 2024년에는 VALL-E 2와 MaskGCT 같은 제로샷 시스템이 비교 대상인 실제 녹음을 근소하게 웃도는 점수를 기록했고(Microsoft, VALL-E 2 2024년, MaskGCT 2024년), 2025년 청취 연구에서는 음성 복제의 58%가 실제 사람의 목소리로 오인되었다(런던 퀸 메리 대학교, PLOS ONE 2025년). 2026년의 더 어려운 질문은 기계가 사람처럼 들리는가가 아니라, MOS 시험이 그 차이를 여전히 측정할 수 있는가이다. 우리는 Google DeepMind, Microsoft Research, ByteDance, Blizzard Challenge, VoiceMOS Challenge, ITU-T, PLOS ONE, Artificial Analysis, Hugging Face의 데이터를 종합했다. 더 넓은 시장 현황은 저희 텍스트 음성 변환 통계 정리를 참고하세요.
요약
- Tacotron 2의 MOS는 4.53이고 전문 녹음은 4.58 (Google, Tacotron 2 논문 2017년).
- WaveNet은 사람 음성과의 격차를 50% 넘게 줄였으며, 미국 영어에서 4.21 대 4.55를 기록 (DeepMind, WaveNet 2016년).
- NaturalSpeech는 LJ Speech 녹음 대비 -0.01 CMOS로 유의한 차이가 없음 (Microsoft Research, NaturalSpeech 2022년).
- VALL-E 2는 LibriSpeech에서 +0.033 CMOS와 4.61 SMOS를 기록했고 실제 녹음은 4.13 (Microsoft, VALL-E 2 2024년).
- NaturalSpeech 3는 10억 개 파라미터로 200,000시간의 데이터로 학습됨 (Microsoft, NaturalSpeech 3 2024년).
- CosyVoice 3는 학습 데이터를 10,000시간에서 100만 시간으로 확대하고 9개 언어를 지원 (Alibaba, CosyVoice 3 2025년).
- 사람 녹음은 대표적인 논문 네 편에서 MOS 4.30에서 4.58까지 폭이 있었음 (Google, DeepMind, Kakao, Microsoft 논문 2016년에서 2021년).
- Blizzard Challenge 2023의 두 시스템은 MOS에서 자연 음성과 통계적으로 차이가 없었으며, 이는 이 대회 최초 (Blizzard Challenge 2023 요약, Computer Speech and Language 2024년).
- 음성 복제의 58%와 일반 AI 음성의 41%가 사람의 목소리로 판단됨 (Lavan 외, PLOS ONE 2025년).
- 청취자가 음성 딥페이크를 정확히 식별한 비율은 73% (Mai 외, PLOS ONE 2023년).
- VoiceMOS Challenge 2022는 22개 팀의 TTS 및 음성 변환 시스템 187개를 대상으로 함 (VoiceMOS Challenge 2022).
- Speech Arena 1위 모델은 Elo 1321(구간 ± 189)을 기록 (Artificial Analysis, 2026년 10월).
1. 사람 음성의 상한선은 고정된 숫자가 아니다
모든 동등성 주장은 실제 음성의 기준 점수에 의존하는데, 그 기준은 움직인다. 녹음된 사람 음성은 대표적인 TTS 논문에서 MOS 4.58이라는 높은 값에서 4.30이라는 낮은 값까지 나왔다. 이 0.28점의 편차는 같은 표에 나란히 실린 여러 경쟁 시스템 간의 격차보다 크다. LJ Speech 하나만 보아도 VITS 논문에서는 4.46, FastSpeech 2 논문에서는 4.30이 나왔는데, 청취자 풀, 지시문, 시험 설계가 연구실마다 다르기 때문이다.
실용적인 해석은 이렇다. MOS 4.4라는 숫자는 단독으로는 아무 의미가 없다. 같은 청취 시험에서 나온 실제 녹음의 점수와 나란히 놓여야 비로소 의미를 갖는다. 이 때문에 최근 논문들은 원시 MOS 대신 CMOS(비교 MOS, 기준 대비 나란히 평가한 점수)를 보고하는 경우가 늘고 있다. VITS 논문이 좋은 예로, 실제 녹음은 4.46, 자체 시스템은 4.43으로 보고했으며 0.03의 차이는 신뢰 구간 안에 있다.
| 지표 | 값 | 출처 |
|---|---|---|
| 전문가가 녹음한 음성의 MOS, Tacotron 2 시험 | 4.58 | Google, Tacotron 2 논문 2017년 |
| 사람 음성의 MOS, 미국 영어, WaveNet 시험 | 4.55 | DeepMind, WaveNet 2016년 |
| 사람 음성의 MOS, 중국어(만다린), WaveNet 시험 | 4.21 | DeepMind, WaveNet 2016년 |
| LJ Speech 실제 녹음의 MOS, VITS 시험 | 4.46 (± 0.06) | Kim 외 (Kakao Enterprise), VITS 2021년 |
| VCTK 실제 녹음의 MOS, VITS 시험 | 4.38 (± 0.07) | Kim 외, VITS 2021년 |
| LJ Speech 실제 녹음의 MOS, FastSpeech 2 시험 | 4.30 (± 0.07) | Microsoft와 저장대학교, FastSpeech 2 2020년 |
| 보코더를 거친 실제 녹음, FastSpeech 2 시험 | 3.92 | FastSpeech 2 2020년 |
참고: 보코더 행이 중요하다. 실제 녹음을 멜 스펙트로그램으로 변환했다가 되돌리기만 해도 FastSpeech 2 시험에서 MOS가 0.38점 떨어졌는데, 이는 과거 격차 중 얼마나 많은 부분이 텍스트 모델링이 아니라 파형 생성에서 비롯되었는지를 보여준다. 이 논문들의 대부분은 3년이 넘은 것이며, 각 벤치마크에서 구할 수 있는 최신 데이터로 제시했다.
2. WaveNet에서 동등성까지: 단일 화자 TTS, 2016년에서 2022년
단일 화자 이야기에는 약 6년이 걸렸다. WaveNet은 2016년에 기존 최고 시스템과 사람 음성 간의 격차를 50% 넘게 줄였다. 미국 영어에서 4.21을 기록했고, 연결 합성은 3.86, 파라메트릭 합성은 3.67이었다(DeepMind의 WaveNet 발표). 이어서 Tacotron 2가 격차를 0.05점으로 좁혔고, 2021년에는 VITS가 다중 화자 VCTK 세트에서 실제 녹음과 같은 4.38을 기록했다.
결승선은 Microsoft의 NaturalSpeech와 함께 찾아왔다. 문장 단위에서 LJ Speech 녹음 대비 -0.01 CMOS를 기록했고, 윌콕슨 부호 순위 검정에서도 유의한 차이가 나타나지 않았다. 흥미로운 변화는 그다음에 있다. 깨끗한 낭독 음성에서 동등성에 도달하자, 이 분야는 단일 화자의 자연스러움을 두고 경쟁하는 것을 멈추고 몇 초 분량의 음성으로 처음 접하는 목소리를 복제하는 쪽으로 옮겨갔다.
| 지표 | 값 | 출처 |
|---|---|---|
| WaveNet의 MOS 대 사람, 미국 영어 | 4.21 대 4.55 | DeepMind, WaveNet 2016년 |
| WaveNet의 MOS 대 사람, 중국어(만다린) | 4.08 대 4.21 | DeepMind, WaveNet 2016년 |
| 연결 합성 대 파라메트릭 합성의 MOS, 미국 영어(WaveNet 이전) | 3.86 대 3.67 | DeepMind, WaveNet 2016년 |
| Tacotron 2의 MOS 대 녹음 | 4.53 대 4.58 | Google, Tacotron 2 논문 2017년 |
| VITS의 MOS 대 실제 녹음, LJ Speech | 4.43 대 4.46 | Kim 외, VITS 2021년 |
| VITS의 MOS 대 실제 녹음, VCTK 다중 화자 | 4.38 대 4.38 | Kim 외, VITS 2021년 |
| VCTK에서의 Tacotron 2 + HiFi-GAN, 같은 시험 | 3.14 | Kim 외, VITS 2021년 |
| NaturalSpeech의 CMOS 대 LJ Speech 녹음 | -0.01 (p >> 0.05) | Microsoft Research, NaturalSpeech 2022년 |
품질과 함께 속도도 좋아졌다. VITS는 실시간의 67.12배 속도로 합성했고, Glow-TTS와 HiFi-GAN 파이프라인은 27.48배였다. 또한 FastSpeech 2는 17.02시간 만에 학습되어 FastSpeech의 53.12시간보다 3.12배 빨랐다(FastSpeech 2 논문).
| 지표 | 값 | 출처 |
|---|---|---|
| VITS의 실시간 배수 | 67.12배 | Kim 외, VITS 2021년 |
| Glow-TTS + HiFi-GAN의 실시간 배수 | 27.48배 | Kim 외, VITS 2021년 |
| FastSpeech 2의 MOS 대 Tacotron 2의 MOS (원어민 평가자 20명) | 3.83 대 3.70 | FastSpeech 2 2020년 |
| FastSpeech 2 대 FastSpeech의 학습 시간 | 17.02시간 대 53.12시간 (3.12배 빠름) | FastSpeech 2 2020년 |
3. 제로샷 음성 복제가 실제 녹음에 도달하고 넘어서다
짧은 프롬프트 음성으로 처음 접하는 화자를 복제하는 제로샷 TTS는 같은 여정을 대략 2년으로 압축했다. Microsoft의 VALL-E 2는 LibriSpeech에서 실제 녹음 대비 +0.033 CMOS를 기록했고, 화자 유사도 점수(4.61)는 실제 녹음(4.13)을 앞섰다(VALL-E 2 논문, 미국 영어 원어민 평가자 20명). 2023년 1월에 공개되어 영어 60,000시간으로 학습한 최초의 VALL-E는 LibriSpeech에서 여전히 실제 녹음에 0.17 CMOS 뒤처졌다.
공통된 열쇠는 규모다. NaturalSpeech 3는 200,000시간과 10억 개 파라미터를, MaskGCT는 100,000시간의 실환경 음성을, Alibaba의 CosyVoice 3는 9개 언어와 18개 중국어 방언에 걸친 100만 시간을 사용했다. 2026년에 음성 복제 소프트웨어를 구매하는 사람에게 중요한 질문은 더 이상 복제가 실험실 시험에서 기준 녹음에 필적할 수 있는가가 아니라, 잡음이 있는 프롬프트, 억양, 감정이 풍부한 음성에서 얼마나 일관되게 그렇게 하는가이다. 보급과 오남용은 저희 음성 복제 통계에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| VALL-E 학습 데이터 | 영어 60,000시간 | Microsoft, VALL-E 2023년 |
| VALL-E의 CMOS 대 실제 녹음, LibriSpeech (실제 녹음 +0.17) | -0.17 | Microsoft, VALL-E 2023년 |
| VALL-E 2의 CMOS 대 실제 녹음, LibriSpeech | +0.033 | Microsoft, VALL-E 2 2024년 |
| VALL-E 2의 SMOS 대 실제 녹음, LibriSpeech | 4.61 대 4.13 | Microsoft, VALL-E 2 2024년 |
| NaturalSpeech 3의 CMOS (실제 녹음 +0.08) | 0.00 | Microsoft, NaturalSpeech 3 2024년 |
| NaturalSpeech 3의 SMOS 대 실제 녹음 | 4.01 대 3.85 | Microsoft, NaturalSpeech 3 2024년 |
| MaskGCT의 CMOS 대 실제 녹음, LibriSpeech | +0.10 | MaskGCT 2024년 |
| Seed-TTS의 CMOS 대 사람, 영어 / 중국어(만다린) | -0.07 / -0.08 | ByteDance, Seed-TTS 2024년 |
객관적 지표도 같은 이야기를 들려준다. CosyVoice 3는 Seed-TTS 영어 테스트 세트에서 단어 오류율(WER) 1.45%를 기록했는데, 사람 녹음은 2.14%였다(CosyVoice 3 논문). 즉 자동 음성 인식이 실제 음성보다 합성 음성을 더 정확하게 받아 적는다는 뜻이다. 이는 매우 깨끗한 발음의 표시이지, 반드시 더 높은 자연스러움을 뜻하는 것은 아니다. 실제 화자는 웅얼거리고, 머뭇거리고, 편차가 있기 때문이다.
| 지표 | 값 | 출처 |
|---|---|---|
| NaturalSpeech 3의 학습 데이터와 규모 | 200,000시간, 10억 파라미터 | Microsoft, NaturalSpeech 3 2024년 |
| MaskGCT의 학습 데이터 | 100,000시간 (영어 50,000시간, 중국어 50,000시간) | MaskGCT 2024년 |
| CosyVoice 3의 학습 데이터 | 100만 시간, 9개 언어, 중국어 방언 18종 | Alibaba, CosyVoice 3 2025년 |
| CosyVoice 3의 WER 대 사람, Seed-TTS test-en | 1.45% 대 2.14% | Alibaba, CosyVoice 3 2025년 |
| Seed-TTS DiT의 WER 대 사람, 영어 | 1.733 대 2.143 | ByteDance, Seed-TTS 2024년 |
| F5-TTS의 CMOS 대 실제 녹음, Seed-TTS test-en / test-zh | +0.31 / +0.21 | F5-TTS 2024년 |
| F5-TTS의 WER 대 실제 녹음, LibriSpeech-PC | 2.42 대 2.23 | F5-TTS 2024년 |
참고: VALL-E 2 자체의 VCTK 결과는 동등성이 얼마나 깨지기 쉬운지 보여준다. 3초 프롬프트에서는 SMOS가 실제 녹음과 같았지만(4.47 대 4.47), 10초 프롬프트에서는 실제 녹음이 4.74, VALL-E 2는 3.95에서 4.26이었다. CosyVoice 3는 또한 중국어에서는 모든 모델이 여전히 사람 음성에 못 미치는 반면, 영어에서는 15억 파라미터 모델이 사람을 웃돈다고 보고한다.
4. Blizzard Challenge: 독립적인 시험에서의 동등성
저자가 직접 수행하는 시험에는 명백한 이해 상충이 있으며, 바로 그래서 Blizzard Challenge가 중요하다. 주최 측이 모든 출품작에 대해 하나의 공통 청취 시험을 진행하기 때문이다. 열여덟 번째 대회인 2023년 대회는 Hub 과제(프랑스어 음성 51시간)에 18개 팀, Spoke 과제(2시간)에 14개 팀을 끌어모았고, 모두 신경망 방식을 사용했다(The Blizzard Challenge 2023, ISCA). Microsoft의 MuLanTTS(시스템 F로 표기)는 Hub 과제에서 자연 녹음의 4.4에 대해 4.3, Spoke 과제에서 4.5 대 4.5의 MOS를 기록했다(MuLanTTS 논문).
주최 측의 후속 요약은 더 날카로운 결론을 내놓았다. 두 시스템이 MOS에서 자연 음성과 통계적으로 차이가 없다고 평가되었는데, 이는 대회 역사상 처음이다. 그러나 더 정밀한 MUSHRA 시험에서는 모든 시스템이 자연 음성과 유의하게 다르다고 판단되었다(Refining the evaluation of speech synthesis, Computer Speech and Language 2024년). 달리 말해, 5점 MOS 척도는 목소리가 실제로 같아지기 전에 포화되었다. 같은 요약은 비원어민 청취자와 비전문가가 원어민 청취자와 음성 전문가보다 높은 점수를 준다는 점도 밝혔다.
| 지표 | 값 | 출처 |
|---|---|---|
| Blizzard 2023의 Hub / Spoke 팀 수 | 18 / 14 | Perrotin 외, Blizzard Challenge 2023 |
| Hub / Spoke 학습 데이터(프랑스어) | 51시간 / 2시간 | Perrotin 외, Blizzard Challenge 2023 |
| MuLanTTS의 MOS 대 자연 녹음, Hub | 4.3 대 4.4 | Microsoft, MuLanTTS 2023년 |
| MuLanTTS의 MOS 대 자연 녹음, Spoke | 4.5 대 4.5 | Microsoft, MuLanTTS 2023년 |
| MOS에서 자연 음성과 통계적으로 차이가 없던 시스템 | 2 (Blizzard 최초) | Blizzard Challenge 2023 요약, CSL 2024년 |
| MUSHRA에서 자연 음성과 다르다고 판단된 시스템 | 전부 | Blizzard Challenge 2023 요약, CSL 2024년 |
| DelightfulTTS의 MOS / SMOS, Blizzard 2021 SH1 과제 | 4.17 / 4.35 | Microsoft, DelightfulTTS 2021년 |
2025년 대회는 어려운 문제를 저자원 언어로 옮겼다. 참가 팀은 원어민이 약 6,000명인 네덜란드어 변종 Bildts의 음성을 7시간 분량의 데이터셋으로 구축해야 했고, 10초 분량의 참조 음성을 쓰는 제로샷 과제도 주어졌다(The Blizzard Challenge 2025, 흐로닝언 대학교). 주 과제에는 7개 팀, 제로샷 과제에는 5개 팀이 참가했다.
| 지표 | 값 | 출처 |
|---|---|---|
| Blizzard 2025 대상 언어의 원어민 수 | 약 6,000명 (Bildts) | Do 외, Blizzard Challenge 2025 |
| 주 과제 학습 데이터 | 7시간, 단일 화자 | Do 외, Blizzard Challenge 2025 |
| 제로샷 과제의 참조 음성 | 화자당 10초 | Do 외, Blizzard Challenge 2025 |
| 주 과제 / 제로샷 과제의 팀 수 | 7 / 5 | Do 외, Blizzard Challenge 2025 |
5. MOS 수치가 서로 다른 이유: 방법, 표준, 자동 예측
MOS 방법은 신경망 음성이 아니라 전화 회선을 위해 만들어졌다. 1996년 8월에 승인된 ITU-T P.800은 지금도 주관적 전송 품질 시험을 규정한다. P.800.1(2016년 7월)은 MOS 용어를 표준화하고, P.808(2018년 6월, 2021년 6월 개정)은 크라우드소싱 음성 품질 시험을 다룬다(ITU-T P.808). 2021년에서 2022년의 Interspeech와 SSW 논문을 검토한 결과, 대부분의 저자가 척도 라벨, 간격, 청취자에 대한 지시문을 보고하지 않는 것으로 나타났다(Kirkland 외, Stuck in the MOS pit, SSW 2023년). 또한 같은 자연 음성에 대해서도 품질 MOS 평균이 자연스러움 MOS 평균보다 높았다.
같은 팀은 동일한 자극을 사용한 통제된 청취 시험을 진행했고, 척도 간격이나 평가 지시문만 바꿔도 일부 시스템의 MOS가 움직인다는 것을 확인했다. 벤치마크 선택도 제각각이다. 2025년의 입장 논문에 따르면 VALL-E는 LibriSpeech 1,234개 발화로 평가하고, NaturalSpeech 3와 MaskGCT는 40개, F5-TTS는 1,127개로 평가한다. 또한 MaskGCT의 WER은 40개 발화 세트에서는 2.63%이지만 1,234개 발화 세트에서는 4.22%이다(Towards Responsible Evaluation for Text-to-Speech, 2025년).
| 지표 | 값 | 출처 |
|---|---|---|
| ITU-T P.800 승인 | 1996년 8월 (유효) | ITU-T |
| ITU-T P.800.1 MOS 용어, 최신 버전 | 2016년 7월 | ITU-T |
| ITU-T P.808 크라우드소싱 시험 | 2018년 6월, 2021년 6월 개정 | ITU-T |
| 척도 라벨, 간격, 지시문을 보고하는 논문 | 소수 (2021년에서 2022년 Interspeech와 SSW) | Kirkland 외, SSW 2023년 |
| 사용된 LibriSpeech test-clean 발화 수: VALL-E / NaturalSpeech 3 / F5-TTS | 1,234 / 40 / 1,127 | Yang 외, 2025년 |
| MaskGCT의 WER, 40개 대 1,234개 발화 | 2.63% 대 4.22% | Yang 외, 2025년 |
| 프롬프트 포함 시 대 미포함 시 화자 유사도 | 0.905 대 0.754 | Yang 외, 2025년 |
| CosyVoice 3 MOS 패널 | 200문장, 원어민 평가자 10명, 0.5점 단위 | Alibaba, CosyVoice 3 2025년 |
사람이 하는 시험은 느리고 일관성이 없기 때문에, 이 분야는 자동 MOS 예측기를 만들어냈다. 2022년의 첫 VoiceMOS Challenge에는 22개 팀이 참가해 10년 넘는 연구에 걸친 TTS 및 음성 변환 시스템 187개에 대한 사람의 평가를 예측했다(VoiceMOS Challenge 2022). 가장 효과적인 것은 미세 조정한 자기 지도 학습 음성 모델이었다. 이후 참여 팀은 2023년 10개, 2024년 8개로 줄었으며, 2024년의 첫 번째 트랙은 예측기가 가장 어려워하는 고품질 합성의 세밀한 구분에 초점을 맞췄다.
| 지표 | 값 | 출처 |
|---|---|---|
| VoiceMOS 2022 팀 수 / 주 트랙 시스템 수 | 22 / 187 | Huang 외, VoiceMOS Challenge 2022 |
| VoiceMOS 2023 팀 수 | 7개국 10개 팀 | VoiceMOS Challenge 2023 (ASRU 2023) |
| VoiceMOS 2024 팀 수 | 8 | Huang 외, VoiceMOS Challenge 2024 |
| MOS-Bench 학습 / 테스트 세트 | 8 / 17 | MOS-Bench 2024년 (2026년 개정) |
| NaturalSpeech 3의 UTMOS 대 실제 녹음 | 4.30 대 4.14 | Microsoft, NaturalSpeech 3 2024년 |
참고: UTMOS 같은 자동 점수는 NaturalSpeech 3의 표가 보여주듯 이제 합성 음성을 실제 녹음보다 높게 평가하는 일이 흔하며, 이는 자동 점수를 자연스러움의 증거가 아니라 선별 도구로 다뤄야 하는 이유다.
6. 청취자는 여전히 구별할 수 있을까? 지각 연구
평가 척도에서의 동등성과, 직접 질문받은 청취자를 속이는 것은 별개의 문제다. 2025년 런던 퀸 메리 대학교의 연구에서 음성 복제의 58%와 일반 AI 음성의 41%가 사람의 목소리로 판단되었다. 반면 실제 사람의 목소리는 실험에 따라 62%에서 81%가 사람의 목소리로 인식되었다(Lavan 외, PLOS ONE 2025년). 복제는 시판 중인 도구로 화자당 약 4분 분량의 녹음에서 만들어졌다. 저자들은 논문 제목에 ‘현실적이지만 아직 초현실적이지는 않다’는 취지를 담았다. 복제는 전반적으로 실제 목소리를 이기지 못했지만, 청취자 한 명의 판단을 믿을 수 없게 만들 만큼은 가까웠다.
덜 논의되는 발견은 사회적 인상이다. 일반 AI 음성은 사람 음성보다 더 지배적(0에서 100 척도에서 58.1 대 40.4)이고 약간 더 믿음직스럽다(57.9 대 53.8)고 평가되었다. 합성 내레이션을 제작하거나 AI 음성 생성기를 사용하는 사람에게 이는 청취자가 이 목소리를 사람처럼 받아들인다는 뜻이며, 공개의 중요성을 높인다.
| 지표 | 값 | 출처 |
|---|---|---|
| 사람의 목소리로 판단된 음성 복제 | 58% | Lavan 외, PLOS ONE 2025년 |
| 사람의 목소리로 판단된 일반 AI 음성 | 41% | Lavan 외, PLOS ONE 2025년 |
| 사람의 목소리로 판단된 실제 사람의 목소리 | 62%에서 81% (실험에 따라) | Lavan 외, PLOS ONE 2025년 |
| 음성 복제 하나당 사용한 녹음 시간 | 약 4분 | Lavan 외, PLOS ONE 2025년 |
| 실험당 참가자 수 / 실험당 음성 수 | 50 / 80 | Lavan 외, PLOS ONE 2025년 |
| 지배성 평가, 일반 AI 음성 대 사람 음성 | 58.1 대 40.4 | Lavan 외, PLOS ONE 2025년 |
| 신뢰성 평가, 일반 AI 음성 대 사람 음성 | 57.9 대 53.8 | Lavan 외, PLOS ONE 2025년 |
이전의 탐지 관련 데이터도 같은 방향을 가리킨다. 참가자 529명을 대상으로 한 2023년 연구에서 청취자가 음성 딥페이크를 정확히 식별한 비율은 73%에 그쳤고, 영어 화자와 중국어(만다린) 화자의 성적은 거의 같았으며, 사전에 딥페이크 예시 다섯 개를 보여줘도 정확도는 3.84%만 올랐다(Mai 외, PLOS ONE 2023년). 기계 탐지기와의 비교는 저희 오디오 딥페이크 탐지 정확도 통계를 참고하세요.
| 지표 | 값 | 출처 |
|---|---|---|
| 참가자 수 | 529 | Mai 외, PLOS ONE 2023년 |
| 정확히 식별된 딥페이크, 단일 클립 | 73% | Mai 외, PLOS ONE 2023년 |
| 정확히 식별된 진짜 클립, 단일 클립 | 67.78% | Mai 외, PLOS ONE 2023년 |
| 진짜 클립과 짝지었을 때 식별된 딥페이크 | 85.59% | Mai 외, PLOS ONE 2023년 |
| 훈련 예시 5개로 인한 정확도 상승 | 3.84% | Mai 외, PLOS ONE 2023년 |
7. 선호도 아레나와 점수 뒤의 시장
실험실 MOS가 포화되면서 순위는 블라인드 쌍대 선호도 방식으로 옮겨갔다. Hugging Face는 2024년 2월 27일 6개 모델로 TTS Arena를 시작했으며, 사용자에게 익명의 샘플 두 개 중 더 자연스러운 것을 고르게 하고 Elo 방식의 시스템으로 결과를 순위화한다(Hugging Face, TTS Arena 출시). 2026년 10월 3일 기준 Artificial Analysis Speech Arena 리더보드에서 ElevenLabs의 Eleven v4가 Elo 1321로 1위였지만, ± 189 구간은 상위 10개 모델 모두와 겹친다(Artificial Analysis TTS 리더보드). 솔직하게 읽으면 최상위권은 최소 여섯 개 제공업체 간의 통계적 동률이다.
투표 수집이 느리다는 문제에 대한 Hugging Face 자체의 답은 2026년 9월 30일에 출시된 Open TTS Leaderboard로, 사람의 투표를 객관적 지표(WER, 화자 유사도, 속도)로 대체하며 모델 평가가 몇 주에서 몇 시간으로 줄어든다고 밝힌다. 현재 Hub에는 8,000개가 넘는 TTS 모델이 호스팅되어 있다(Hugging Face, Open TTS Leaderboard).
| 지표 | 값 | 출처 |
|---|---|---|
| 출시 시점의 TTS Arena 모델 수 (2024년 2월) | 6 | Hugging Face, 2024년 2월 |
| Speech Arena 1위: Eleven v4 (ElevenLabs) | Elo 1321 (± 189), 샘플 1,930개 | Artificial Analysis, 2026년 10월 |
| 2위: Qwen-Audio-3.1-TTS-Plus (Alibaba) | Elo 1292 (± 189) | Artificial Analysis, 2026년 10월 |
| 3위 / 4위: Sonic 3.6 (Cartesia) / Gemini 3.8 Flash TTS (Google) | Elo 1278 / 1275 | Artificial Analysis, 2026년 10월 |
| 10위: Breeze TTS 2 (BreezeBlue) | Elo 1216 | Artificial Analysis, 2026년 10월 |
| Hugging Face Hub에 호스팅된 TTS 모델 | 8,000개 이상 | Hugging Face, 2026년 9월 |
상업적 이해관계가 이 경쟁을 설명한다. 신경망 음성과 AI 음성은 이미 텍스트 음성 변환 시장 매출의 67.18%를 차지한다. Mordor Intelligence는 이 시장 규모를 2026년 USD 4.36십억, 2031년에는 USD 7.92십억으로 늘어날 것으로 추정한다(Mordor Intelligence, Text to Speech Market). Research and Markets는 2023년 기준치를 USD 3.8십억, 2030년 전망치를 USD 9.3십억으로 제시한다(GlobeNewswire 보도자료, 2024년 12월).
| 지표 | 값 | 출처 |
|---|---|---|
| TTS 시장 규모, 2025년 / 2026년 | USD 3.87십억 / USD 4.36십억 | Mordor Intelligence, 2026년 |
| TTS 시장 전망, 2031년 | USD 7.92십억 (CAGR 12.66%) | Mordor Intelligence, 2026년 |
| 신경망 / AI 음성의 매출 비중 | 67.18% (CAGR 15.08%) | Mordor Intelligence, 2026년 |
| 북미 비중, 2025년 | 36.78% | Mordor Intelligence, 2026년 |
| TTS 시장, 2023년에서 2030년 | USD 3.8십억에서 USD 9.3십억 (CAGR 13.4%) | Research and Markets, 2024년 12월 |
| 중국 TTS 시장 전망, 2030년 | USD 2.3십억 (CAGR 17.5%) | Research and Markets, 2024년 12월 |
숫자로 보는 합성 음성 MOS
| 지표 | 값 | 출처 |
|---|---|---|
| Tacotron 2의 MOS 대 전문 녹음 | 4.53 대 4.58 | Google, 2017년 |
| WaveNet의 사람 음성과의 격차 감소 | 50% 초과 | DeepMind, 2016년 |
| 대표 논문들의 사람 음성 MOS 범위 | 4.30에서 4.58 | Google, DeepMind, Kakao, Microsoft, 2016년에서 2021년 |
| VITS의 MOS 대 실제 녹음, VCTK | 4.38 대 4.38 | Kakao Enterprise, 2021년 |
| NaturalSpeech의 CMOS 대 녹음 | -0.01 (유의하지 않음) | Microsoft Research, 2022년 |
| VALL-E 2의 CMOS 대 실제 녹음, LibriSpeech | +0.033 | Microsoft, 2024년 |
| VALL-E 2의 SMOS 대 실제 녹음 | 4.61 대 4.13 | Microsoft, 2024년 |
| MaskGCT의 CMOS 대 실제 녹음 | +0.10 | MaskGCT, 2024년 |
| Seed-TTS의 CMOS 대 사람, 영어 | -0.07 | ByteDance, 2024년 |
| CosyVoice 3의 WER 대 사람, 영어 | 1.45% 대 2.14% | Alibaba, 2025년 |
| CosyVoice 3의 학습 데이터 | 100만 시간 | Alibaba, 2025년 |
| MOS에서 자연 음성과 같았던 Blizzard 2023 시스템 | 2 (최초) | Blizzard Challenge 2023 요약, 2024년 |
| MuLanTTS 대 자연 녹음, Blizzard 2023 Hub | 4.3 대 4.4 | Microsoft, 2023년 |
| MOS 방법을 완전히 보고한 논문 | 소수 | Kirkland 외, SSW 2023년 |
| VoiceMOS 2022의 시스템 수 / 팀 수 | 187 / 22 | VoiceMOS Challenge 2022 |
| 사람의 목소리로 판단된 음성 복제 | 58% | Lavan 외, PLOS ONE 2025년 |
| 청취자가 정확히 식별한 딥페이크 | 73% | Mai 외, PLOS ONE 2023년 |
| Speech Arena 최고 Elo | 1321 (± 189) | Artificial Analysis, 2026년 10월 |
| TTS 매출에서 신경망 / AI 음성의 비중 | 67.18% | Mordor Intelligence, 2026년 |
| TTS 시장, 2026년 | USD 4.36십억 | Mordor Intelligence, 2026년 |
방법론과 출처
위의 모든 MOS, CMOS, SMOS 수치는 청취 시험을 진행한 논문 또는 대회 보고서에서 가져왔으며, arXiv 초록이나 전문의 표에서 읽었다. 논문이 결과를 그래프로만 보여준 경우(예를 들어 CosyVoice 3의 MOS 막대그래프)에는 본문의 결론을 사용하고 근삿값은 제외했다. 모델 개발사가 스스로 내세운 동등성 주장에는 개발사 이름을 표기하여, 독자가 Blizzard Challenge 같은 독립적인 시험과 견주어 판단할 수 있게 했다.
- DeepMind: WaveNet 발표 (2016년 9월)와 WaveNet 논문
- Google: Tacotron 2 논문 (2017년 12월)
- Microsoft와 저장대학교: FastSpeech 2 (2020년)
- Kakao Enterprise: VITS (2021년 6월)
- Microsoft Research: NaturalSpeech (2022년 5월), NaturalSpeech 3 (2024년 3월), VALL-E (2023년 1월), VALL-E 2 (2024년 6월), MuLanTTS (2023년 9월), DelightfulTTS (2021년 10월)
- ByteDance: Seed-TTS (2024년 6월)
- MaskGCT (2024년 9월)와 F5-TTS (2024년 10월)
- Alibaba: CosyVoice 3 (2025년 5월)
- Blizzard Challenge: The Blizzard Challenge 2023 (ISCA), Refining the evaluation of speech synthesis, Computer Speech and Language (2024년), The Blizzard Challenge 2025
- ITU-T: P.800, P.800.1, P.808
- Kirkland 외: Stuck in the MOS pit, SSW 2023년
- Yang 외: Towards Responsible Evaluation for Text-to-Speech (2025년 10월)
- VoiceMOS Challenge: 2022, 2023, 2024; MOS-Bench
- Lavan 외: Voice clones sound realistic but not (yet) hyperrealistic, PLOS ONE (2025년 9월)
- Mai 외: Warning: Humans cannot reliably detect speech deepfakes, PLOS ONE (2023년 8월)
- Hugging Face: TTS Arena 출시 (2024년 2월), Open TTS Leaderboard (2026년 9월)
- Artificial Analysis: 텍스트 음성 변환 리더보드 (2026년 10월 3일 확인)
- Mordor Intelligence: Text to Speech Market; Research and Markets는 GlobeNewswire를 통해 (2024년 12월)
- 데이터 참고 사항: MOS, CMOS, SMOS 값은 청취자 풀, 척도, 지시문이 다르기 때문에 논문 간에 비교할 수 없다. CMOS 척도 자체도 서로 다르다(F5-TTS는 -3에서 +3을 사용). 2절과 3절의 동등성 주장 대부분은 개발자가 소규모 패널로 직접 수행한 시험에서 나온다(예를 들어 VALL-E CMOS는 평가자 12명, VALL-E 2는 20명). 또한 WaveNet, Tacotron 2, FastSpeech 2, VITS의 결과는 3년이 넘은 것으로, 각 벤치마크에서 구할 수 있는 최신 데이터로 제시했다. 통계적 동등성과 MUSHRA에 관한 Blizzard 2023의 결과는 주최 측이 공개한 요약 초록에서 가져왔다. Artificial Analysis의 Elo 점수는 투표가 들어올 때마다 매일 바뀌며 신뢰 구간은 상위 10개 모델에서 겹친다. 시장 규모 추정은 서로 엇갈린다. Mordor Intelligence는 2025년을 USD 3.87십억, 2031년까지 CAGR 12.66%로 보는 반면, Research and Markets는 2023년 기준치 USD 3.8십억에서 CAGR 13.4%로 2030년에 USD 9.3십억에 이를 것으로 전망하며, 그 차이는 범위 정의의 차이를 반영한다. 앞으로 기대되는 주요 새 데이터는 Blizzard 2025 청취 시험의 전체 결과와 다음 VoiceMOS Challenge이다.
마지막 업데이트: 2026년 10월 3일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 다음 VoiceMOS Challenge 결과와 Blizzard Challenge 2025 청취 시험의 전체 분석이 공개될 때 이루어질 것으로 예상한다.