2026년의 한 벤치마크가 신경망 텍스트 음성 변환(TTS) 시스템에 같은 문장의 두 판본에서 올바른 단어에 강세를 두도록 요구했을 때, Pair-Correct 점수는 거의 모든 시스템에서 0에 가까웠으며 최고 결과도 입력에 강세를 명시한 경우의 11.5%였다 (Turetzky 외, CAST 벤치마크 2026). 같은 양상은 운율 연구의 다른 부분에서도 이어진다. 일본어 오디오북 연구에서는 보코더 재합성에서 완전한 TTS로 넘어가는 사이 음높이 오차가 대략 두 배가 되었고, 사람 녹음에서 99.64%를 기록한 감정 분류기는 합성 음성에서 15.31%를 기록했으며, 클로즈드소스 모델은 장문의 표현 풍부함에서 실제 녹음보다 0.93점 뒤처졌다. 전반적인 자연스러움 점수는 이제 사람의 녹음에 가까워졌지만(저희 합성 음성 MOS 통계 참고), 선율, 타이밍, 강조야말로 남은 격차가 자리한 곳이다. 저희는 Journal of the Brazilian Computer Society, Interspeech와 ISCA 음성 합성 워크숍, Blizzard Challenge, ACL 2026 Findings, Journal of the Acoustical Society of America, LabPhon, 그리고 12편이 넘는 arXiv 논문의 데이터를 종합했다.
요약
- 2020년부터 2024년까지의 운율 평가 연구 100편 중 95편이 음높이(F0)를 분석했으며, 가장 많이 쓰인 지표는 F0 RMSE였다 (Galdino 외, JBCS 2025).
- 로그 F0 RMSE는 사람의 운율 평가와 r = 0.30의 상관만 보인다 (Yang 외, ProsodyEval 2025).
- 음높이 오차(F0 RMSE)는 보코더만 쓴 HiFi-GAN 행에서 14.03, 최고의 완전한 TTS 모델에서 27.93이었다 (Xin 외, 오디오북 TTS 2022).
- 기준선 광둥어 TTS는 평서형 의문문에서 32.76%의 F0 프레임 오류를 냈고, 평서문에서는 13.53%였다 (Bai 외, Interspeech 2022).
- 청취자가 기준선이 합성한 평서형 의문문을 의문문으로 들은 비율은 21.83%에 불과했다 (Bai 외, Interspeech 2022).
- 강세 배치의 Pair-Correct는 테스트한 모든 TTS 시스템에서 최고 11.5%에 그쳤지만, 텍스트만 쓰는 모델은 76.1%에 이르렀다 (Turetzky 외, CAST 2026).
- 청취자가 분노를 인식한 비율은 사람 녹음에서 37%, 합성 클립에서 7%였다 (Abilbekov 외, KazEmoTTS 2024).
- CosyVoice 2 출력의 감정 인식은 실제 음성의 83.93%에서, 운율을 텍스트에서 만들어 내야 할 때는 34.57%로 떨어졌다 (Ge 외, 2026).
- 고립된 문장의 평가는 문단 평가 분산의 약 12%만 설명했다 (Clark 외, SSW10 2019).
- 클로즈드소스 장문 TTS는 표현의 풍부함에서 평균 3.42를 기록해 실제 음성의 4.35에 못 미쳤다 (Pan 외, SwanBench-Speech, ACL 2026 Findings).
- 사람 낭독자는 글을 읽을 때 초당 3.20음절, 자유롭게 말할 때 초당 4.96음절의 속도였다 (Jacewicz 외, JASA 2010).
1. 운율 측정: 지표의 문제
이 분야는 운율을 대체로 하나의 숫자로 측정하는데, 그 숫자는 청취자가 듣는 것을 거의 따라가지 못한다. 기본 음높이 오차 지표인 로그 F0 RMSE는 사람의 운율 평가와 r = 0.30의 상관을 보였으며, 이는 더 새로운 토큰 기반 지표 상관의 절반에도 못 미친다 (Yang 외, ProsodyEval 2025). F0(기본 주파수)는 지각되는 음높이 뒤에 있는 음향적 척도이고, RMSE(제곱평균제곱근 오차)는 합성 음높이 곡선을 같은 문장의 사람 녹음 하나와 프레임 단위로 비교한다.
문제는 구조적이다. 한 문장은 여러 가지 다른 선율로도 잘 읽을 수 있으므로, 하나의 기준과의 거리는 타당한 변동까지 벌한다. 대형 오디오 언어 모델도 아직 해법이 아니다. 1,000개 샘플, 7개 TTS 시스템, 2,000건의 사람 평가로 이루어진 같은 벤치마크에서 Gemini 2.5 Pro의 사람 운율 평가와의 상관은 r = 0.27이었다.
| 지표 | 값 | 출처 |
|---|---|---|
| 검토된 운율 평가 연구(2020년부터 2024년 발표) | 100 | Galdino 외, JBCS 2025 |
| 음높이(F0)를 분석한 연구 | 100편 중 95편 | Galdino 외, JBCS 2025 |
| 언어별 연구 수: 영어 / 중국어(표준어) / 일본어 | 48 / 27 / 15 | Galdino 외, JBCS 2025 |
| 사람의 운율 평가와의 상관: 로그 F0 RMSE | r = 0.30 [0.19, 0.40] | Yang 외, ProsodyEval 2025 |
| 사람의 운율 평가와의 상관: DS-WED(토큰 기반 지표) | r = 0.77 [0.73, 0.81] | Yang 외, ProsodyEval 2025 |
| 운율 심사자로서의 Gemini 2.5 Pro, 사람 평가와의 상관 | r = 0.27 | Yang 외, ProsodyEval 2025 |
배경: Journal of the Brazilian Computer Society의 체계적 문헌 고찰은 낭독된 논픽션으로 이루어진 단일 화자 영어 코퍼스인 LJ Speech가 가장 많이 쓰인 데이터셋이었음도 밝혀, 발표된 근거의 상당 부분이 하나의 언어에서 하나의 낭독 방식을 서술하고 있음을 보여 준다. 2008년부터 2024년까지의 35개 TTS 시스템을 다룬 별도의 벤치마크는 최근 시스템일수록 운율이 더 중요해진다고 보고하며, 그 저자들은 잡음과 명료도 문제가 사라질수록 사람 평가자가 운율에 더 집중하게 되는 것으로 보인다고 제안한다 (Minixhofer 외, TTSDS 2024).
2. 사람 녹음과 비교한 음높이 및 길이 오차의 측정
연구가 보코더와 텍스트에서 운율을 예측하는 단계를 분리하면, 음높이 오차의 대부분은 후자에서 나타난다. 일본어 오디오북 연구에서 F0 RMSE는 보코더만 쓴 HiFi-GAN 행에서 14.03, 최고의 완전한 TTS 모델에서 27.93으로 약 2배 높았다 (27.93 / 14.03 = 1.99) (Xin 외, 오디오북 TTS 2022). 보코더는 음향 특징을 파형으로 바꾸는 마지막 단계이므로, 보코더만의 점수는 오디오 처리 사슬 자체의 오차 하한에 가깝다.
더 새로운 예측기도 몇 포인트만 줄일 뿐이다. 약 750시간의 영어 오디오로 학습한 2025년 운율 모델은 기준 음높이를 43.9%의 프레임에서 맞췄는데, 가장 강한 기준선은 40.2%였다. 운율의 다양성도 깨지기 쉽다. 선호도 미세 조정(DPO)은 한 시스템에서 측정된 운율 다양성을 18.8% 줄였다.
| 지표 | 값 | 출처 |
|---|---|---|
| F0 RMSE: 보코더만(HiFi-GAN) 대 최고의 완전한 TTS 모델(일본어 오디오북) | 14.03 대 27.93 | Xin 외, 오디오북 TTS 2022 |
| 거친 음높이 오차: 보코더만(HiFi-GAN) 대 최고 TTS 모델 대 기준선 | 2.2 대 12.57 대 14.16 | Xin 외, 오디오북 TTS 2022 |
| AB 선호도: 문맥 인식 모델 대 기준선(청취자 40명) | 61.5% 대 38.5% | Xin 외, 오디오북 TTS 2022 |
| F0 RMSE: 계층형 장문 모델 대 BERT를 붙인 FastSpeech 2 기준선(중국어 오디오북) | 36.61 대 51.12 | Guo 외, HiGNN-TTS 2023 |
| 길이 MSE: 계층형 장문 모델 대 기준선 | 0.1083 대 0.1421 | Guo 외, HiGNN-TTS 2023 |
| 원시 음높이 정확도(사람의 음높이에 가까운 프레임의 비율): ProMode 대 StyleTTS 2 기준선 | 43.9% 대 40.2% | Eren 외, ProMode 2025 |
| DPO 미세 조정 후 운율 다양성의 변화, CosyVoice 2(LibriSpeech) | -18.8% | Yang 외, ProsodyEval 2025 |
이상치에 관한 참고: F0 RMSE 값은 단위, 정렬, 데이터셋이 다르므로 한 논문 안에서만 비교할 수 있다. ProMode 논문은 RMSE의 단위를 밝히지 않고, HiGNN-TTS의 본문은 자체 F0 결과를 표와 모순되는 표현으로 서술하므로, 저희는 표의 값을 채택했다.
3. 의문문, 구문, 동형이음어: 문장 유형을 올바르게 읽기
의문문 억양은 문법이 단서를 주지 않는 곳에서 실패한다. 기준선 광둥어 Tacotron 2 시스템은 평서형 의문문에서 프레임의 32.76%에 F0 프레임 오류를 냈고, 평서문에서는 13.53%였으며, 청취자가 그 평서형 의문문을 의문문으로 식별한 것은 21.83%뿐이었다 (Bai 외, Interspeech 2022). 평서형 의문문은 평서문의 모양을 하고 있지만 음높이가 상승하며 끝나야 하는 문장으로, CanTTS 코퍼스에서는 12,010개 발화 중 약 1,000개로 모델이 이 패턴을 접할 기회가 적다. F0 프레임 오류는 음높이나 유성음 여부가 사람 녹음에서 뚜렷이 벗어난 프레임을 센다.
그 연구의 해법, 즉 의문문과 평서문을 가르는 별도의 텍스트 분류기는 식별률을 98.41%로 끌어올렸다. 더 새로운 시스템도 들쭉날쭉하다. AI 심사자가 50%를 대등으로 보는 상용 기준선을 상대로 채점한 2025년 EmergentTTS-Eval 벤치마크에서 오픈소스 모델 Sesame1B, Orpheus-TTS, Qwen 2.5 Omni는 의문문 프롬프트에서 각각 31.78%, 39.64%, 49.28%의 승률을 기록했다 (Manku 외, Boson AI, EmergentTTS-Eval 2025).
| 지표 | 값 | 출처 |
|---|---|---|
| 의문문으로 식별된 평서형 의문문: 기준선 Tacotron 2 대 의문문 분류기를 갖춘 모델 | 21.83% 대 98.41% | Bai 외, Interspeech 2022 |
| 평서형 의문문 대 평서문의 F0 프레임 오류, 기준선 Tacotron 2 | 32.76% 대 13.53% | Bai 외, Interspeech 2022 |
| 의문문 억양이 올바르게 지각된 비율: 보코더 재합성 대 감정 TTS 기준선 두 가지 | 99.2% 대 81.6% 및 85.9% | Tang 외, QI-TTS 2023 |
| 의문문 범주의 기준선 대비 승률: GPT-4o-audio(전체 최고) 대 Sesame1B | 56.96% 대 31.78% | Boson AI, EmergentTTS-Eval 2025 |
| 구문 복잡성의 기준선 대비 승률: Orpheus-TTS 대 Sesame1B | 38.92% 대 18.88% | Boson AI, EmergentTTS-Eval 2025 |
| 복잡한 발음의 기준선 대비 승률: Qwen 2.5 Omni | 3.30% | Boson AI, EmergentTTS-Eval 2025 |
| AI 심사자 순위와 사람 순위의 일치도(스피어만) | 90.5% | Boson AI, EmergentTTS-Eval 2025 |
| 프랑스어 동형이음어 테스트(Blizzard 2023): 우연 수준 대 최고 시스템 | 50% 대 80% 초과 | Perrotin 외, Blizzard Challenge 2023 |
배경: 동형이음어(철자는 같지만 발음이 다른 단어로, 예컨대 프랑스어 ‘est’는 동사이기도 하고 방위이기도 하다)는 Blizzard Challenge 2023에서 218명의 청취자가 ABX 테스트로 채점했으며, 주최 측은 최고 결과를 텍스트 인코더에 대규모 언어 모델을 쓴 시스템과 연결지었다. QI-TTS 연구는 2023년 3월의 것으로, 이 지표에 대해 입수 가능한 가장 최근 데이터다.
4. 강조와 대조 강세
올바른 단어에 강세를 두는 것은 현재 가장 뚜렷한 실패다. 113쌍의 대조 쌍(226개 항목)으로 구성된 CAST 벤치마크에서 Pair-Correct 점수(쌍의 두 판본 모두에서 올바른 단어에 강세가 놓인 비율)는 거의 모든 시스템에서 0에 가까웠고, 최고는 11.5%였으며, 이것도 입력에 강세를 명시했을 때에 한했다 (Turetzky 외, CAST 2026). 같은 벤치마크는 텍스트만 쓰는 언어 모델이 문맥에서 의도된 강세를 76.1%의 확률로 알아낼 수 있음도 보여, 정보는 존재함을 확인시켜 준다. TTS 시스템이 그것을 소리로 옮기지 못할 뿐이다.
TTS 모델에 앞선 문맥을 주어도 어느 시스템에서도 뚜렷한 개선은 없었다. 더 오래된 청취자 연구도 같은 방향을 가리킨다. 합성 음성에 붙은 오류 표시는 운율 경계 주변에 몰리며, 문맥에 맞지 않는 추가적인 운율 변화는 흔히 실수로 들린다.
| 지표 | 값 | 출처 |
|---|---|---|
| 대상 단어에 강세 있음(Hit) / 양쪽 모두 정답(Pair-Correct): Kokoro | 38.1% / 0.0% | Turetzky 외, CAST 2026 |
| Hit / Pair-Correct: 강세를 명시한 GPT-4o-mini-tts | 51.8% / 11.5% | Turetzky 외, CAST 2026 |
| Hit / Pair-Correct: 문맥에서 강세를 예측하는 텍스트 전용 Claude Haiku 4.5 | 88.1% / 76.1% | Turetzky 외, CAST 2026 |
| 청취자가 식별한 강조 단어, EME-TTS: 평균 대 놀람 감정 | 78% 대 64% | Li 외, EME-TTS 2025 |
| 운율 평가와 청취자가 표시한 오류율 사이의 상관 | R = -0.75 | Gutierrez 외, SSW11 2021 |
| FastPitch에서 오류 표시가 가장 많은 단어가 문장 부호 바로 앞에 온 비율(오디오북 텍스트) | 73% | Gutierrez 외, SSW11 2021 |
배경: 합성 음성에서 강세가 어디에 있는지에 대한 청취자 간 일치도는 그 자체로 높지 않으며(같은 벤치마크의 청취자 세 명에서 플라이스 카파 = 0.36), 이는 강조를 측정하기 어려운 이유 중 하나다. EME-TTS(청취자 11명)에서는 놀람이 가장 낮은 점수를 받았는데, 저자들은 이를 놀란 말의 끝에서 흔히 음높이가 상승해 청취자가 마지막 단어에 강세가 있다고 들었기 때문으로 설명한다. 신속 운율 전사 연구는 2021년의 것으로, 청취자 오류 표시에 대해 입수 가능한 가장 최근 데이터다.
5. 감정 운율: 청취자와 분류기가 인식하는 것
감정은 상당 부분 운율로 전달되며, 합성된 감정은 녹음된 감정보다 훨씬 덜 인식된다. 64명의 청취자가 참여한 카자흐어 연구에서 의도된 감정은 사람 녹음의 43%에서 인식되었으나 합성 클립에서는 32%였고, 분노는 37%에서 7%로 떨어졌다 (Abilbekov 외, KazEmoTTS 2024).
2026년의 분석은 감정이 어디서 사라지는지를 추적했다. CosyVoice 2에서 감정 인식은 보코더 재구성 후 82.43%, 모델에 실제 음성 토큰을 넣었을 때 84.07%로 실제 음성의 83.93%에 가까웠지만, 모델이 텍스트에서 음성을 생성해야 할 때는 34.57%로 떨어졌다 (Ge 외, On the Emotion Understanding of Synthesized Speech, 2026). 손실은 음질이 아니라 텍스트에서 운율로 넘어가는 단계에 있다. 인식 모델이 사람 목소리에서 어떻게 작동하는지는 저희 음성 감정 인식 통계를 참고하라.
| 지표 | 값 | 출처 |
|---|---|---|
| 청취자의 감정 인식: 사람 녹음 대 합성 음성(6개 감정) | 43% 대 32% | Abilbekov 외, KazEmoTTS 2024 |
| 청취자의 분노 인식: 사람 녹음 대 합성 음성 | 37% 대 7% | Abilbekov 외, KazEmoTTS 2024 |
| 감정 분류기 정확도(emotion2vec): 사람의 TESS 녹음 대 합성 TESS | 99.64% 대 15.31% | Ge 외, 2026 |
| 감정 분류기 정확도: 사람의 IEMOCAP 대 합성 IEMOCAP | 71.28% 대 49.58% | Ge 외, 2026 |
| TESS에서의 CosyVoice 2: 실제 음성 대 보코더만 대 텍스트 기반 생성 | 83.93% 대 82.43% 대 34.57% | Ge 외, 2026 |
| gpt-4o-tts 출력에 대한 감정 분류기 정확도(CREMA-D / TESS 문장) | 32.94% / 46.42% | Ge 외, 2026 |
| 감정 재분류 정확도: 보코더 처리한 사람 녹음 대 세 TTS 시스템 중 최고와 최저 | 0.931 대 0.749 및 0.623 | Tang 외, ED-TTS 2024 |
| 감정 범주의 기준선 대비 승률: GPT-4o-audio 대 Sesame1B | 88.84% 대 7.32% | Boson AI, EmergentTTS-Eval 2025 |
이상치에 관한 참고: 2026년 분류기 수치는 청취자의 판단이 아니라 기계 점수이며, 합성 음성으로 학습한 분류기는 합성 TESS에서 91.84%를 기록했지만 사람의 TESS에서는 15.00%에 그쳤는데, 이는 합성된 감정과 사람의 감정이 음향적으로 다르다는 점을 시사한다. ED-TTS는 자체 감정 분류기를 사용했으므로 그 척도는 emotion2vec과 직접 비교할 수 없다.
6. 장문 낭독: 문장 테스트가 통하지 않는 지점
한 문장씩 들으면 괜찮게 들리는 운율도 문단 전체에서는 흘러가 버리거나 평평해지거나 휴지가 엉뚱한 곳에 놓일 수 있다. 뉴스 낭독 연구에서 문단 안의 가장 좋은 단일 문장 평가조차 문단 전체 평가 분산의 약 12%만 설명했다 (문장의 최대 MOS 대 문단 MOS, r = 0.345, p < 0.01) (Clark 외, Evaluating Long-form Text-to-Speech, SSW10 2019). 저자들은 문장 단위 평가가 ‘문단 MOS의 나쁜 예측 변수’라고 결론지었다.
2026년의 모습은 더 좁아졌지만 아직 닫히지 않았다. SwanBench-Speech에서 최고의 클로즈드소스 시스템은 운율 점수에서 실제 녹음에 0.09 차이까지 다가섰지만(3.95 대 4.04), 클로즈드소스 평균은 표현의 풍부함(감정적 공명, 인물 묘사, 이야기 전달)과 표현의 위계(문단 수준의 표현 역동성) 모두에서 실제 음성보다 0.93점 뒤처졌고, 대부분의 모델은 글이 100단어를 넘자 품질이 저하되었다 (Pan 외, SwanBench-Speech, ACL 2026 Findings). 내레이션이 들어간 교육 및 설명 콘텐츠를 만드는 제작자에게는 저희 AI 보이스오버 통계가 도입 현황을 다루며, AI 음성 생성기는 한 줄이 아니라 문단 전체로 판단하는 것이 가장 쉽다.
| 지표 | 값 | 출처 |
|---|---|---|
| 상관, 문장 평균 평가 대 문단 평가(뉴스) | r = 0.296 (p < 0.05) | Clark 외, SSW10 2019 |
| 평균 평가, 짧은 문장 대 40초 분량의 글, 최고 모델 | 4.09 대 3.86 | Guo 외, HiGNN-TTS 2023 |
| 평균 평가, 짧은 문장 대 40초 분량의 글, 기준선 | 3.52 대 3.34 | Guo 외, HiGNN-TTS 2023 |
| 오디오북 청취 테스트: 청취자 / 평가 수 / 세그먼트 길이 | 204 / 33,750 / 약 2분 | Zhang 외, SSW 2023 |
| 장문 개선에 따른 전체 품질 향상(초록) | +0.47 MOS | Zhang 외, SSW 2023 |
| 여러 문장 문맥을 제거한 후의 비교 점수: 여성 목소리 / 남성 목소리 | -0.42 / -0.58 | Zhang 외, SSW 2023 |
| 표현의 풍부함: 실제 음성 대 클로즈드소스 평균 대 오픈소스 평균 | 4.35 대 3.42 대 3.03 | Pan 외, SwanBench-Speech 2026 |
| 표현의 위계(문단 수준 역동성): 실제 음성 대 클로즈드소스 평균 | 3.94 대 3.01 | Pan 외, SwanBench-Speech 2026 |
배경: SwanBench 점수는 자동으로 산출된 것이다. 그 운율 지표는 50쌍에서 사람 평가자 10명과 SRCC = 0.82로 일치했고, 풍부함과 위계 심사자(Gemini 3 Pro)는 0.71과 0.62로 일치했다. 오디오북 합성 논문은 자사의 개선이 ‘기준선 합성과 자연스러운 녹음 사이의 큰 격차를 줄인다’고 하면서도 그 격차를 없애지는 못한다고 밝힌다. Clark 외의 연구는 2019년의 것으로, 문장 대 문단 비교에 대해 입수 가능한 가장 최근 데이터다.
7. 사람의 기준선: 실제 운율은 얼마나 변하는가
모든 ‘오류’ 수치는 목표를 전제하는데, 사람의 운율은 폭이 넓은 목표다. 미국 영어 화자 192명에서 조음 속도는 문장 낭독 시 초당 3.20음절, 자발적 대화에서 초당 4.96음절이었다 (Jacewicz 외, JASA 2010). 조음 속도는 휴지를 제외하고 초당 음절 수를 세므로, 망설임과 템포를 분리해 준다.
한 사람 안에서의 변동이 더 큰 이야기다. 같은 데이터에서 한 화자 내의 구절 간 변동이 화자 간 변동을 넘어섰다. LabPhon 19에서 발표된 거의 120,000개 발화의 코퍼스 연구는 개별 화자가 방언보다 더 크게 달라진다는 점을 발견했다. 제1절에서 F0 RMSE에 대해 보았듯이, 이것이 단일 기준 녹음이 허술한 잣대인 이유다.
| 지표 | 값 | 출처 |
|---|---|---|
| 조음 속도, 낭독 문장 대 자발적 대화(초당 음절 수) | 3.20 대 4.96 | Jacewicz 외, JASA 2010 |
| 자발적 속도, 위스콘신 대 노스캐롤라이나 화자(초당 음절 수) | 5.21 대 4.80 | Jacewicz 외, JASA 2010 |
| 낭독 속도, 젊은 성인 대 최고령 성인(초당 음절 수) | 3.58 대 3.0 | Jacewicz 외, JASA 2010 |
| 말 속도 분산: 한 화자 내 대 화자 간 | 1.0 대 0.19 | Jacewicz 외, JASA 2010 |
| 코퍼스 규모: 발화 수 / 화자 수 / 방언 수 | 119,736 / 1,115 / 15 | Tanner 외, LabPhon 19 |
| 영어 방언 간 조음 속도의 추정 차이 | 약 40%(초당 약 2음절) | Tanner 외, LabPhon 19 |
| 화자 간 변동이 방언 간 변동을 넘어설 확률 | 0.98 | Tanner 외, LabPhon 19 |
배경: SPADE 조음 속도 논문은 영국 영어와 북미 영어의 자발적 발화 코퍼스 14개를 사용했다. Jacewicz의 데이터는 2010년의 것으로, 하나의 통제된 표본에서의 낭독 대 자발적 템포에 대해 입수 가능한 가장 최근 데이터다. 청취자의 판단이 음향과 어긋나는 또 다른 운율적 특징에 대해서는 저희 보컬 프라이 통계를 참고하라.
숫자로 보는 신경망 TTS의 운율과 억양 오류
| 지표 | 값 | 출처 |
|---|---|---|
| 음높이를 분석한 운율 연구(2020년부터 2024년) | 100편 중 95편 | Galdino 외, JBCS 2025 |
| 로그 F0 RMSE와 사람의 운율 평가의 상관 | r = 0.30 | Yang 외, ProsodyEval 2025 |
| F0 RMSE: 보코더만 대 최고의 완전한 TTS | 14.03 대 27.93 | Xin 외, 2022 |
| 2025년 운율 예측기의 원시 음높이 정확도 | 43.9% | Eren 외, ProMode 2025 |
| F0 프레임 오류, 평서형 의문문 대 평서문(기준선) | 32.76% 대 13.53% | Bai 외, Interspeech 2022 |
| 의문문으로 들린 평서형 의문문: 기준선 대 분류기 모델 | 21.83% 대 98.41% | Bai 외, Interspeech 2022 |
| 의문문의 기준선 대비 승률: GPT-4o-audio 대 Sesame1B | 56.96% 대 31.78% | Boson AI, EmergentTTS-Eval 2025 |
| 동형이음어 테스트: 우연 수준 대 최고 시스템 | 50% 대 80% 초과 | Perrotin 외, Blizzard 2023 |
| 대조 강세 Pair-Correct: 최고 TTS 대 텍스트 전용 언어 모델 | 11.5% 대 76.1% | Turetzky 외, CAST 2026 |
| 청취자의 감정 인식: 사람 대 합성 | 43% 대 32% | Abilbekov 외, KazEmoTTS 2024 |
| 감정 분류기: 사람의 TESS 대 합성 TESS | 99.64% 대 15.31% | Ge 외, 2026 |
| CosyVoice 2 감정 정확도: 실제 음성 대 텍스트 기반 | 83.93% 대 34.57% | Ge 외, 2026 |
| 문장 평가 대 문단 평가, 설명된 분산 | 약 12% | Clark 외, SSW10 2019 |
| 표현의 풍부함: 실제 음성 대 클로즈드소스 평균 | 4.35 대 3.42 | Pan 외, SwanBench-Speech 2026 |
| 짧은 문장 대 40초 분량의 글, 최고 모델 | 4.09 대 3.86 | Guo 외, HiGNN-TTS 2023 |
| 낭독 대 자발적 조음 속도(초당 음절 수) | 3.20 대 4.96 | Jacewicz 외, JASA 2010 |
| 영어 방언 간 조음 속도 차이 | 약 40% | Tanner 외, LabPhon 19 |
방법론과 출처
위의 모든 수치는 그것을 보고한 논문, 학술대회 자료 페이지 또는 전문에서 확인했다. 논문이 결과를 그래프로만 보여 준 경우에는 논문이 밝힌 결론을 사용하고 근사값은 제외했다. 기계가 판정한 점수(AI 심사자, 감정 분류기, 자동 벤치마크)는 본문에 그렇게 표시했으며 청취자 비율로 읽어서는 안 된다.
- Galdino, Matos, Svartman, Aluisio, ‘The evaluation of prosody in speech synthesis: a systematic review’, Journal of the Brazilian Computer Society, 2025년 7월 9일
- Yang 외, ‘Measuring Prosody Diversity in Zero-Shot TTS’ (ProsodyEval), arXiv 2509.19928, 2026년 4월 1일 개정
- Minixhofer, Klejch, Bell, ‘TTSDS - Text-to-Speech Distribution Score’, arXiv 2407.12707, 2024년
- Xin 외, ‘Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts’, arXiv 2211.02336, 2022년
- Guo 외, ‘HiGNN-TTS: Hierarchical Prosody Modeling with Graph Neural Networks for Expressive Long-form TTS’, arXiv 2309.13907, 2023년
- Eren 외, ‘ProMode: A Speech Prosody Model Conditioned on Acoustic and Textual Inputs’, arXiv 2508.09389, 2025년
- Bai, Ko, Zhang, ‘A Study of Modeling Rising Intonation in Cantonese Neural Speech Synthesis’, Interspeech 2022
- Tang 외, ‘QI-TTS: Questioning Intonation Control for Emotional Speech Synthesis’, arXiv 2303.07682, 2023년
- Manku 외 (Boson AI), ‘EmergentTTS-Eval’, arXiv 2505.23009, 2025년 5월 29일
- Perrotin, Stephenson, Gerber, Bailly, ‘The Blizzard Challenge 2023’, ISCA 아카이브
- Turetzky 외, ‘Knowing What to Stress: A Discourse-Conditioned Text-to-Speech Benchmark’ (CAST), arXiv 2604.10580, 2026년 4월 12일
- Li 외, EME-TTS, 음성 합성에서 강조와 감정의 관계에 관하여, arXiv 2507.12015, 2025년
- Gutierrez, Oplustil-Gallegos, Lai, ‘Location, Location’, ISCA SSW11, 2021년
- Abilbekov 외, ‘KazEmoTTS: A Dataset for Kazakh Emotional Text-to-Speech Synthesis’, arXiv 2404.01033, 2024년
- Ge 외, ‘On the Emotion Understanding of Synthesized Speech’, arXiv 2603.16483, 2026년 3월 17일
- Tang 외, ‘ED-TTS: Multi-Scale Emotion Modeling using Cross-Domain Emotion Diarization’, arXiv 2401.08166, 2024년
- Clark, Silen, Kenter, Leith, ‘Evaluating Long-form Text-to-Speech: Comparing the Ratings of Sentences and Paragraphs’, SSW10, arXiv 1909.03965, 2019년
- Zhang 외, ‘Audiobook synthesis with long-form neural text-to-speech’, ISCA SSW12, 2023년
- Pan 외, ‘Comprehensive Benchmarking of Long-Form Speech Generation in Diverse Scenarios’ (SwanBench-Speech), ACL 2026 Findings, arXiv 2605.28618
- Jacewicz, Fox, Wei, ‘Between-speaker and within-speaker variation in speech tempo of American English’, Journal of the Acoustical Society of America, 2010년
- Tanner 외 및 SPADE Data Consortium, ‘Exposing the anatomy of articulation rate across English dialects and speakers’, LabPhon 19
- 데이터 참고 사항: F0 RMSE 값은 논문 간에 비교할 수 없으며(단위, 정렬, 데이터셋이 다름), ProMode 논문은 단위를 밝히지 않는다. Xin 외는 HiFi-GAN 행을 설명 없이 싣고 있는데, 저희는 그 스펙트럼 왜곡이 TTS 행들보다 훨씬 낮다는 점에서 보코더만의 출력으로 해석했으며 이는 저희의 추론이다. Jacewicz 외는 본문에서 초당 5.21음절과 4.80음절을 제시하지만 같은 방언에 대해 표에서는 5.38음절과 4.97음절을 제시하며, 저희는 본문의 값을 채택했다. SSW 2023 오디오북 논문은 초록에서 0.47 MOS 향상, 본문에서 0.46 향상이라고 하며, 시스템별 그래프 값은 신뢰할 수 있게 대응시킬 수 없어 생략했다. SwanBench-Speech는 위계 격차가 ‘반 점을 넘는다’고 하지만 그 표의 평균은 0.93을 의미하며, 저희는 표의 값을 채택했다. EmergentTTS-Eval과 SwanBench의 결과는 소규모 사람 패널로 검증된 AI 심사자에게서 나온 것이며, EmergentTTS 텍스트를 다시 쓴 이후의 기술 보고서는 원 논문과 비교할 수 없다. QI-TTS(2023년), Xin 외(2022년), Bai 외(2022년), Gutierrez 외(2021년), Clark 외(2019년), Jacewicz 외(2010년)의 수치는 3년이 넘은 것으로, 해당 개별 지표에 대해 입수 가능한 가장 최근 데이터다. 2026년 출처 몇 가지는 프리프린트이며 동료 평가를 거치며 바뀔 수 있다. 다음 Blizzard Challenge 결과와 Speech Prosody 논문집은 의문문 억양과 장문 낭독에 관한 더 새로운 데이터를 더할 수 있다.
마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 다음 Blizzard Challenge 결과가 ISCA 아카이브에 공개될 때 이루어질 것으로 예상한다.