음성 변환 챌린지 2020(VCC 2020)에서 동일 언어 내 시스템 8개는 유사도 테스트에서 실제 목표 화자와 통계적으로 구분되지 않았으며, 변환된 샘플의 90% 넘게가 같은 사람으로 판정되었다 (Zhao 외, VCC 2020 개요). 4년 전 VCC 2016의 최고 시스템은 5점 척도 자연스러움에서 평균 3.0에 그쳤고, 상위 시스템이 청취자를 설득한 비율은 약 70%였다. 자연스러움의 격차는 이만큼 깔끔하게 좁혀지지 않았다. VCC 2020에서 사람 수준의 자연스러움에 도달한 시스템은 없었고, 가창 음성 변환 챌린지 2025에서도 상위 시스템은 실제 녹음의 약 3.9에 비해 약 3.7을 기록했다. 이 정리는 음성 변환이 어떻게 팔리는지가 아니라 어떻게 측정되는지를 다룬다. 보급 현황과 시장 데이터는 저희 음성 복제 통계를, 음성 합성의 청취 점수는 저희 합성 음성 자연스러움 MOS 통계를 참고하세요. 2016년, 2018년, 2020년 음성 변환 챌린지와 2023년, 2025년 가창 음성 변환 챌린지, Interspeech, ICLR, AAAI, IEEE JSTSP의 동료 심사 논문, 그리고 화자 유사도 지표와 청취 평가 편향에 관한 최근 연구에서 데이터를 모았다.
요약
- VCC 2020의 동일 언어 내 시스템 8개는 유사도에서 목표 화자와 유의한 차이가 없었다 (Zhao 외, VCC 2020 개요, 2020).
- 2025년 제로샷 시스템은 자연스러움 MOS 3.96을 기록했고, 정답 데이터는 4.33이었다 (Yao 외, StableVC, AAAI 2025).
- 2026년 코덱 공간 기반 시스템의 화자 유사도는 영어의 0.63에서 중국어에서 영어로의 변환 0.49로 떨어졌다 (Zheng 외, X-VC 2026).
- 자기지도 특징 기반 시스템의 유사도는 임의 화자→특정 화자 변환에서 임의 화자→임의 화자 변환으로 넘어가면서 59%에서 28%로 떨어졌다 (Huang 외, IEEE JSTSP 2022).
- VCC 2020의 31개 시스템 중 20개가 90% 넘는 확률로 화자 검증 시스템을 속였다 (Das 외, VCC 2020 객관 평가, 2020).
- 화자 임베딩 유사도는 실제 음성에서 사람의 평가와 0.768의 상관을 보였지만, VCC 2018의 변환 음성에서는 0.512에 그쳤다 (Ahn 외, VoxSim, Interspeech 2024).
- VCC 2018 발화의 약 절반은 청취자 4명의 평가에서 표준편차가 1점을 넘었다 (Lo 외, MOSNet 2019).
- 더 강한 시스템들과만 함께 평가되면 시스템의 MOS가 최대 약 1점 가까이 떨어질 수 있다 (Cooper와 Yamagishi, Interspeech 2023).
- SVCC 2023의 최상위 가창 시스템은 정답 데이터와 같은 자연스러움(약 3.9)에 도달했지만, 유사도는 80%에 비해 65%였다 (Violeta 외, SVCC 2025 분석, 2025).
- SVCC 2025에서 변환하기 가장 어려웠던 스타일은 숨소리가 섞인 창법으로, 스타일 정확도가 37.3%였다 (Violeta 외, SVCC 2025 분석, 2025).
1. 10년간의 챌린지 결과: 70%에서 목표 화자 수준의 유사도로
음성 변환(VC)은 말하는 내용은 그대로 두고 녹음이 누구의 목소리처럼 들리는지를 바꾼다. 이 분야의 공통 잣대는 음성 변환 챌린지(VCC)로, 모든 팀이 같은 화자들 사이에서 같은 문장을 변환하고 하나의 대규모 청취 평가가 전부를 채점한다. 자연스러움은 5점 척도의 평균 의견 점수(MOS)로 평가하고, 유사도는 변환된 클립과 실제 클립이 같은 화자의 것인지를 청취자에게 물어 판정한다.
추세는 가파르다. VCC 2016의 최고 시스템은 자연스러움 평균이 3.0이었지만, VCC 2020에 이르러서는 시스템 8개가 유사도에서 실제 목표 화자와 통계적으로 대등해졌다 (Zhao 외, VCC 2020 개요). 흥미로운 것은 진전의 순서다. 어떤 시스템도 사람 수준의 자연스러움에 도달하기 전에, 깨끗한 동일 언어 영어 환경에서 청취자들이 변환된 클립과 목표 화자를 구분하지 못하게 되었다.
| 지표 | 값 | 출처 |
|---|---|---|
| VCC 2016에 참가한 연구 그룹 | 17 | Toda 외, The Voice Conversion Challenge 2016, Interspeech 2016 |
| 통제된 환경에서 진행한 VCC 2016 테스트의 청취자 | 200 | Toda 외, The Voice Conversion Challenge 2016, Interspeech 2016 |
| VCC 2016 상위 시스템, 목표 화자와 같은 화자로 판정된 샘플의 비율 | 약 70% | Wester 외, Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| VCC 2016 최고 시스템, 5점 척도 평균 자연스러움 | 3.0 | Zhao 외, VCC 2020 개요, 2020 |
| VCC 2018 최고 시스템(N10): 자연스러움 / 목표 화자와 같다고 판정된 비율 | 약 4.1 / 약 80% | Lorenzo-Trueba 외, VCC 2018 논문 |
| VCC 2020에서 유사도가 목표 화자와 유의한 차이가 없었던 동일 언어 시스템 | 8 | Zhao 외, VCC 2020 개요, 2020 |
배경 메모: VCC 2018 우승 시스템은 수백 시간의 외부 음성으로 학습한 내용 추출기와 화자 의존형 WaveNet 보코더에 의존했다 (Lorenzo-Trueba 외, VCC 2018). 외부 데이터 옵션을 사용한 VCC 2018 팀은 3팀뿐이었다. 음성 챌린지에서 확인할 수 있는 가장 최신 데이터는 VCC 2020으로, 2023년의 네 번째 대회는 노래로 옮겨 가며 이름도 바뀌었다(6절 참조).
2. 자연스러움의 격차: 최고 시스템은 실제 음성에서 얼마나 떨어져 있나
“같은 화자”라는 판정이 그 클립이 사람처럼 들린다는 뜻은 아니다. 모든 챌린지는 테스트 안에 자연 녹음을 기준점으로 남겨 두었고, 그 기준점들은 끈질긴 격차를 보여준다. 2022년의 한 비교는 VCC 2020 동일 언어 과제의 최상위 시스템 USTC-2020의 자연스러움 MOS를 4.41, 실제 목표 화자 녹음을 4.57로 기재했으며, 격차는 0.16점(4.57에서 4.41을 뺀 값)이다 (Huang 외, IEEE JSTSP 2022). 이 시스템은 유사도 테스트에서도 82%에 도달했다.
격차는 학습에서 들어본 적 없는 목소리로 짧은 참조 클립만 보고 변환하는 제로샷 시스템에서 더 벌어진다. 2025년 AAAI 논문은 VCTK 화자에 대해 자사 시스템의 MOS를 3.96, 정답 데이터를 4.33으로 측정해 0.37점의 격차를 보였는데, 자동 MOS 예측기는 둘의 차이를 0.12밖에 두지 않았다 (Yao 외, StableVC, AAAI 2025). 이 테스트에서는 자동 예측기가 더 너그러운 심사자였고, 이것이 이런 점수를 청취 평가와 함께 읽어야 하는 이유 중 하나다.
| 지표 | 값 | 출처 |
|---|---|---|
| VCC 2016의 자연 녹음: 자연스러움 / 같은 화자로 판정된 비율 | 4.5 / 90% | Violeta 외, SVCC 2025 분석, 2025 |
| 실제 원본 화자와 목표 화자보다 자연스러움이 유의하게 낮다고 평가된 VCC 2016 시스템 | 전체 시스템 | Wester 외, Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| VCC 2018 최고 시스템 대 실제 목표 화자 음성 (윌콕슨 부호 순위 검정, 본페로니 보정, α = 0.01) | 자연스러움과 유사도 모두에서 유의한 차이 | Lorenzo-Trueba 외, VCC 2018 논문 |
| VCC 2020 최상위 시스템(USTC-2020) 대 목표 화자 녹음, 동일 언어 자연스러움 MOS | 4.41 대 4.57 | Huang 외, IEEE JSTSP 2022 |
| 자기지도 특징 기반 최고 시스템 대 단순 멜 스펙트로그램 기준 시스템, 자연스러움 MOS | 3.59 대 2.61 | Huang 외, IEEE JSTSP 2022 |
| 제로샷 시스템 대 정답 데이터, 청취자 자연스러움 MOS (VCTK 화자) | 3.96 ±0.04 대 4.33 ±0.04 | Yao 외, StableVC, AAAI 2025 |
| 자동 자연스러움 예측기 UTMOS로 본 같은 비교 | 4.12 대 4.24 | Yao 외, StableVC, AAAI 2025 |
| 공개된 제로샷 기준 시스템 6개 중 최고, 청취자 자연스러움 MOS | 3.67 ±0.07 | Yao 외, StableVC, AAAI 2025 |
이상치 메모: VCC 2020에서 일본어 청취자들은 선두 시스템 T10의 동일 언어 자연스러움을 목표 화자와 비슷하다고 평가했지만, 영어 청취자들은 그렇지 않았다 (Zhao 외, VCC 2020 개요). 따라서 동등성 판정은 누가 듣느냐에 좌우될 수 있고, 보고되는 모든 결과에는 청취자 집단이 함께 밝혀져야 한다.
3. 명료도와 스펙트럼 지표: WER과 MCD가 말해주는 것과 말해주지 못하는 것
객관 지표는 저렴하고 재현 가능해서 논문들이 많이 의존한다. 반복해서 쓰이는 계열은 둘이다. 하나는 명료도로, 변환된 음성을 받아쓰는 자동 음성 인식기의 단어 오류율(WER) 또는 문자 오류율(CER)로 측정한다. 다른 하나는 스펙트럼 거리로, 보통 멜 켑스트럼 왜곡(MCD)을 쓰며 변환된 스펙트럼이 목표의 스펙트럼에서 얼마나 떨어져 있는지를 잰다. 둘 다 낮을수록 좋다.
VCC 데이터는 WER이 자연스러움은 그런대로 따라가지만 유사도는 잘 따라가지 못함을 보여준다. VCC 2018에서 WER은 비병렬 과제의 자연스러움과 -0.7127의 상관을 보였지만, 화자 유사도와는 -0.2272에 그쳤다 (Lorenzo-Trueba 외, VCC 2018). MCD는 자연스러움의 대리 지표로서 더 약해 보인다. 가창 음성 변환 챌린지 2023에서 MCD는 두 청취자 집단 어느 쪽의 도메인 내 자연스러움 평가와도 유의한 상관을 보이지 않았다 (Huang 외, SVCC 2023). 인식기에도 고유의 실패 양상이 있으며, 이는 저희 음성 인식 환각 통계에서 다루므로, 낮은 WER은 단어가 살아남았다는 뜻일 뿐 목소리가 제대로 들린다는 뜻은 아니다.
| 지표 | 값 | 출처 |
|---|---|---|
| 자연 원본 음성에 대한 ASR 단어 오류율, VCC 2018 | 6.40% | Lorenzo-Trueba 외, VCC 2018 논문 |
| VCC 2018 Hub 변환 시스템 중 최저 / 최고 WER | 8.60% / 35.60% | Lorenzo-Trueba 외, VCC 2018 논문 |
| WER과 자연스러움 MOS / 유사도의 상관, VCC 2018 병렬 데이터 Hub 과제와 비병렬 Spoke 과제 | Hub -0.6587 / -0.3218; Spoke -0.7127 / -0.2272 | Lorenzo-Trueba 외, VCC 2018 논문 |
| WER이 5% 미만 / 50% 초과였던 VCC 2020 동일 언어 팀 | 7 / 7 | Das 외, VCC 2020 객관 평가, 2020 |
| MCD, 단순 멜 스펙트로그램 기준 시스템 대 VCC 2020 최상위 시스템 (VCC 2020 데이터) | 8.47 대 6.98 | Huang 외, IEEE JSTSP 2022 |
| MCD와 도메인 내 자연스러움 MOS의 스피어먼 상관, SVCC 2023 (일본어 / 영어 청취자) | -0.28 / -0.24 (유의하지 않음) | Huang 외, SVCC 2023 논문 |
| Whisper 기반 CER과 도메인 내 자연스러움 MOS의 스피어먼 상관, SVCC 2023 (일본어 청취자) | -0.80 (p < 0.01) | Huang 외, SVCC 2023 논문 |
배경 메모: VCC 2020의 편차는 크다. 동일 언어에서 최악의 출품작은 WER 96.17%를 기록했는데, 이는 인식기에게 변환 후 거의 아무것도 남지 않았다는 뜻이며, 반면 7개 팀은 5% 미만을 유지했다 (Das 외, VCC 2020 객관 평가).
4. 화자 임베딩 유사도: 유용하고, 널리 쓰이고, 취약하다
표준적인 자동 유사도 점수는 화자 임베딩 코사인 유사도(흔히 SECS 또는 SIM이라 부른다)다. 두 클립을 화자 검증 네트워크에 통과시키고, 결과로 나온 벡터 사이의 각도를 비교한다. 챌린지 데이터에서는 시스템 수준에서 청취자와 잘 일치한다. VCC 2020에서 화자 검증 오류율은 두 과제에서 청취자 유사도와 0.89, 0.90의 상관을 보였고 (Das 외, VCC 2020 객관 평가), 동일 언어 시스템 31개 중 20개가 90% 넘는 확률로 검증기에 목표 화자로 수락되었다. 여기서 “오수락”률은 검증기가 변환된 클립을 실제 목표 화자로 잘못 수락하는 비율이므로, 높을수록 더 설득력 있는 변환이다.
발화 단위의 일치도는 이야기가 다르다. 사전 학습된 ECAPA-TDNN 임베딩은 실제 목소리 쌍에서 사람의 평가와 0.768의 선형 상관에 도달했지만, VCC 2018의 변환 음성에서는 0.512로 떨어졌다 (Ahn 외, VoxSim, Interspeech 2024). Ubisoft La Forge와 스텔렌보스 대학교의 2025년 연구는 검증 모델이 같은 화자의 짧은 클립과 긴 클립을 우연보다 훨씬 높은 수준으로 구분하며, 잡음과 이퀄라이제이션이 점수를 옮긴다는 점을 발견했다. 따라서 SIM 수치는 부분적으로 녹음 조건을 재는 셈이다 (Carbonneau 외 2025). 공개된 SIM 수치로 음성 복제 소프트웨어를 비교하는 사람은 같은 임베딩 모델, 테스트 세트, 클립 길이가 쓰였는지 확인해야 한다.
| 지표 | 값 | 출처 |
|---|---|---|
| 화자 검증기에 90% 넘는 확률로 목표 화자로 수락된 VCC 2020 동일 언어 시스템 | 31개 중 20개 | Das 외, VCC 2020 객관 평가, 2020 |
| 같은 90% 오수락 수준을 넘은 VCC 2020 언어 간 시스템 | 10 | Das 외, VCC 2020 객관 평가, 2020 |
| 검증기 오류율과 청취자 유사도의 피어슨 상관, VCC 2020 과제 1 / 과제 2 | 0.89 / 0.90 | Das 외, VCC 2020 객관 평가, 2020 |
| 임베딩 코사인 거리와 청취자 유사도의 피어슨 상관, VCC 2020 과제 1 / 과제 2 | 0.85 / 0.82 | Das 외, VCC 2020 객관 평가, 2020 |
| 사전 학습된 ECAPA-TDNN 화자 인식기 대 사람의 유사도, 실제 음성 쌍 (선형 상관) | 0.768 | Ahn 외, VoxSim, Interspeech 2024 |
| 같은 사전 학습 모델의 VCC 2018 변환 음성 결과 (선형 상관) | 0.512 | Ahn 외, VoxSim, Interspeech 2024 |
| 제로샷 합성 연구에서 임베딩 유사도 대 사람의 목소리 유사도 평가 (발화 단위) | 0.55 | Li 외, DMOSpeech 2025 |
| 한 화자의 짧은 클립을 그 화자의 긴 클립과 비교했을 때 검증기의 동일 오류율 (ECAPA-TDNN; 0.50은 구분 불가를 뜻함) | 0.34 ±0.04 | Carbonneau 외 2025 |
이상치 메모: 신호 대 잡음비 20 dB의 잡음을 더하자, 한 화자의 깨끗한 클립과 잡음 낀 클립에 대한 같은 ECAPA-TDNN의 동일 오류율은 0.34가 되었고, 0 dB에서는 0.05가 되었다 (Carbonneau 외 2025). 쉽게 말해, 검증기는 잡음 낀 목소리 사본을 다른 사람으로 취급하기 시작한다.
5. 도메인 내 대 언어 간, 임의 화자→임의 화자: 점수가 무너지는 곳
벤치마크 수치는 보통 가장 우호적인 조건에서 보고된다. 같은 언어, 스튜디오 음질, 그리고 모델이 학습한 목표 화자(임의 화자→특정 화자 변환)다. 이 중 하나라도 바꾸면 점수가 떨어진다. VCC 2020 선두 시스템 T10은 동일 언어에서 언어 간 변환으로 넘어가며 자연스러움 MOS를 0.75점 잃었고, 그 과제에서 목표 화자로 판정된 샘플은 80% 미만이었다 (Zhao 외, VCC 2020 개요). 청취자들은 참조 클립이 영어가 아니라 화자의 제2언어일 때도 더 낮은 유사도 점수를 주었다.
가장 가파른 하락은 보지 못한 목표 화자(임의 화자→임의 화자 변환)에서 나온다. IEEE JSTSP 비교에서 자기지도 특징 기반 시스템은 자연스러움이 거의 그대로였지만 유사도는 절반으로 줄었다 (Huang 외, IEEE JSTSP 2022). 최근의 제로샷 시스템에서도 이 격차는 여전하다. 억양과 감정이 담긴 음성에서 ICLR 2025 저자들은 화자 유사도를 정답 녹음 0.762, 최고 변환 출력 0.517로 측정했다 (Zhang 외, Vevo, ICLR 2025).
| 지표 | 값 | 출처 |
|---|---|---|
| USTC-2020이 목표 화자와 같다고 판정된 비율, 동일 언어 대 언어 간 | 82% 대 43% | Huang 외, IEEE JSTSP 2022 |
| 자기지도 특징 기반 시스템, 알려진 목표 화자(임의 화자→특정 화자) 대 보지 못한 목표 화자(임의 화자→임의 화자): 유사도 / 자연스러움 MOS | 59% 대 28% / 3.59 대 3.58 | Huang 외, IEEE JSTSP 2022 |
| 우승 시스템을 제외한 VCC 2018 Hub 시스템, 동성 쌍 대 이성 쌍의 자연스러움 MOS | 3.08 대 2.78 | Lorenzo-Trueba 외, VCC 2018 논문 |
| 코덱 공간 기반 제로샷 시스템의 화자 유사도, 동일 언어(영어 / 중국어) 대 언어 간(영어에서 중국어 / 중국어에서 영어) | 0.63 / 0.73 대 0.52 / 0.49 | Zheng 외, X-VC 2026 |
| 억양과 감정이 담긴 음성의 화자 유사도, 실제 녹음 대 최고 변환 출력 | 0.762 대 0.517 | Zhang 외, Vevo, ICLR 2025 |
배경 메모: 2026년 코덱 공간 논문은 언어 간 쌍을 다른 부분집합(언어별 첫 1,000개 발화)으로 평가했으므로, 동일 언어와 언어 간 수치는 통제된 비교가 아니라 참고용이다 (Zheng 외, X-VC 2026). 이 시스템의 스트리밍 버전은 모델 지연 240 ms로 동작했다.
6. 가창 음성 변환: 자연스러움은 동등, 동일성은 격차
노래는 말하기와는 다른 방식으로 음성 변환에 부담을 준다. 음역이 더 넓고, 음이 길게 유지되며, 비브라토 같은 기법이 있다. 가창 음성 변환 챌린지(SVCC)는 2023년에 챌린지 형식을 이어받았다. SVCC 2023의 최상위 시스템은 정답 데이터와 같은 약 3.9의 자연스러움에 도달했지만, 유사도는 실제 가수의 80%에 비해 65%에 그쳤다 (Violeta 외, SVCC 2025 분석). 이는 동일성이 먼저 따라잡았던 말하기 음성의 이야기와 정반대다.
SVCC 2025는 노래 스타일 변환을 추가했고, 사람 수준의 자연스러움에 도달한 시스템은 없었다. 어려운 부분은 스타일이었다. 숨소리가 섞인 창법, 글리산도(음과 음 사이를 미끄러지듯 이동하는 기법), 비브라토가 가장 정확도가 낮게 재현된 기법이었다. 저자들은 표준 유사도 테스트가 스타일 판정에 적절한지에 대해서도 의문을 제기했다. 가수의 동일성도 채점하기 어렵다. 정답 데이터 샘플조차 그 테스트에서 약 70%에 그쳤다.
| 지표 | 값 | 출처 |
|---|---|---|
| SVCC 2023 제출 시스템과 기준 시스템 | 24 + 2 | Huang 외, SVCC 2023 논문 |
| SVCC 2023 청취자, 영어 / 일본어 | 40 / 319 | Huang 외, SVCC 2023 논문 |
| 자연스러움 3.0을 넘은 SVCC 2023 팀, 도메인 내 과제 대 도메인 간 과제 | 14 대 8 | Huang 외, SVCC 2023 논문 |
| SVCC 2023 최상위 시스템 대 정답 데이터: 자연스러움 / 유사도 | 약 3.9 / 65% 대 약 3.9 / 80% | Violeta 외, SVCC 2025 분석, 2025 |
| SVCC 2025 상위 시스템 대 정답 데이터: 자연스러움 / 스타일 유사도 | 약 3.7 / 70% 대 약 3.9 / 90% | Violeta 외, SVCC 2025 분석, 2025 |
| SVCC 2025 숨소리가 섞인 창법 / 글리산도 / 비브라토 노래의 스타일 정확도 | 37.3% / 42.6% / 43.9% | Violeta 외, SVCC 2025 분석, 2025 |
| 객관 지표와 주관 점수 사이 스피어먼 상관의 최댓값, SVCC 2025 | 약 0.8 | Violeta 외, SVCC 2025 분석, 2025 |
배경 메모: SVCC 2023에서 목표 화자와 최상위 시스템 사이의 유사도 격차는 두 과제 모두 4점 척도에서 약 0.4점이었고 (Huang 외, SVCC 2023), 유사도와 가장 상관이 높았던 객관 지표는 화자 임베딩 거리였다(일본어 청취자, 도메인 내 과제에서 스피어먼 -0.83).
7. 평가의 신뢰성: 청취자 수, 분산, 편향
위의 모든 수치는 사람의 평가에 기대고 있으며, 그 평가에는 잡음이 있다. VCC 2018 발화의 약 절반에서 청취자 4명의 평가에 걸친 표준편차가 5점 척도에서 1점보다 컸다 (Lo 외, MOSNet). 평균을 내면 시스템 수준에서는 그 대부분이 해소된다. 자동 예측기가 거기서는 강해 보이고(상관 0.957) 발화 단위에서는 약해 보이는(0.642) 이유가 이것이다.
테스트 설계도 점수를 움직인다. Cooper와 Yamagishi는 가장 강한 시스템들만 함께 평가하면, 청취자들이 품질 범위와 관계없이 척도 전체에 점수를 분산시키기 때문에 시스템의 MOS가 최대 약 1점 가까이 낮아질 수 있음을 보였다 (Cooper와 Yamagishi, Interspeech 2023). Interspeech 2022의 음성 합성 논문 80편을 조사한 연구에서는 51편이 청취자 지침을 제시하지 않았다 (Chiang 외 2023). 같은 연구에서 영국 크라우드 작업자는 한 시스템을 2.64로, 미국 작업자는 3.73으로 평가했다.
| 지표 | 값 | 출처 |
|---|---|---|
| VCC 2018 고유 청취자 / 평가된 발화 | 267 / 113,168 | Lorenzo-Trueba 외, VCC 2018 논문 |
| 4개 평가의 표준편차가 1을 넘은 VCC 2018 발화 | 약 절반 | Lo 외, MOSNet 2019 |
| VCC 2018의 자동 MOS 예측기 대 사람 MOS, 발화 단위 대 시스템 단위 (선형 상관) | 0.642 대 0.957 | Lo 외, MOSNet 2019 |
| VCC 2020 청취 평가 두 건(영어 및 일본어 청취자)의 비용 | 738,128엔 (약 6,900 USD) | Zhao 외, VCC 2020 개요, 2020 |
| 일본어와 영어 청취자 점수의 일치도, VCC 2020 | 상관 0.965에서 0.984 | Zhao 외, VCC 2020 개요, 2020 |
| 상위 6% 시스템과만 함께 평가했을 때 한 시스템의 최대 MOS 하락 폭 | 1.28점 | Cooper와 Yamagishi, Interspeech 2023 |
| 청취자 지침을 제시하지 않은 Interspeech 2022 음성 합성 논문 (80편 중) | 51 | Chiang 외, Interspeech 2023 |
| 작업자 501명이 참여한 청취 평가에서 무효 처리된 크라우드 응답 | 약 30% | Li 외, DMOSpeech 2025 |
배경 메모: 개별 논문이 수행하는 테스트는 챌린지보다 훨씬 작다. 최근접 이웃 방식 변환을 다룬 2023년 Interspeech 논문은 청취자 61명에게서 자연스러움 평가 2,144건을, 청취자 208명에게서 유사도 평가 1,636건을 모았다 (Baas 외, Interspeech 2023). 보고된 구간은 약 ±0.1점이었으므로, 가까운 두 시스템 사이에서 그보다 작은 격차는 거의 아무것도 말해주지 않는다.
숫자로 보는 음성 변환 화자 유사도와 자연스러움 벤치마크
| 지표 | 값 | 출처 |
|---|---|---|
| VCC 2016 최고 시스템의 자연스러움 / 최고 유사도 | 3.0 / 약 70% | Zhao 외, VCC 2020 개요, 2020; Wester 외, Interspeech 2016 |
| VCC 2018 최고 시스템의 자연스러움 / 유사도 | 약 4.1 / 약 80% | Lorenzo-Trueba 외, VCC 2018 논문 |
| VCC 2016의 자연 녹음: 자연스러움 / 유사도 | 4.5 / 90% | Violeta 외, SVCC 2025 분석, 2025 |
| USTC-2020 대 목표 화자 녹음, 자연스러움 MOS | 4.41 대 4.57 | Huang 외, IEEE JSTSP 2022 |
| 제로샷 시스템 대 정답 데이터, 청취자 자연스러움 MOS | 3.96 대 4.33 | Yao 외, StableVC, AAAI 2025 |
| MCD와 도메인 내 자연스러움의 상관, SVCC 2023 | -0.28 / -0.24 (유의하지 않음) | Huang 외, SVCC 2023 논문 |
| 90% 넘는 확률로 화자 검증기를 속인 VCC 2020 동일 언어 시스템 | 31개 중 20개 | Das 외, VCC 2020 객관 평가, 2020 |
| 임베딩 유사도 대 사람의 평가, 실제 음성 대 변환 음성 | 0.768 대 0.512 | Ahn 외, VoxSim, Interspeech 2024 |
| 같은 화자의 짧은 클립 대 긴 클립에서 검증기 오류율 (0.50 = 구분 불가) | 0.34 | Carbonneau 외 2025 |
| 유사도, 임의 화자→특정 화자 변환 대 임의 화자→임의 화자 변환 | 59% 대 28% | Huang 외, IEEE JSTSP 2022 |
| 유사도, 동일 언어 대 중국어에서 영어로의 변환 (2026년 시스템) | 0.63 대 0.49 | Zheng 외, X-VC 2026 |
| 억양과 감정이 담긴 음성의 화자 유사도, 실제 녹음 대 최고 변환 출력 | 0.762 대 0.517 | Zhang 외, Vevo, ICLR 2025 |
| SVCC 2023 최상위 시스템 대 정답 데이터의 유사도 | 65% 대 80% | Violeta 외, SVCC 2025 분석, 2025 |
| 평가 표준편차가 1을 넘은 VCC 2018 발화 | 약 절반 | Lo 외, MOSNet 2019 |
| 범위 균등화 편향으로 인한 MOS의 최대 하락 폭 | 1.28점 | Cooper와 Yamagishi, Interspeech 2023 |
방법론과 출처
- Toda 외: The Voice Conversion Challenge 2016, Interspeech 2016 (ISCA Archive)
- Wester, Wu, Yamagishi: Analysis of the Voice Conversion Challenge 2016 Evaluation Results, Interspeech 2016
- Lorenzo-Trueba 외: The Voice Conversion Challenge 2018: Promoting Development of Parallel and Nonparallel Methods (2018)
- Zhao 외: Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion (2020)
- Das 외: Predictions of Subjective Ratings and Spoofing Assessments of Voice Conversion Challenge 2020 Submissions (2020)
- Huang, Yang, Hayashi, Toda: A Comparative Study of Self-supervised Speech Representation Based Voice Conversion, IEEE JSTSP 2022
- Huang 외: The Singing Voice Conversion Challenge 2023
- Violeta 외: An Extensive Analysis of the Singing Voice Conversion Challenge 2025 Evaluation Results (2025년, 2026년 개정)
- Lo 외: MOSNet: Deep Learning-based Objective Assessment for Voice Conversion (2019)
- Ahn 외 (KAIST와 Samsung Research): VoxSim: A perceptual voice similarity dataset, Interspeech 2024
- Carbonneau 외 (Ubisoft La Forge와 스텔렌보스 대학교): Analyzing and Improving Speaker Similarity Assessment for Speech Synthesis (2025)
- Li, Kumar, Jin (컬럼비아 대학교와 Adobe Research): DMOSpeech (2025)
- Cooper와 Yamagishi (NII): Investigating Range-Equalizing Bias in Mean Opinion Score Ratings of Synthesized Speech, Interspeech 2023
- Chiang, Huang, Lee (국립 타이완 대학교): Why We Should Report the Details in Subjective Evaluation of TTS More Rigorously (2023)
- Yao 외 (시베이 공업대학교와 Ximalaya): StableVC, AAAI 2025
- Zhang 외 (CUHK-Shenzhen과 Meta AI): Vevo: Controllable Zero-Shot Voice Imitation, ICLR 2025
- Zheng 외: X-VC: Zero-shot Streaming Voice Conversion in Codec Space (2026년 4월)
- Baas, van Niekerk, Kamper (스텔렌보스 대학교): Voice Conversion With Just Nearest Neighbors, Interspeech 2023
- 데이터 참고 사항: SVCC 2025 분석은 VCC 2020의 언어 간 결과를 자연스러움 약 4.0, 유사도 약 90%로 서술하지만, VCC 2020 주최 측의 논문은 언어 간 샘플의 80% 미만만 목표 화자와 같다고 판정되었다고 밝힌다. 우리는 주최 측의 수치를 쓴다. 여러 논문은 내부적으로 작은 차이로 어긋난다(MOSNet은 발화 단위 상관이 본문 0.624, 표 0.642이며 표를 채택했다. VoxSim은 사전 학습 모델 하나에 대해 본문 0.733, 표 0.752이다. DMOSpeech는 WER 상관이 -0.15 대 -0.16이다). 또한 SVCC 2025 논문의 시스템 수는 버전마다 다르다(이전 버전 26개, 현재 버전 33개). JSTSP 논문은 USTC-2020을 자체 시스템과 같은 표에 싣고 있지만, 그 점수가 자체 청취 평가에서 나왔는지는 밝히지 않는다. SVCC 2025 논문은 스타일별 “스타일 정확도” 점수를 정의하지 않고 어떤 시스템을 평균했는지도 밝히지 않으므로, 절대값이 아니라 난이도 순위로 읽어야 한다. 서로 다른 논문의 화자 유사도 점수는 임베딩 모델, 테스트 세트, 청취자 집단이 달라 행 사이에서 비교할 수 없으며, 2026년 언어 간 수치는 동일 언어 수치와 다른 테스트 부분집합을 쓴다. 음성 전용 챌린지에서 확인할 수 있는 최신 데이터는 VCC 2020이며, 그보다 새로운 음성 변환 증거는 공통 청취 평가가 아니라 개별 논문에서 나온다.
마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 다음 음성 변환 챌린지 또는 가창 음성 변환 챌린지의 청취 평가 결과가 발표될 때 이루어질 것으로 예상한다.