낯선 사람의 3초 음성은 제로샷 음성 복제 연구의 표준 테스트 조건이며, VALL-E와 Voicebox 모두의 바탕이 된 설정이다. 이 테스트에서 Voicebox는 LibriSpeech의 화자 유사도를 VALL-E의 0.580에서 0.681로 끌어올렸고, NaturalSpeech 3는 이후 같은 데이터셋에서 자체 실행한 결과로 실제 녹음의 0.68에 대해 0.67을 보고했다. 청취자도 큰 방어선이 되지 못한다. 2025년 Scientific Reports 연구에서 사람들은 AI 복제 음성을 실제 화자라고 약 80%의 비율로 판단했다. 상업적, 시장적 전체 그림은 더 폭넓은 음성 복제 통계를 참고하세요. 이 정리는 하나의 질문에만 집중한다. 복제에는 얼마나 많은 참조 음성이 필요하며, 1초가 더해질 때마다 무엇을 얻는가. Microsoft Research, Meta, ByteDance, 바르셀로나 슈퍼컴퓨팅 센터, 미국 연방거래위원회, Consumer Reports, McAfee, Starling Bank의 데이터와 ICML, NeurIPS, ICLR, Scientific Reports의 동료 심사 논문 및 arXiv 논문을 종합했다.
요약
- Voicebox는 3.0초의 프롬프트 음성으로 테스트되었으며, 입력 음성의 약 3분의 2만으로 VALL-E의 화자 유사도에 맞먹었다(Meta, Voicebox 논문, NeurIPS 2023).
- VCTK에서 VALL-E 2의 유사도는 3초의 0.447에서 10초의 0.558로 올랐고, 단어 오류율은 0.9%에서 3.3%로 올랐다(Microsoft Research, VALL-E 2 논문, 2024년).
- 평균 프롬프트를 7.7초에서 5.5초로 줄이자, 실환경 음성에서 F5-TTS의 유사도가 0.35에서 0.24로 떨어졌다(바르셀로나 슈퍼컴퓨팅 센터, WildSpoof 제출물, 2026년).
- XTTS-v2는 6~10초의 참조 음성으로 고충실도 복제에 도달했고, 20초를 넘으면 효과가 체감했다(Zhu, 흐로닝언 대학교 논문, 2025년).
- 300초 프롬프트를 쓴 제로샷 모델의 유사도는 0.932로, 300초로 파인튜닝한 기준 모델의 0.934와 거의 같았다(Jiang 외, Mega-TTS 2, ICLR 2024).
- 포르투갈어 음성 20초로 파인튜닝하자 사람의 유사도 평가가 2.77에서 4.43으로 올랐다(Casanova 외, YourTTS, ICML 2022).
- 청취자는 AI 음성을 실제 화자와 같은 사람이라고 약 80%의 비율로 판단했다(Barrington, Cooper, Farid, Scientific Reports 2025년).
- McAfee 연구진은 3~4초의 음성에서 추정 85%의 음성 일치를 보고했다. 이는 업체 자체의 측정이다(McAfee, Beware the Artificial Impostor 2023년).
- 영국 성인의 28%가 지난 1년간 AI 음성 복제 사기의 표적이 되었다고 답했다(Starling Bank와 Mortar Research 조사, 2024년).
- 음성 복제 제품 6개 중 4개가 무단 복제를 막기 위한 기본 조치를 취하지 않았다(Consumer Reports, 음성 복제 평가, 2025년).
1. 3초 테스트: 제로샷 시스템에 주어지는 음성의 양
‘제로샷’은 시스템이 대상 화자에 대해 학습한 적이 전혀 없다는 뜻이다. 생성 시점에 ‘프롬프트’라고 부르는 짧은 참조 클립을 듣고 그 자리에서 흉내 낸다. VALL-E와 Voicebox는 모두 단 3초의 프롬프트로 평가되었으며, 이 선택은 한계보다는 야심을 더 잘 보여 준다. 이 논문들은 몇 초만으로 음성을 복사할 수 있는지를 묻지 않는다. 얼마나 잘하는지를 겨룬다.
제품의 요구 조건은 더 길다. OpenAI는 Voice Engine이 ‘15초짜리 단일 음성 샘플’로 작동한다고 설명했고(OpenAI의 합성 음성 관련 게시글, 2024년), ElevenLabs 문서는 1~2분을 권장한다. 이는 제품 설정이지 측정된 임계값이 아니다.
| 지표 | 값 | 출처 |
|---|---|---|
| LibriSpeech 미학습 화자에 대한 VALL-E의 프롬프트 길이와 학습 데이터 | 3초; 영어 음성 6만 시간, 화자 7,000명 이상 | Microsoft Research, VALL-E 논문 2023년 |
| Voicebox 영어 제로샷 테스트에 사용된 프롬프트 음성 | 3.0초 | Meta, Voicebox 논문 (NeurIPS 2023) |
| XTTS 평가에 사용된 참조 클립 길이 | 3~8초 사이의 세그먼트 1개 | Casanova 외, XTTS 논문 (INTERSPEECH 2024) |
| Seed-TTS 테스트 세트의 참조 발화 길이 범위 | 3~20초 | ByteDance, Seed-TTS 논문 2024년 |
| OpenAI Voice Engine이 작동의 바탕으로 삼는 음성 샘플 | 15초짜리 단일 샘플 | OpenAI, 합성 음성 관련 게시글 2024년 |
| ElevenLabs 인스턴트 복제에 필요한 최소 및 권장 음성량 | 합계 최소 10초, 1~2분 권장 (업체 자체 가이드라인) | ElevenLabs, Instant Voice Cloning 문서 2026년 |
데스크톱용 음성 복제 소프트웨어를 비교하고 있다면, 섹션 2와 3에서 그 몇 초가 무엇을 바꾸는지 확인할 수 있다.
2. 화자 유사도는 3초에서 10초로 갈수록 어떻게 달라지는가
화자 유사도(SIM 또는 SECS)는 화자 인식 네트워크가 계산한 두 화자의 ‘지문’ 사이의 코사인 유사도이며, 값이 높을수록 더 가깝다는 뜻이다. 같은 사람의 실제 녹음 두 개도 1.0을 한참 밑도는 점수를 받기 때문에, 아래의 실제 음성 수치가 읽을 때의 기준점이 된다. 프롬프트를 3초에서 10초로 늘리자 VCTK 데이터셋에서 VALL-E 2의 유사도가 0.447에서 0.558로 올랐으며, 0.111의 증가(0.558에서 0.447을 뺀 값)로, 이 질문에 대해 공개된 가장 뚜렷한 곡선이다(VALL-E 2 논문, 2024년).
곡선이 꺾이는 지점은 시스템마다 다르다. Meta의 Voicebox 팀은 유사도가 ‘더 긴 음성 프롬프트에서 빠르게 증가하다가 평탄해진다’고 보고했고(Voicebox 논문), XTTS-v2에 관한 2025년 논문은 정체 구간을 10~20초 전후로 보았다(Zhu, 흐로닝언 대학교). 이 세 논문을 종합하면 처음 10초가 대부분의 역할을 하지만, VALL-E 2는 10초에서도 여전히 개선되고 있었다.
| 지표 | 값 | 출처 |
|---|---|---|
| 3초, 5초, 10초 프롬프트에서 VCTK(화자 108명)의 VALL-E 유사도 | 0.382, 0.423, 0.484 (실제 녹음: 0.546, 0.591, 0.620) | Microsoft Research, VALL-E 논문 2023년 |
| 3초, 5초, 10초 프롬프트에서 VCTK의 VALL-E 2(그룹 크기 1) 유사도 | 단일 샘플: 0.447, 0.487, 0.558; 5개 샘플 중 최고: 0.508, 0.552, 0.620 (실제 녹음: 0.623, 0.679, 0.709) | Microsoft Research, VALL-E 2 논문 2024년 |
| Voicebox가 VALL-E의 화자 유사도에 맞먹기 위해 필요한 입력 음성의 비율 | 약 3분의 2 | Meta, Voicebox 논문 (NeurIPS 2023) |
| 실환경 음성에서 긴(평균 7.7초) 프롬프트 대 짧은(평균 5.5초) 프롬프트의 F5-TTS 유사도 | 0.35 대 0.24 | 바르셀로나 슈퍼컴퓨팅 센터, WildSpoof TTS 제출물 2026년 |
| 긴(평균 7.7초) 프롬프트 대 짧은(평균 5.5초) 프롬프트의 StyleTTS2 유사도 | 0.19 대 0.14 | 바르셀로나 슈퍼컴퓨팅 센터, WildSpoof TTS 제출물 2026년 |
| XTTS-v2가 고충실도 복제에 도달한 참조 음성 길이 (1, 3, 6, 10, 20, 40초 테스트) | 6~10초, 20초를 넘으면 효과 체감 | Zhu, 흐로닝언 대학교 석사 논문 2025년 |
이상치에 관한 참고: 바르셀로나 슈퍼컴퓨팅 센터 제출물은 여기서 유일한 2026년 결과이며 TTS In the Wild 데이터셋을 사용한다. 평균 2.2초 짧은 프롬프트(7.7에서 5.5를 뺀 값)로 F5-TTS는 유사도 0.11을 잃었다(0.35에서 0.24를 뺀 값). 이는 VALL-E 2가 VCTK에서 7초 차이에 걸쳐 보인 손실과 같은 크기로, 일상적인 음성에서는 짧은 프롬프트가 더 큰 타격을 줄 수 있음을 시사하지만, 두 테스트를 직접 비교할 수는 없다.
3. 프롬프트가 길다고 명료도가 항상 좋아지지는 않는다
단어 오류율(WER)은 명료도를 측정한다. 음성 인식기가 복제된 음성을 받아 적고 틀린 단어의 비율을 세므로 낮을수록 좋다. VALL-E 2의 VCTK WER은 3초 프롬프트의 0.9%에서 10초 프롬프트의 3.3%로 올랐으며, 이는 유사도 향상과 반대 방향이다. 사람 평가자도 같은 결과를 보였다. 같은 테스트에서 프롬프트가 길어질수록 유사도 평가는 떨어졌고, 실제 녹음의 평가는 올랐다.
프롬프트 음성이 많을수록 도움이 된다는 보장은 없다. 여러 문장으로 된 프롬프트를 염두에 두고 설계된 Mega-TTS 2는 300초까지 계속 개선되었지만, 같은 논문에서 측정된 VALL-E 실행은 20초에서 무너졌다(Mega-TTS 2 논문). 아주 짧은 프롬프트에도 고유한 명료도 위험이 있다. 프롬프트를 줄였을 때 나빠진 시스템은 StyleTTS2였다.
| 지표 | 값 | 출처 |
|---|---|---|
| 3초, 5초, 10초 프롬프트에서 VCTK의 VALL-E 2(그룹 크기 1): 단어 오류율과 사람의 유사도 평가(SMOS, 높을수록 좋음) | WER 0.9%, 1.9%, 3.3%; SMOS 4.42±0.15, 4.28±0.16, 3.95±0.10 (실제 녹음 4.47±0.13, 4.53±0.14, 4.74±0.17) | Microsoft Research, VALL-E 2 논문 2024년 |
| 3초, 10초, 20초 프롬프트에서 LibriSpeech의 VALL-E (Mega-TTS 2 저자들의 측정) | WER 5.83%, 5.54%, 8.77%; 유사도 0.885, 0.893, 0.805 | Jiang 외, Mega-TTS 2 (ICLR 2024) |
| 3초, 10초, 60초, 300초 프롬프트에서 Mega-TTS 2의 단어 오류율 | 2.46%, 2.28%, 2.24%, 2.23% | Jiang 외, Mega-TTS 2 (ICLR 2024) |
| 긴(7.7초) 프롬프트 대 짧은(5.5초) 프롬프트의 StyleTTS2 단어 오류율 | 0.21 대 0.49 (F5-TTS는 0.07로 변화 없음) | 바르셀로나 슈퍼컴퓨팅 센터, WildSpoof TTS 제출물 2026년 |
| 프롬프트 언어와 목표 언어가 다를 때 프롬프트가 길어짐에 따른 Voicebox의 추세 | 유사도는 향상; 대부분의 언어 조합에서 WER은 상승 | Meta, Voicebox 논문 (NeurIPS 2023) |
맥락: VALL-E 2의 추세가 완전히 매끄러운 것은 아니다. 그룹 크기 2 설정에서는 같은 세 길이에서 WER이 1.5%, 0.9%, 2.3%로 기록되었다. Voicebox의 저자들은 언어 간 WER이 오르는 이유를 영어가 학습 데이터의 90% 이상을 차지하기 때문이라고 설명한다.
4. 짧은 프롬프트의 복제 음성은 실제 화자에 얼마나 가까운가
벤치마크 음성에서는 공개된 최고 시스템들이 이제 실제 녹음 바로 옆에 서 있다. NaturalSpeech 3는 정답 녹음의 0.68에 대해 화자 유사도 0.67을 기록했으며, 사람의 유사도 평가(4.01)는 같은 LibriSpeech 테스트에서 실제 녹음의 3.85보다 높았다(Microsoft Research, NaturalSpeech 3 논문, 2024년). 이는 아래 첫 번째 행에서 YourTTS가 기록한 0.337과는 큰 차이가 있다.
실제 음성의 점수는 이것이 실험실 조건임을 드러내는 단서다. 논문마다 0.68에서 0.8952까지 다양하므로, 표에서처럼 각 시스템을 자신의 정답 데이터와 비교해 읽어야 한다. F5-TTS 논문은 자체 테스트에서 실제 음성과 0.03 이내에 있다(0.69에서 0.66을 뺀 값).
| 지표 | 값 | 출처 |
|---|---|---|
| LibriSpeech, 3초 프롬프트: YourTTS 대 VALL-E 대 Voicebox | 유사도 0.337 대 0.580 대 0.681 (실제 음성 0.754); WER 7.7% 대 5.9% 대 1.9% (실제 음성 2.2%) | Meta, Voicebox 논문 (NeurIPS 2023) |
| LibriSpeech에서 NaturalSpeech 3 대 실제 녹음: 유사도와 WER | 0.67과 1.81% 대 0.68과 1.94% | Microsoft Research, NaturalSpeech 3 논문 2024년 |
| 영어에서 Seed-TTS의 유사도 대 사람 녹음, 그리고 사람 대비 비교 평가(CMOS) | 0.762 대 0.730; CMOS -0.07 | ByteDance, Seed-TTS 논문 2024년 |
| 4~10초 길이의 LibriSpeech-PC 샘플 1,127개에서 F5-TTS 대 실제 음성: 유사도와 WER | 0.66과 2.42% 대 0.69와 2.23% | Chen 외, F5-TTS 논문 2024년 |
| 영어에서 MiniMax-Speech의 유사도: 화자 임베딩만 사용 대 짝지어진 텍스트가 있는 프롬프트 | 0.692 대 0.738 (정답 0.730) | Zhang 외, MiniMax-Speech 논문 2025년 |
| 영어에서 XTTS의 유사도 대 실제 음성 | 0.6423 대 0.8952 | Casanova 외, XTTS 논문 (INTERSPEECH 2024) |
이상치에 관한 참고: Seed-TTS와 짝지어진 텍스트를 쓰는 MiniMax-Speech 설정은 실제 녹음보다 높은 점수를 기록한다. Seed-TTS의 저자들은 한 화자의 정답 녹음과 참조 클립이라도 말하는 방식과 배경 환경이 다를 수 있으므로, 참조를 면밀히 따르는 모델이 두 번째 실제 녹음보다 높은 점수를 받을 수 있다고 설명한다. 이는 사람보다 나은 복제의 증거가 아니다.
5. 제로샷 대 파인튜닝 복제: 초와 분으로 측정한 격차
파인튜닝은 대상 화자의 음성으로 모델의 가중치를 갱신하는 것으로, 맞춤 음성을 얻는 더 오래되고 느린 방법이다. 대상 음성 300초를 쓰면 제로샷 프롬프트의 유사도는 0.932에 달해, 파인튜닝한 기준 모델의 0.934와 거의 같았고 단어 오류는 더 적었다(2.23% 대 3.11%)(Jiang 외, Mega-TTS 2, ICLR 2024). 단서가 중요하다. 두 시스템 모두 저자들 자신의 것이며, 기준 모델은 2,000단계 동안 파인튜닝한 FastSpeech 2 구성으로, 이용 가능한 가장 강력한 파인튜닝 시스템이 아니다.
음성이 학습 데이터에서 멀 때는 파인튜닝이 여전히 그만한 비용을 한다. YourTTS는 포르투갈어 화자 한 명으로 학습되었고, 20~31초로 파인튜닝하자 새로운 포르투갈어 음성에 대한 청취자의 유사도 평가는 올랐지만 전반적인 품질 평가는 다소 내려갔다(YourTTS 논문). XTTS는 언어 간 복제에서 화자당 약 10분으로 유사도 0.1314(0.7166에서 0.5852를 뺀 값)를 얻었다.
| 지표 | 값 | 출처 |
|---|---|---|
| 대상 음성 10초, 60초, 300초에서 파인튜닝한 기준 모델의 유사도 | 0.895, 0.923, 0.934 | Jiang 외, Mega-TTS 2 (ICLR 2024) |
| 3초, 10초, 60초, 300초 프롬프트에서 제로샷 Mega-TTS 2의 유사도 | 0.898, 0.905, 0.926, 0.932 | Jiang 외, Mega-TTS 2 (ICLR 2024) |
| YourTTS, 음성 20초의 포르투갈어 여성 화자, 제로샷 대 파인튜닝 | 유사도 0.743 대 0.930; Sim-MOS 2.77±0.15 대 4.43±0.06; MOS 3.59±0.13 대 3.48±0.13 | Casanova 외, YourTTS (ICML 2022) |
| YourTTS, 음성 61초의 영어 남성 화자, 제로샷 대 파인튜닝 | 유사도 0.851 대 0.880 (실제 음성 0.875) | Casanova 외, YourTTS (ICML 2022) |
| 화자당 약 10분으로 파인튜닝하기 전과 후의 XTTS 언어 간 유사도 | 0.5852 대 0.7166 | Casanova 외, XTTS 논문 (INTERSPEECH 2024) |
| 20초 프롬프트의 Seed-TTS 대 화자당 1~10시간으로 파인튜닝한 것: 유사도와 WER | 0.779와 3.15 대 0.789와 2.83 (파인튜닝 쪽 CMOS +0.37) | ByteDance, Seed-TTS 논문 2024년 |
| ElevenLabs Professional Voice Cloning(파인튜닝 방식 요금제)에 권장되는 음성량 | 30~180분 (업체 자체 가이드라인) | ElevenLabs, 음성 복제 문서 2026년 |
YourTTS 파인튜닝 테스트에서 이용 가능한 가장 최근 데이터: Casanova 외, ICML 2022. 화자가 4명뿐이므로 모집단 추정치가 아니라 언어 효과를 보여 주는 사례로 받아들여야 한다.
6. 보안 측면: 짧은 프롬프트와 사기
연구 수치는 소비자에게 곧바로 와닿는 의미를 가진다. 공개된 영상이 곧 프롬프트 재료다. 청취자는 AI 음성을 실제 대응 화자와 같은 사람이라고 약 80%의 비율로 판단했고, AI 음성을 AI로 식별한 비율은 약 60%에 그쳤다. 이는 실제 클립의 평균 길이가 5.37초였던 연구의 참가자 604명을 대상으로 한 결과다(Barrington, Cooper, Farid, Scientific Reports 2025년). 복제 음성은 화자 220명 각각의 처음 녹음된 프롬프트 두 개를 상용 인스턴트 복제 서비스에 입력해 만들어졌다.
사기 경고에 나오는 ‘3초’라는 문구는 기업의 발표에 근거한다. McAfee의 수치는 자체 벤치마크이며, 이 출처에 대해서는 이용 가능한 가장 최근 데이터다(McAfee, 2023년). Starling Bank는 2024년에 조사와 함께 이 주장을 반복했다(Starling Bank, Safe Phrases 캠페인, 2024년). 사기 자체는 음성 복제 가족 사기 글에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| 청취자가 AI 음성을 실제 화자와 같은 사람이라고 판단한 시행 비율 | 약 80% | Barrington, Cooper, Farid, Scientific Reports 2025년 |
| 청취자가 음성이 AI 생성임을 올바르게 식별한 시행 비율 | 약 60% | Barrington, Cooper, Farid, Scientific Reports 2025년 |
| McAfee 연구진이 무료 도구로 추정 85%의 음성 일치를 얻는 데 필요했던 음성 | 3~4초 (더 노력하면 약 95%; 업체 자체 벤치마크) | McAfee, Beware the Artificial Impostor 2023년 |
| 최소 주 1회 온라인에서 자신의 음성을 공유하는 성인 | 53% (성인 7,054명, 7개국) | McAfee, Beware the Artificial Impostor 2023년 |
| 실제 음성과 복제된 음성을 구별할 자신이 없는 성인 | 70% | McAfee, Beware the Artificial Impostor 2023년 |
| 지난 1년간 AI 음성 복제 사기의 표적이 되었다고 답한 영국 성인 | 28% (성인 3,010명) | Starling Bank와 Mortar Research 조사 2024년 |
| 전화가 이상하게 느껴져도 요청받은 돈을 보내겠다고 답한 영국 성인 | 8% | Starling Bank와 Mortar Research 조사 2024년 |
| 평가 대상 음성 복제 제품 중 무단 복제를 막기 위한 기본 조치를 취하지 않은 제품 | 6개 중 4개 | Consumer Reports, 음성 복제 평가 2025년 |
맥락: Starling의 28%는 사람들이 자신에게 일어났다고 말하는 내용을 측정한 것이지 확인된 사건이 아니다. McAfee의 85%와 95%는 회사 자체의 추정치이며, 독립적인 재현은 찾지 못했다. Consumer Reports 평가는 Descript, ElevenLabs, Lovo, PlayHT, Resemble AI, Speechify를 대상으로 했다.
7. 안전장치, 탐지, 공개 결정
공개 결정은 업계를 둘로 가른다. Microsoft는 ‘VALL-E 2를 제품에 통합하거나 일반에 접근을 확대할 계획이 없다’고 밝혔고(VALL-E 2 프로젝트 페이지), OpenAI는 Voice Engine을 ‘미리보기로만 제공하고 널리 공개하지 않기로’ 하면서 은행에 음성 기반 인증을 단계적으로 폐지할 것을 촉구했다. 한편 F5-TTS의 저자들은 스스로 언급한 오남용 위험에 대해 워터마크와 탐지 모델을 요구한다. FTC는 이 문제를 공모전에 자금을 댈 만큼 해결되지 않은 것으로 보았다(FTC, Voice Cloning Challenge 수상자, 2024년).
탐지 결과는 가짜를 무엇과 비교하느냐에 크게 좌우된다. Meta의 분류기는 Voicebox 출력을 원본 음성과 완벽하게 구분했지만, 가장 낮은 마스킹 수준에서 보코더(스펙트럼으로부터 음성을 재구성하는 소프트웨어)를 거친 실제 음성에 대해서는 0.704를 기록했다. 탐지기 성능을 더 깊이 살펴보려면 오디오 딥페이크 탐지 정확도 통계를 참고하세요.
| 지표 | 값 | 출처 |
|---|---|---|
| FTC Voice Cloning Challenge 수상자 3팀이 나눠 가진 상금 | 35,000달러 (2024년 4월 8일 발표) | 미국 연방거래위원회, Voice Cloning Challenge 2024년 |
| FTC가 인정한 Pindrop 실시간 복제 탐지기가 검사하는 음성 청크 크기 | 2초 청크 | 미국 연방거래위원회, Voice Cloning Challenge 2024년 |
| Voicebox 탐지 분류기의 정확도: 원본 음성 대비, 그리고 음성의 30%, 50%, 90%를 마스킹하고 보코더를 거친 실제 음성 대비 | 원본 대비 1.000; 보코더 통과 음성 대비 0.704, 0.809, 0.907 | Meta, Voicebox 논문 (NeurIPS 2023) |
| OpenAI가 Voice Engine을 처음 개발한 시기와 제한적 미리보기를 공개한 시기 | 2022년 말 대 2024년 3월 29일 | OpenAI, 합성 음성 관련 게시글 2024년 |
| ASVspoof 5 챌린지의 참가 팀 수와 Track 1 개방 조건에서 가장 어려운 공격 | 53개 팀; 사전 학습된 제로샷 YourTTS (minDCF 0.33) | Wang 외, ASVspoof 5 평가 논문 2026년 |
맥락: minDCF는 탐지 비용 점수로, 값이 높을수록 탐지기가 더 고전했다는 뜻이다. 사전 학습된 YourTTS 모델이 ASVspoof 5의 개방 조건 난이도 목록 맨 위에 오른 것은 제로샷 공격이 문제를 일으키는 데 최첨단 시스템이 필요하지 않음을 시사하지만, 이 논문은 해당 결과를 프롬프트 길이별로 나누지 않는다.
숫자로 보는 제로샷 음성 복제 참조 음성 길이
| 지표 | 값 | 출처 |
|---|---|---|
| OpenAI Voice Engine이 작동의 바탕으로 삼는 음성 샘플 | 15초 | OpenAI, 합성 음성 관련 게시글 2024년 |
| VCTK에서 VALL-E 2, 3초 대 10초 프롬프트(그룹 크기 1): 유사도와 WER | 0.447 대 0.558; 0.9% 대 3.3% | Microsoft Research, VALL-E 2 논문 2024년 |
| Voicebox가 VALL-E의 유사도에 맞먹기 위해 필요한 입력 음성의 비율 | 약 3분의 2 | Meta, Voicebox 논문 (NeurIPS 2023) |
| F5-TTS 유사도, 실환경 음성에서 긴(7.7초) 대 짧은(5.5초) 프롬프트 | 0.35 대 0.24 | 바르셀로나 슈퍼컴퓨팅 센터, WildSpoof TTS 제출물 2026년 |
| StyleTTS2 단어 오류율, 긴(7.7초) 대 짧은(5.5초) 프롬프트 | 0.21 대 0.49 | 바르셀로나 슈퍼컴퓨팅 센터, WildSpoof TTS 제출물 2026년 |
| 고충실도 XTTS-v2 복제에 필요한 참조 음성 길이 | 6~10초 | Zhu, 흐로닝언 대학교 논문 2025년 |
| NaturalSpeech 3 유사도 대 실제 녹음 | 0.67 대 0.68 | Microsoft Research, NaturalSpeech 3 논문 2024년 |
| F5-TTS 단어 오류율 대 실제 음성 | 2.42% 대 2.23% | Chen 외, F5-TTS 논문 2024년 |
| 음성 300초에서 제로샷 Mega-TTS 2 대 파인튜닝한 기준 모델의 유사도 | 0.932 대 0.934 | Jiang 외, Mega-TTS 2 (ICLR 2024) |
| YourTTS 청취자 유사도 평가, 20초에서 제로샷 대 파인튜닝 | 2.77 대 4.43 | Casanova 외, YourTTS (ICML 2022) |
| 약 10분 파인튜닝 후 XTTS의 언어 간 유사도 | 0.5852에서 0.7166 | Casanova 외, XTTS 논문 (INTERSPEECH 2024) |
| AI 복제 음성을 실제 화자라고 판단한 청취자 | 약 80% | Barrington, Cooper, Farid, Scientific Reports 2025년 |
| 추정 85% 일치에 필요한 음성 (업체 벤치마크) | 3~4초 | McAfee, Beware the Artificial Impostor 2023년 |
| 음성 복제 사기의 표적이 되었다고 답한 영국 성인 | 28% | Starling Bank와 Mortar Research 조사 2024년 |
| 무단 복제에 대한 기본 조치를 취하지 않은 음성 복제 제품 | 6개 중 4개 | Consumer Reports, 음성 복제 평가 2025년 |
| FTC Voice Cloning Challenge 수상자 상금 | 35,000달러 | 미국 연방거래위원회, Voice Cloning Challenge 2024년 |
방법론과 출처
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E) (Microsoft Research, 2023년): 3초 프롬프트 설정과 프롬프트 길이별 VCTK 결과.
- VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers (Microsoft Research, 2024년): 3초, 5초, 10초에서 VCTK의 유사도, WER, SMOS.
- VALL-E 2 project page (Microsoft Research): 공개 관련 성명.
- NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models (Microsoft Research 및 대학 공저자, 2024년): LibriSpeech 비교.
- Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale (Meta, NeurIPS 2023): 프롬프트 길이 분석, 영어 벤치마크, 탐지 분류기.
- YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone (Casanova 외, ICML 2022): 제로샷 대 파인튜닝 화자 적응.
- XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model (Casanova 외, INTERSPEECH 2024): 참조 음성 길이, 영어 유사도, 파인튜닝 향상폭.
- Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis (Jiang 외, ByteDance 및 저장대학교, ICLR 2024): 3~300초 프롬프트 대 파인튜닝한 기준 모델.
- Seed-TTS: A Family of High-Quality Versatile Speech Generation Models (ByteDance, 2024년): 제로샷 대 화자별 파인튜닝.
- F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching (Chen 외, 2024년): LibriSpeech-PC 벤치마크.
- MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder (Zhang 외, 2025년): 화자 임베딩 대 짝지어진 텍스트 방식의 복제.
- Zero-Shot TTS With Enhanced Audio Prompts: BSC submission for the 2026 WildSpoof challenge TTS track (바르셀로나 슈퍼컴퓨팅 센터, 2026년 2월 5일): 긴 프롬프트 대 짧은 프롬프트.
- Zero-Shot Voice Cloning with Minimal Data: Impact of Reference Duration on Long-Form Speech Synthesis (Zhu, 흐로닝언 대학교, 2025년): 1~40초 참조 음성 테스트.
- People are poorly equipped to detect AI-powered voice clones (Barrington, Cooper, Farid, Scientific Reports, 2025년).
- ASVspoof 5: Evaluation of Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech (Wang 외, 2026년 1월 7일).
- FTC Announces Winners of Voice Cloning Challenge (미국 연방거래위원회, 2024년 4월 8일).
- Do These 6 AI Voice Cloning Companies Do Enough to Prevent Misuse? (Consumer Reports, 2025년 3월 10일).
- Beware the Artificial Impostor (McAfee, 2023년 5월; 업체 조사).
- Starling Bank Safe Phrases campaign (Starling Bank와 Mortar Research, 2024년 9월 18일).
- OpenAI post on the challenges and opportunities of synthetic voices (OpenAI, 2024년 3월 29일).
- ElevenLabs Instant Voice Cloning documentation (업체 가이드라인, 2026년 10월 확인).
- 데이터 참고 사항: 유사도 점수는 논문 간에 비교할 수 없다. 각 논문이 자체 화자 인식 모델, 테스트 세트, 채점 방식을 사용하기 때문이다(LibriSpeech의 실제 음성은 논문에 따라 0.754, 0.68 또는 0.69를 기록한다). 따라서 같은 행 안에서만 비교해야 한다. Mega-TTS 2 논문은 다른 논문보다 훨씬 높은 유사도 값을 보고하며, VALL-E는 원 논문의 0.580에 비해 여기서는 0.885이므로, 그 수치는 서로 간에만 비교해 읽어야 한다. Mega-TTS 2 파인튜닝 비교의 양쪽은 모두 그 저자들이 구축한 것이다. Voicebox 본문은 유사도가 더 긴 프롬프트에서 증가하다가 평탄해진다고 하지만, 그림 설명은 10초까지 그대로 유지된다고 한다. MiniMax-Speech는 짝지어진 텍스트 프롬프트 방식을 ‘원샷’이라 부르며 Seed-TTS도 그렇게 분류하지만, Seed-TTS는 스스로를 제로샷이라고 부른다. WildSpoof 모델은 테스트 전에 TITW 데이터셋으로 파인튜닝되었으므로, 그 결과는 순수한 제로샷 기준선이 아니다. VALL-E 2의 10초 청취자 점수는 넓은 구간(최대 ±0.49)을 가진다. Scientific Reports 논문은 각 복제의 바탕이 된 두 프롬프트의 길이를 밝히지 않으므로, 그 80%를 특정 프롬프트 길이에 대한 수치로 읽어서는 안 된다. Zhu의 논문 초록은 유사도 값을 제시하지 않고 길이와 효과의 방향만 제시한다. VALL-E, Voicebox, YourTTS, McAfee는 3년이 넘은 자료이며 이용 가능한 가장 최근 데이터로 표시했다. 3초, 5초, 10초 곡선 전체를 공통 벤치마크에서 반복한 2025년 또는 2026년 논문은 찾지 못했다. Starling Bank와 McAfee의 조사는 자기 보고 방식이다.
마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 ICASSP 2027 논문집이 공개될 때 이루어질 것으로 예상한다.