NVIDIA V100 GPU 한 대에서 HiFi-GAN V3 보코더는 실시간보다 1,186.80배 빠르게 오디오를 생성했지만, 자기회귀 방식의 WaveNet은 같은 카드에서 실시간의 0.003배에 그쳤다 (Kong 외, HiFi-GAN 2020). 다섯 자릿수가 넘는 이 격차가 음성 합성이 데이터 센터의 사치품에서 휴대폰으로도 할 수 있는 일로 바뀐 이유다. 이후 병목은 이동했다. 대규모 제로샷 모델인 원조 F5-TTS 논문은 음성 1초당 GPU 시간 0.15초를 보고했고 (Chen 외, F5-TTS 2024), A100 한 대에서 진행한 스트리밍 테스트는 시스템에 따라 첫 오디오까지의 시간을 102 ms에서 1,643 ms까지 폭넓게 측정했다 (KTH, VoXtream 2025). 가격 측면에서는 주요 클라우드의 정가가 100만 자당 $4에서 $160까지 이어져, 같은 분량의 텍스트에 40배의 차이가 난다. 우리는 KTH, Kyutai, Apple의 동료 심사 논문과 arXiv 논문, NVIDIA의 Riva 성능 문서, Google Cloud, Amazon Web Services, Microsoft Azure, OpenAI의 공식 요금 페이지에서 데이터를 취합했으며, 품질 점수는 합성 음성 MOS 통계에서 따로 다룬다.
이 글 전반에 쓰이는 단위에 관한 참고 사항: 실시간 계수(RTF)는 보통 연산 시간을 오디오 길이로 나눈 값을 뜻하므로, RTF 0.1은 음성 1초를 생성하는 데 0.1초가 걸린다는 의미이고 값이 작을수록 좋다. 몇몇 출처는 비율을 뒤집어 연산 1초당 만들어지는 오디오의 초 수를 보고하며 (NVIDIA는 이를 RTFX라고 부르고, 일부 논문은 “실시간보다 몇 배 빠르다”로 표기한다), 이쪽은 값이 클수록 좋다. 표에서 RTF는 행에 “실시간의 몇 배”, “RTFX” 또는 “클수록 빠름”이라고 적혀 있지 않은 한 값이 작을수록 빠르다는 규약을 뜻한다.
요약
- FastSpeech 2는 RTF를 Transformer TTS의 0.932에서 0.0195로 낮춰 47.8배 속도 향상을 달성했다 (Ren 외, FastSpeech 2 2020).
- 2 샘플링 단계의 Matcha-TTS는 보코더를 포함해 RTF 0.015를 기록했다 (Mehta 외, Matcha-TTS 2023).
- F5-TTS는 16단계에서 RTF 0.15를 보고했고, 비교표의 CosyVoice는 0.92였다 (Chen 외, F5-TTS 2024).
- VoXtream은 A100에서 첫 패킷 지연 시간 102 ms에 도달했지만, 같은 테스트에서 전체 스트림 모드의 CosyVoice2는 1,643 ms가 걸렸다 (KTH, VoXtream 2025).
- Kyutai의 DSM-TTS 지연 시간은 배치 크기 1의 150 ms에서 배치 크기 64의 403 ms로 올랐고, 처리량은 실시간의 137.3배에 달했다 (Kyutai, DSM-TTS 2025).
- NVIDIA Riva의 FastPitch와 HiFi-GAN 파이프라인은 첫 오디오까지의 지연 시간이 1 스트림의 22 ms에서 32 스트림의 323 ms로 늘었다 (NVIDIA Riva 2.16.0 문서, 벤더 측정).
- Apple의 온디바이스 시스템은 두 대의 모바일 기기에서 실시간보다 1.47배에서 3.03배 빠르게 동작했다 (Apple, 온디바이스 신경망 음성 합성 2021).
- NICT의 Mobile PresenTra는 중급형 Google Pixel 5에서 배치 RTF 약 0.3에 도달했다 (Okamoto 외, Mobile PresenTra, Interspeech 2024).
- SupertonicTTS를 8에서 4 샘플링 단계로 줄이자 단어 오류율이 2.818%에서 11.43%로 올랐다 (Supertone, SupertonicTTS 2025).
- Fast F5-TTS는 32단계 기준선보다 약 4배 빠르게 동작했고 단어 오류율은 2.37%에서 2.45%로만 변했다 (Zheng 외, Interspeech 2025).
- Google Cloud는 100만 자당 Standard 음성을 $4, Studio 음성을 $160으로 제시한다 (Google Cloud Text-to-Speech 요금 2026).
- Amazon은 100만 자를 약 23시간 8분의 음성에 해당한다고 보며, 이에 따르면 Polly Generative는 오디오 1시간당 약 $1.30이다 (AWS Amazon Polly 요금 2026).
1. GPU에서의 모델 계열별 실시간 계수
첫 번째 큰 속도 도약은 텍스트를 멜 스펙트로그램(음성의 시간-주파수 그림)으로 바꾸는 부분인 음향 모델에서 자기회귀를 버리면서 나왔다. FastSpeech 2는 같은 V100 서버에서 RTF 0.0195를 기록해 Transformer TTS의 0.932 대비 47.8배의 추론 속도 향상을 보였다 (Ren 외, FastSpeech 2). 모델이 모든 프레임을 병렬로 예측하게 되면 더 이상 자신의 이전 출력을 프레임 단위로 기다릴 필요가 없다.
더 새로운 계열은 이 이득을 되돌리지 않았지만 분산시켰다. Grad-TTS와 Matcha-TTS 같은 확산 및 플로 매칭 모델은 더 나은 품질을 위해 신경망을 몇 번 더 통과하는 비용을 치르며, RTX 3090 GPU에서의 Matcha-TTS 벤치마크에서는 테스트된 모든 시스템이 보코딩을 포함해 RTF 0.08 미만에 머물렀다 (Mehta 외, Matcha-TTS). 여기서 흥미로운 숫자는 평균이 아니라 편차다. VITS는 표준편차 0.083에 0.074를 기록했는데, 이는 평균 자체보다 커서 문장마다 속도가 매우 고르지 않다는 신호다.
| 지표 | 값 | 출처 |
|---|---|---|
| Transformer TTS의 RTF, V100 GPU, 배치 크기 1 (작을수록 빠름) | 0.932 | Ren 외, FastSpeech 2 2020 |
| FastSpeech 2의 RTF와 Transformer TTS 대비 속도 향상, 같은 조건 | 0.0195 (47.8배) | Ren 외, FastSpeech 2 2020 |
| FastSpeech 2s(텍스트에서 곧바로 파형으로)의 RTF와 속도 향상 | 0.0180 (51.8배) | Ren 외, FastSpeech 2 2020 |
| Matcha-TTS 테스트에서의 FastSpeech 2 RTF, 보코더 포함, RTX 3090 | 0.010 (표준편차 0.004) | Mehta 외, Matcha-TTS 2023 |
| Matcha-TTS RTF, 2 샘플링 단계와 10 샘플링 단계 비교 | 0.015 대 0.038 | Mehta 외, Matcha-TTS 2023 |
| Grad-TTS RTF, 10 샘플링 단계 | 0.049 | Mehta 외, Matcha-TTS 2023 |
| Matcha-TTS 테스트에서의 VITS RTF (평균과 표준편차) | 0.074 (0.083) | Mehta 외, Matcha-TTS 2023 |
| StyleTTS 2 테스트에서의 StyleTTS 2 RTF와 VITS RTF | 0.0185 대 0.0599 | Li 외, StyleTTS 2 2023 |
확인 가능한 최신 데이터: FastSpeech 2(2020년), StyleTTS 2(2023년), Matcha-TTS(2023년)이며, 모두 3년이 넘었다. 서로 다른 논문의 RTF 값은 GPU, 배치 크기, 보코더 포함 여부가 모두 다르기 때문에 직접 비교할 수 없다. Matcha-TTS 저자들은 2단계 모델이 더 긴 발화에서는 FastSpeech 2와 경쟁할 만해진다고도 보고한다.
2. 보코더: 연산이 쓰이는 곳
보코더는 멜 스펙트로그램을 들을 수 있는 파형으로 바꾸며, 수년간 파이프라인에서 비용이 큰 절반이었다. WaveNet은 V100 GPU에서 0.07 kHz의 오디오를 생성했는데 이는 실시간의 0.003배이며, HiFi-GAN V1은 3,701 kHz, 즉 실시간의 167.86배를 생성했다 (Kong 외, HiFi-GAN). 요점은 GAN 보코더가 빠르다는 것만이 아니다. 보코더가 음성 합성 제품에 애초에 GPU가 필요한 이유가 아니게 되었다는 것이다.
같은 패턴이 이제 스트리밍 시스템 안에서 반복된다. Apple의 SpeakStream 논문은 음향 모델이 약 28 ms를 쓰는 동안 Parallel WaveGAN(PWG) 보코더가 152 ms를 더했고, 스트리밍 보코더로 바꾸자 그 단계가 13 ms로 줄었음을 보여준다 (Apple, SpeakStream). 다시 말해, 보코더 선택 하나가 첫 오디오가 약 40 ms에 도착하느냐 약 180 ms에 도착하느냐를 결정했다.
| 지표 | 값 | 출처 |
|---|---|---|
| V100 GPU에서의 WaveNet (MoL), WaveGlow, MelGAN 속도, 실시간의 몇 배인지 (클수록 빠름) | 0.003배 대 22.75배 대 645.73배 | Kong 외, HiFi-GAN 2020 |
| V100 GPU에서의 HiFi-GAN V1과 HiFi-GAN V3 속도, 실시간의 몇 배인지 | 167.86배 대 1,186.80배 | Kong 외, HiFi-GAN 2020 |
| BigVGAN 보코더 RTF와 SupertonicTTS 음성 오토인코더 RTF, RTX 4090 (작을수록 빠름) | 0.0124 대 0.0006 | Supertone, SupertonicTTS 2025 |
| M4 Pro Mac mini에서의 SpeakStream, PWG와 스트리밍 보코더 VocStream 비교: 보코더 시간과 첫 오디오까지의 총 시간 | 152 ms 대 13 ms, 180 ms 대 40 ms | Apple, SpeakStream 2025 |
확인 가능한 최신 데이터: Kong 외, HiFi-GAN 2020은 추가 최적화 없이 32비트 부동소수점으로 측정되었다. Matcha-TTS 테스트에서는 보코더 단독으로 RTF 0.001로 동작했으므로, 그 조건에서는 전체 합성 시간의 작은 일부였다 (Matcha-TTS).
3. 대형 제로샷 모델: 대규모 음성 복제의 속도 비용
짧은 프롬프트만으로 재학습 없이 새로운 목소리를 흉내 내는 제로샷 모델은 속도를 다시 논의의 대상으로 올려놓았다. F5-TTS 비교표는 CosyVoice의 RTF를 0.92, FireRedTTS를 0.84로 제시하는데, 이는 음성 1초가 연산에 거의 1초를 썼다는 뜻이다 (Chen 외, F5-TTS). F5-TTS 자체는 RTX 3090에서 16 샘플링 단계로 0.15, 즉 실시간보다 약 6.7배 빠르다고 보고했다 (1을 0.15로 나눈 값). 배치 오디오북 작업에는 충분히 빠르지만, 카드 한 장으로 많은 실시간 사용자를 서비스하기에는 빠듯하다.
더 작은 모델들이 격차를 좁히고 있다. 44M 파라미터의 SupertonicTTS는 RTX 4090에서 0.02, RTX 3090에서 0.05를 보고했으며, RTX 3090에서 32단계의 F5-TTS는 0.31이었다 (Supertone, SupertonicTTS). AI 음성 생성기를 평가하는 팀에게 파라미터 수만으로는 서빙 비용을 가늠하기 어렵다. 아래 표는 740M 파라미터의 DiTTo-TTS가 330M 파라미터의 Voicebox보다 빠르다고 보여주지만, 이 두 수치가 같은 하드웨어에서 나온 것이 아닐 수 있다.
| 지표 | 값 | 출처 |
|---|---|---|
| F5-TTS RTF, 16과 32 샘플링 단계, RTX 3090, 10초 분량 음성 (작을수록 빠름) | 0.15 대 0.31 | Chen 외, F5-TTS 2024 |
| CosyVoice (약 300M 파라미터)와 FireRedTTS (약 580M)의 RTF | 0.92 대 0.84 | Chen 외, F5-TTS 2024 |
| Voicebox (330M)와 VALL-E 2의 RTF | 0.64 대 0.732 | Chen 외, F5-TTS 2024 |
| DiTTo-TTS (740M)와 NaturalSpeech 3 (500M)의 RTF | 0.162 대 0.296 | Chen 외, F5-TTS 2024 |
| SupertonicTTS (44M) RTF, RTX 4090과 RTX 3090 비교 | 0.02 대 0.05 | Supertone, SupertonicTTS 2025 |
| 배치 크기 1에서의 실시간 배율 (클수록 빠름): DSM-TTS, Chatterbox, CSM 비교 | 3.2 대 1.8 대 1.0 | Kyutai, DSM-TTS 2025 |
| 배치 크기 1에서의 실시간 배율: Dia와 Orpheus | 각각 0.7 (실시간보다 느림) | Kyutai, DSM-TTS 2025 |
참고: F5-TTS 논문은 기준선 RTF 값이 어떻게 측정되었는지 밝히지 않으며 같은 RTX 3090이 아닐 수 있으므로, 2번째부터 4번째 행은 참고용으로 다뤄야 한다. 이후의 한 논문은 F5-TTS 자체를 RTX 3090에서 0.065와 0.123으로 측정했다 (6절 참조). Kyutai의 표는 반대 규약을 쓰며, 1.0 미만의 값은 모델이 재생 속도를 따라가지 못한다는 뜻이다.
4. 스트리밍 첫 오디오까지의 시간과 서빙 동시성
실시간 사용에서 중요한 숫자는 RTF가 아니라 청취자가 첫 소리를 기다리는 시간이다. A100에서 진행한 한 벤치마크에서 torch.compile을 적용한 VoXtream은 102 ms 후에 말하기 시작했지만, 전체 스트림 모드의 CosyVoice2는 1,643 ms가 걸렸다 (KTH, VoXtream). 전체 스트림은 텍스트가 아직 들어오는 동안 모델이 시작한다는 뜻이다. 시스템이 문구 전체를 기다린다면 RTF가 괜찮아도 첫 패킷 지연 시간은 나쁠 수 있다.
동시성은 나머지 절반이다. 한 GPU에 더 많은 사용자를 묶으면 전체 처리량은 오르지만 각 사용자의 대기 시간은 늘어난다. Kyutai의 DSM-TTS는 배치 크기 1의 150 ms에서 배치 크기 64의 403 ms로 올랐고, 처리량은 실시간의 3.2배에서 137.3배로 상승했다 (Kyutai, DSM-TTS). NVIDIA 자체의 Riva 표도 FastPitch와 HiFi-GAN 파이프라인에서 같은 곡선을 보여준다. 1에서 32 스트림으로 가면서 첫 오디오까지의 지연 시간은 약 15배, 처리량은 약 2.9배 늘었다 (NVIDIA Riva TTS performance). 이 수치들이 음성 에이전트의 전체 지연 시간 예산에 어떻게 들어맞는지는 음성 에이전트 첫 오디오까지의 시간 통계에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| torch.compile 적용 VoXtream의 첫 패킷 지연 시간과 RTF, A100, FP16 | 102 ms (RTF 0.17) | KTH, VoXtream 2025 |
| 컴파일 없는 VoXtream의 첫 패킷 지연 시간과 RTF | 171 ms (RTF 1.00) | KTH, VoXtream 2025 |
| XTTS-v2의 첫 패킷 지연 시간, 출력 스트리밍, DeepSpeed 없음과 있음 비교 | 295 ms 대 196 ms | KTH, VoXtream 2025 |
| CosyVoice2의 첫 패킷 지연 시간과 RTF, 전체 스트림 모드, 같은 A100 테스트 | 1,643 ms (RTF 0.85) | KTH, VoXtream 2025 |
| DSM-TTS 지연 시간, 배치 크기 1, 32, 64 비교 | 150 ms 대 380 ms 대 403 ms | Kyutai, DSM-TTS 2025 |
| 배치 크기 64에서의 DSM-TTS 처리량, 실시간의 몇 배인지 | 137.3배 | Kyutai, DSM-TTS 2025 |
| Riva FastPitch와 HiFi-GAN의 평균 첫 오디오까지의 지연 시간, 1 스트림과 32 스트림 비교 | 22 ms 대 323 ms | NVIDIA Riva 2.16.0 문서 (벤더 측정) |
| Riva 처리량 (RTFX, 클수록 빠름), 1 스트림과 32 스트림 비교 | 150.8 대 440 | NVIDIA Riva 2.16.0 문서 (벤더 측정) |
참고: CosyVoice 프로젝트의 README는 더 새로운 Fun-CosyVoice 3.0 모델의 지연 시간이 “150ms까지 낮다”고 주장한다 (FunAudioLLM CosyVoice on GitHub). 이는 KTH가 측정한 것과 다른 버전에 대한 프로젝트 측 주장이다. Riva 행에는 GPU를 명시하지 않는다. 해당 행들은 NVIDIA 페이지의 첫 번째 결과표인데, 그 GPU 목록은 A100으로 시작하지만 우리가 읽을 수 있었던 페이지 본문은 각 표를 해당 GPU 표기와 연결해 주지 않았다.
5. CPU, 모바일, 엣지 하드웨어
GPU를 벗어나면 속도 여유는 빠르게 줄어든다. V100에서 실시간의 167.86배로 동작했던 HiFi-GAN V1은 노트북의 Intel i7 CPU에서는 실시간의 1.43배에 그쳤고, WaveGlow는 0.21배로 떨어져 실시간 재생에는 너무 느렸다 (Kong 외, HiFi-GAN). 서버에서 이기는 모델이 노트북에는 잘못된 선택인 경우가 많으며, 같은 CPU에서 실시간의 13.44배를 낸 더 작은 HiFi-GAN V3는 여기서 아키텍처 선택이 얼마나 중요한지 보여준다.
목적에 맞춰 만든 소형 모델은 훨씬 더 멀리 간다. 266k 파라미터와 90 MFLOPS의 EfficientSpeech는 Raspberry Pi 4에서 멜 스펙트로그램을 실시간보다 104.3배 빠르게 생성했으며, 이는 Mixer-TTS 같은 소형 모델의 약 1% 크기와 연산량이다 (EfficientSpeech). Apple의 온디바이스 연구는 전체 파이프라인이 두 대의 모바일 기기에서 동작하며 요청 후 158에서 179 ms 뒤에 첫 오디오 버퍼가 재생되는 것을 보여주었다 (Apple, 온디바이스 신경망 음성 합성). 이러한 변화 뒤의 하드웨어 동향은 엣지 AI 음성 프로세서 통계에서 추적한다.
가장 최근의 측정은 같은 칩에서도 설계 선택이 얼마나 중요한지 보여준다. AMD EPYC 7413의 스레드 하나에서 Samsung Research의 스트리밍 모델은 RTF 0.568에 도달했고 첫 음향 토큰을 0.061 s에 만들었는데, VALL-E X는 7.665와 41.41 s였다 (Lee 외, Interspeech 2025). NICT는 Google Pixel 5(중급형 휴대폰이라고 설명한다)에서 배치 RTF 약 0.3과 0.5 s 미만의 점진적 지연 시간을 보고했다 (Okamoto 외, Mobile PresenTra).
| 지표 | 값 | 출처 |
|---|---|---|
| 노트북 Intel i7 CPU에서의 HiFi-GAN V1, HiFi-GAN V3, WaveGlow 속도, 실시간의 몇 배인지 | 1.43배 대 13.44배 대 0.21배 | Kong 외, HiFi-GAN 2020 |
| Apple 종단 간 합성 속도, 모바일 기기 A와 B, 실시간의 몇 배인지 | 1.47배 대 3.03배 | Apple, 온디바이스 신경망 음성 합성 2021 |
| Apple 고객 체감 지연 시간 (요청부터 첫 오디오 버퍼 재생까지), 기기 A와 B 비교 | 179 ms 대 158 ms | Apple, 온디바이스 신경망 음성 합성 2021 |
| Google Pixel 5에서의 Mobile PresenTra: 배치 RTF, 점진적 지연 시간 | 약 0.3, 0.5 s 미만 | Okamoto 외 (NICT), Mobile PresenTra, Interspeech 2024 |
| AMD EPYC 7413 CPU 스레드 하나에서의 RTF, 토큰 생성만 (작을수록 빠름): SMAM+INR, Small-E, VALL-E X 비교 | 0.568 대 2.404 대 7.665 | Lee 외 (Samsung Research), Interspeech 2025 |
| 같은 CPU 스레드에서 첫 음향 토큰까지의 시간: SMAM+INR, Small-E, VALL-E X 비교 | 0.061 s 대 14.34 s 대 41.41 s | Lee 외 (Samsung Research), Interspeech 2025 |
| Raspberry Pi 4에서의 EfficientSpeech 파라미터 수와 멜 생성 속도 | 266k 파라미터, 실시간의 104.3배 | EfficientSpeech 2023 |
| Nix-TTS와 그 교사 모델인 VITS의 Raspberry Pi 3B에서의 RTF (1.0 초과는 실시간보다 느림) | 1.974 대 16.50 | Nix-TTS 2022 |
확인 가능한 최신 데이터: Kong 외 2020, Apple 2021, Nix-TTS 2022, EfficientSpeech 2023은 3년이 넘었으며, 이 비교들에 대한 더 새로운 동료 심사 수치는 찾지 못했다. Apple의 초록은 모바일 수치를 “실시간보다 3배 빠름”으로 반올림하지만, 그 표에서 기기 A는 1.47배다. EfficientSpeech 수치는 보코더 없이 멜 생성만 다루고, Samsung 행은 코덱 처리를 제외하므로, 어느 쪽도 전체 음성 합성 파이프라인은 아니다.
6. 속도와 품질의 절충
확산 및 플로 매칭 모델은 속도를 다이얼처럼 조절할 수 있게 해 준다. 샘플링 단계의 수(신경망 함수 평가 횟수, NFE)다. SupertonicTTS는 8에서 128 단계 사이에서 단어 오류율을 2.639%에서 2.818%로 유지했지만, 4단계에서는 오류율이 11.43%로 급등했고 NISQA 품질 점수는 2.623으로 떨어졌다 (Supertone, SupertonicTTS). 명료도는 서서히 떨어지지 않는다. 안정적으로 유지되다가 절벽에서 무너지므로, 가장 저렴하면서 안전한 설정은 그 바로 위에 있다.
그 절벽은 새로운 하드웨어 없이도 움직일 수 있다. RTX 3090에서 균등 간격의 7단계 F5-TTS와 가지치기한 7단계의 Fast F5-TTS는 모두 RTF 0.030으로 동작했지만, 단계를 어디에 두느냐만으로 단어 오류율이 4.16%에서 2.45%로 내려가, 0.123의 32단계 기준선의 2.37%에 가까워졌다 (Zheng 외, Interspeech 2025).
같은 모양이 보코더와 스트리밍에서도 나타난다. HiFi-GAN V3는 V100 GPU에서 V1보다 약 7.07배 빠르게 동작했고 (26,169 kHz를 3,701 kHz로 나눈 값), MOS는 4.36에서 4.05로 떨어졌다 (Kong 외, HiFi-GAN). CosyVoice 2는 스트리밍 모드를 “일반적인 테스트 사례에서 거의 손실이 없다”고 불렀지만, 어려운 테스트 세트에서 단어 오류율은 오프라인 6.83%에서 스트리밍 8.08%로 상승했다 (CosyVoice 2).
| 지표 | 값 | 출처 |
|---|---|---|
| SupertonicTTS 4단계와 8 샘플링 단계 비교: RTF, 단어 오류율, NISQA 점수 | 0.006 대 0.011, 11.43% 대 2.818%, 2.623 대 3.916 | Supertone, SupertonicTTS 2025 |
| SupertonicTTS 32단계(선택된 설정)와 128단계 비교: RTF, NISQA 점수 (녹음은 4.070) | 0.037 대 0.140, 4.033 대 4.070 | Supertone, SupertonicTTS 2025 |
| RTX 3090에서의 F5-TTS RTF, 32, 16, 7 샘플링 단계 비교 | 0.123 대 0.065 대 0.030 | Zheng 외, Interspeech 2025 |
| LibriSpeech-PC에서 7단계일 때 단어 오류율, 균등 간격 F5-TTS와 Fast F5-TTS 비교 (32단계 기준선은 2.37%) | 4.16% 대 2.45% | Zheng 외, Interspeech 2025 |
| Matcha-TTS MOS, 2 샘플링 단계와 10 샘플링 단계 비교 | 3.65 대 3.84 | Mehta 외, Matcha-TTS 2023 |
| CosyVoice 2의 어려운 테스트 세트 단어 오류율, 오프라인과 스트리밍 비교 | 6.83% 대 8.08% | CosyVoice 2 2024 |
| StyleTTS 2 RTF, 4 확산 단계와 128 확산 단계 비교 | 0.0179 대 0.0963 | Li 외, StyleTTS 2 2023 |
참고: NISQA는 기준 녹음 없이 청취자 방식의 점수를 추정하는 자동 비침습 음성 품질 예측기이며, 사람이 직접 듣는 청취 테스트가 아니다. SupertonicTTS 단계 표는 하드웨어를 밝히지 않으며, 32단계에서의 0.037은 같은 논문의 다른 곳에서 보고된 0.02와 다르다.
7. 100만 자당 가격과 오디오 1시간당 가격
정가는 단일한 시세가 아니라 등급으로 나뉜 시장을 보여준다. Google Cloud는 Standard와 WaveNet 음성에 100만 자당 $4를 받지만 Studio 음성은 $160으로, 같은 텍스트에 40배의 차이가 난다 (Google Cloud Text-to-Speech 요금). Amazon Polly는 Standard의 $4에서 Long-Form 음성의 $100까지이며, 자체 예시는 100만 자를 약 23시간 8분의 음성에 해당한다고 본다 (AWS Amazon Polly 요금).
이 AWS 환산(23시간 8분은 약 23.13시간)을 쓰면, $30의 Polly Generative는 오디오 1시간당 약 $1.30(30을 23.13으로 나눈 값), Standard는 약 $0.17이 된다. 토큰으로 가격을 매기는 모델은 다른 계산이 필요하다. Google은 Gemini TTS 오디오가 초당 25토큰이므로 1시간은 90,000 오디오 토큰이라고 밝히며, 100만 오디오 토큰당 $20인 Gemini 2.5 Pro TTS는 텍스트 입력 요금을 포함하기 전 출력 1시간당 $1.80이 된다. 오픈 웨이트 모델은 이를 더 압축한다. Artificial Analysis는 Replicate의 Kokoro 82M을 100만 자당 $0.65로 올려놓았다 (Artificial Analysis text-to-speech leaderboard). 이러한 가격 뒤에 있는 더 넓은 GPU 경제학은 AI 추론 비용 통계를 참고하라.
| 지표 | 값 | 출처 |
|---|---|---|
| Google Cloud 100만 자당 정가: Standard 및 WaveNet과 Neural2 비교 | $4 대 $16 | Google Cloud Text-to-Speech 요금 2026 |
| Google Cloud 100만 자당 정가: Chirp 3 HD, Instant custom voice, Studio 비교 | $30 대 $60 대 $160 | Google Cloud Text-to-Speech 요금 2026 |
| Amazon Polly 100만 자당 정가: Standard, Neural, Generative, Long-Form | $4, $16, $30, $100 | AWS Amazon Polly 요금 2026 |
| Microsoft Azure 신경망 음성, 종량제와 2,000M자 약정 구간의 초과 요금 비교, 100만 자당 | $15 대 $7.50 | Microsoft Azure Speech 요금 2026 |
| OpenAI tts-1 (속도에 최적화되었다고 설명됨)과 tts-1-hd 비교, 100만 자당 | $15 대 $30 | OpenAI API 요금 2026 |
| Gemini 2.5 Pro TTS 오디오 출력 가격과 오디오 1시간당 산출 비용 (초당 25토큰) | 100만 오디오 토큰당 $20, 1시간당 약 $1.80 | Google Cloud Text-to-Speech 요금 2026 (산출) |
| Amazon Polly Generative와 Standard의 오디오 1시간당 산출 비용 | 약 $1.30과 약 $0.17 | AWS Amazon Polly 요금 2026 (산출) |
| Kokoro 82M 호스팅 API 가격, 100만 자당 (Replicate) | $0.65 | Artificial Analysis TTS 리더보드 2026 |
참고: 이는 2026년 10월 31일 기준의 정가이며, 협상 할인 전의 가격이다. Azure의 약정 구간은 80M자에 $960부터 시작하며, 이는 100만 자당 $12다 (960을 80으로 나눈 값). 무료 구간은 크게 다르다. Polly Standard는 월 500만 자를 포함하고, Polly Generative는 처음 12개월 동안 월 10만 자를 포함한다. Kokoro 자체의 모델 카드는 이 모델이 A100 80GB GPU 1,000시간을 사용해 약 $1,000로 학습되었다고 밝히는데 (Kokoro-82M model card), 저비용 음성에 이제 학습 연산이 얼마나 적게 필요한지를 보여준다.
숫자로 보는 음성 합성 실시간 계수와 추론 비용
| 지표 | 값 | 출처 |
|---|---|---|
| V100 GPU에서의 HiFi-GAN V3와 WaveNet 속도, 실시간의 몇 배인지 | 1,186.80배 대 0.003배 | Kong 외, HiFi-GAN 2020 |
| FastSpeech 2와 Transformer TTS의 RTF | 0.0195 대 0.932 | Ren 외, FastSpeech 2 2020 |
| 2 샘플링 단계 Matcha-TTS의 RTF, 보코더 포함 | 0.015 | Mehta 외, Matcha-TTS 2023 |
| 16단계 F5-TTS의 RTF와 CosyVoice의 RTF | 0.15 대 0.92 | Chen 외, F5-TTS 2024 |
| VoXtream과 CosyVoice2의 첫 패킷 지연 시간, 같은 A100 테스트 | 102 ms 대 1,643 ms | KTH, VoXtream 2025 |
| DSM-TTS 지연 시간, 배치 크기 1과 64 비교 | 150 ms 대 403 ms | Kyutai, DSM-TTS 2025 |
| Riva 첫 오디오까지의 지연 시간, 1 스트림과 32 스트림 비교 | 22 ms 대 323 ms | NVIDIA Riva 2.16.0 문서 (벤더 측정) |
| SpeakStream 첫 오디오, PWG와 스트리밍 보코더 비교 | 180 ms 대 40 ms | Apple, SpeakStream 2025 |
| Apple 온디바이스 합성 속도, 모바일 기기 두 대 | 실시간의 1.47배와 3.03배 | Apple, 온디바이스 신경망 음성 합성 2021 |
| Raspberry Pi 4에서의 EfficientSpeech 멜 생성 | 실시간의 104.3배 | EfficientSpeech 2023 |
| Google Pixel 5에서의 Mobile PresenTra 배치 RTF | 약 0.3 | Okamoto 외 (NICT), Mobile PresenTra, Interspeech 2024 |
| SupertonicTTS 단어 오류율, 4 샘플링 단계와 8 샘플링 단계 비교 | 11.43% 대 2.818% | Supertone, SupertonicTTS 2025 |
| F5-TTS 7단계 단어 오류율, 균등 간격과 가지치기 스케줄 비교 | 4.16% 대 2.45% | Zheng 외, Interspeech 2025 |
| CosyVoice 2 어려운 세트 단어 오류율, 오프라인과 스트리밍 비교 | 6.83% 대 8.08% | CosyVoice 2 2024 |
| Google Cloud Standard와 Studio 음성, 100만 자당 | $4 대 $160 | Google Cloud Text-to-Speech 요금 2026 |
| Amazon Polly Long-Form 음성, 100만 자당 | $100 | AWS Amazon Polly 요금 2026 |
| 100만 자로 만들어지는 음성, Amazon의 요금 예시 | 약 23시간 8분 | AWS Amazon Polly 요금 2026 |
| Azure 신경망 음성, 종량제, 100만 자당 | $15 | Microsoft Azure Speech 요금 2026 |
| Kokoro 82M 호스팅 가격, 100만 자당 | $0.65 | Artificial Analysis TTS 리더보드 2026 |
방법론과 출처
- Kong, Kim, Bae: HiFi-GAN (2020), V100 GPU와 노트북 CPU에서의 속도, MOS, 파라미터 수를 담은 표 1.
- Ren 외: FastSpeech 2 (2020), 배치 크기 1의 V100 서버에서의 추론 RTF를 담은 표 2.
- Mehta 외: Matcha-TTS (2023), RTX 3090 GPU에서 보코딩을 포함한 RTF.
- Li 외: StyleTTS 2 (2023), 전체 및 확산 단계 수별 RTF.
- Chen 외: F5-TTS (2024), 10초 분량 음성에 대한 RTX 3090에서의 RTF와 기준선 비교표.
- Supertone: SupertonicTTS (2025), RTX 4090과 RTX 3090에서의 RTF 및 샘플링 단계 제거 실험.
- KTH 왕립공과대학: VoXtream (2025), A100에서 FP16으로 측정한 첫 패킷 지연 시간과 RTF.
- Kyutai: Streaming Sequence-to-Sequence Learning with Delayed Streams Modeling (2025), 배치 크기별 DSM-TTS 지연 시간, RTF, 처리량.
- Apple: SpeakStream (2025), MLX를 사용한 M4 Pro Mac mini에서의 지연 시간, On-device neural speech synthesis (2021), 모바일 측정.
- FunAudioLLM: CosyVoice 2 (2024), 스트리밍과 오프라인의 품질, CosyVoice GitHub README (프로젝트 측 주장, 2026).
- EfficientSpeech (2023)와 Nix-TTS (2022), CPU와 Raspberry Pi에서의 소형 모델.
- Interspeech 논문: Okamoto, Ohtani, Kawai (NICT), Mobile PresenTra (2024), 스마트폰 RTF와 지연 시간, Lee 외 (Samsung Research), Efficient Streaming TTS Acoustic Model with Depthwise RVQ Decoding Strategies in a Mamba Framework (2025), 단일 스레드 CPU RTF와 지연 시간, Zheng 외, Accelerating Flow-Matching-Based Text-to-Speech via Empirically Pruned Step Sampling (2025), 단계 수별 F5-TTS 속도와 오류율.
- NVIDIA: Riva 2.16.0 TTS performance, 벤더가 측정한 지연 시간 및 RTFX 표.
- 요금 페이지, 2026년 10월 31일에 확인: Google Cloud Text-to-Speech, Amazon Polly, Microsoft Azure Speech, OpenAI API 및 OpenAI tts-1 모델 페이지.
- Artificial Analysis text-to-speech leaderboard (2026)와 Kokoro-82M 모델 카드 (Hugging Face), 오픈 웨이트 모델의 가격과 학습 비용에 관해.
- 데이터 참고 사항: RTF 수치는 하드웨어, 배치 크기, 정밀도, 보코더 포함 여부가 일치하지 않는 한 논문 간에 비교할 수 없다. 한 논문 안에서도 SupertonicTTS는 같은 설정으로 보이는 것에 0.037과 0.02를 보고한다. F5-TTS 논문은 기준선 RTF가 어떻게 측정되었는지 밝히지 않으며, F5-TTS 자체의 속도도 같은 GPU 모델에서 출처 간에 상충한다. 원 논문은 RTX 3090에서 16단계 0.15, 32단계 0.31을 제시하는 반면, Zheng 외는 RTX 3090에서 0.065와 0.123을 제시하며, 우리가 읽은 페이지에는 그 차이에 대한 설명이 없다. Kyutai의 표 6은 GPU를 밝히지 않으며, 논문은 F5-TTS의 지연 시간을 16단계에서 약 800 ms, 32단계에서 약 400 ms로 인쇄하는데, 이는 단계가 많을수록 보통 일어나는 일과 반대이므로 이 두 값은 사용하지 않았다. VoXtream 측정과 CosyVoice README 수치는 서로 다른 CosyVoice 버전을 다루므로 직접 비교할 수 없다. 문자 수에서 오디오로의 두 환산은 상충한다. Amazon의 예시는 분당 약 720자(1,000,000자를 1,388분으로 나눈 값)를 시사하는 반면 Kokoro 카드는 약 1,000자를 쓰므로, Kokoro 비율에 기반한 시간당 비용은 Amazon 비율에 기반한 것보다 약 39% 높다 (1,000을 720으로 나누면 약 1.39). Google Cloud는 Gemini 3.8 TTS 모델을 미리보기로 표기하며, 가격은 2027년 1월 1일에 바뀔 예정이다. MLCommons의 MLPerf Inference 규칙은 음성 인식에는 Whisper를 올려놓았지만 음성 합성 워크로드는 없으므로, TTS 속도에는 중립적인 업계 벤치마크가 없다. 여기에 인용된 하드웨어 관련 논문 중 여럿은 3년이 넘었으며 확인 가능한 최신 데이터로 표시했다.
마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 Google Cloud의 Gemini TTS 가격 변경이 2027년 1월 1일에 시행될 때 이루어질 것으로 예상한다.