10개 언어를 통틀어 사람은 질문에 평균 단 208 ms의 간격 뒤에 답하지만, Twilio가 캐스케이드형 음성 AI 에이전트에 제시하는 시작 목표는 입에서 귀까지의 턴 간격 1,115 ms로, 대략 5배 길다(1,115 ÷ 208 ≈ 5.4). 사람의 기준이 빠른 것은 듣는 사람이 턴의 끝을 예측하기 때문이다. 단어 하나를 만들어 내는 데만도 약 600 ms가 걸리므로, 상대가 아직 말하는 동안 답을 미리 준비한다(Levinson과 Torreira, Frontiers in Psychology 2015). 음성 에이전트는 같은 방식으로 예측하지 못하므로 기다리고, 받아 적고, 생각하고, 합성하는 과정을 차례로 거치며, 가장 최근의 독립적인 리더보드에서 음성에서 음성으로 처리하는 모델의 첫 오디오까지의 평균 시간은 0.44 s에서 2.98 s에 이른다(Artificial Analysis Speech to Speech Index 2026). 자동화를 도입하는 콘택트센터에 대해서는 저희 음성 에이전트 콘택트센터 자동화 통계에서 다루었는데, 지연 시간은 통화자가 쓸모 있는 말을 단 한마디도 듣기 전에 먼저 체감하는 경험의 일부다. 저희는 PNAS의 턴 테이킹 연구, 국제 전화 지연 표준, 오픈소스와 벤더의 엔지니어링 가이드, 독립적인 리더보드, 그리고 arXiv와 ACM CUI에 발표된 연구 벤치마크의 데이터를 종합했다.
요약
- 10개 언어에서 대답 전 평균 간격: 208 ms, 중앙값 100 ms(Stivers 외, PNAS 2009)
- 대화에서 턴 전환의 70%에서 82%는 500 ms보다 짧다(Heldner와 Edlund 2010, Frontiers in Psychology 2015에서 검토)
- ITU-T G.114는 네트워크 계획의 편도 지연 상한을 400 ms로 정하며, 150 ms 미만은 사실상 투명하다(ITU-T G.114, 2003)
- 통신 분야 연구용 음성 에이전트는 500개의 녹음된 질문에서 첫 오디오까지 평균 678 ms가 걸렸다(Ethiraj 외, NetoAI, arXiv 2025)
- 동일한 대화 클립은 평균 간격 557.14 ms일 때보다 55.68 ms일 때 더 유대감 있게 느껴졌다(Templeton 외, PNAS 2022)
- Deepgram은 Flux 모델의 턴 종료 감지가 약 260 ms라고 주장한다(Deepgram Flux 문서 2025, 벤더 주장)
- LiveKit의 업데이트된 턴 종료 모델은 14개 언어에서 오인 끼어들기를 18.66%에서 11.34%로 줄였다(LiveKit, 2025년 12월 12일)
- ElevenLabs Flash v2.5는 추론 75 ms라는 주장과 달리 네트워크를 포함해 중앙값 197 ms로 측정되었다(Vapi Humanness Index, 2026년 6월)
- OpenAI는 GPT-4o의 오디오 응답이 평균 320 ms로, 이전 GPT-4 음성 파이프라인의 5.4 s보다 빠르다고 보고했다(OpenAI, Hello GPT-4o 2024, 벤더 주장)
- Full-Duplex-Bench에서 턴을 가져오기까지 Gemini Live는 1.301 s, Moshi는 0.265 s가 걸렸다(Lin 외, arXiv 2025)
- 사용자가 가장 덜 좋아한 에이전트로 지연이 큰 에이전트를 고른 비율은 61.11%였다(Maslych 외, ACM CUI 2025)
1. 사람의 기준: 사람은 얼마나 빠르게 말차례를 주고받는가
모든 음성 에이전트가 비교되는 기준은 소프트웨어가 존재하기 훨씬 전에 정해졌다. 턴 타이밍에 관한 가장 큰 규모의 언어 간 비교에서 질문과 대답 사이의 가장 흔한 간격은 0 ms였고, 언어 간 중앙값은 100 ms였다(Stivers 외, Universals and cultural variation in turn-taking in conversation, PNAS 2009). 화자들은 침묵을 기다렸다가 반응하는 것이 아니라, 질문이 끝나는 순간에 대답을 시작한다.
이 속도는 반사 신경이 아니라 계획의 산물이다. 그림 이름 대기 실험은 단어 하나를 만들어 내는 데 약 600 ms, 짧은 문장에는 약 1,500 ms가 걸린다고 보며, 그래서 연구자들은 듣는 사람이 턴이 언제 끝날지 예측하고 병렬로 답을 준비해야 한다고 결론짓는다(Levinson과 Torreira, Frontiers in Psychology 2015). 캐스케이드형 음성 에이전트는 정반대로 움직인다. 통화자가 말을 멈추기를 기다린 뒤에야 전체 처리 과정을 시작한다.
| 지표 | 값 | 출처 |
|---|---|---|
| 질문과 대답 사이의 평균 간격, 10개 언어 전체 | 208 ms | Stivers 외, PNAS 2009 |
| 질문과 대답 사이 간격의 중앙값, 10개 언어 전체 | 100 ms | Stivers 외, PNAS 2009 |
| 언어별 평균의 최소와 최대(일본어 대 덴마크어) | 7 ms 대 469 ms | Stivers 외, PNAS 2009 |
| 500 ms보다 짧은 턴 전환의 비율 | 70%에서 82% | Heldner와 Edlund 2010, Levinson과 Torreira, Frontiers in Psychology 2015에서 검토 |
| 이전 화자와 겹치는 발화권 이전의 비율(Switchboard 전화 코퍼스, 348개 대화) | 30.1% | Levinson과 Torreira, Frontiers in Psychology 2015 |
| 이름을 말하는 단어 하나를 말하기 시작하는 데 필요한 시간(그림 이름 대기) | 약 600 ms | Indefrey와 Levelt 2004, Levinson과 Torreira, Frontiers in Psychology 2015에서 검토 |
| 턴 사이의 전형적인(최빈) 사람의 응답 시간 | 약 200 ms | Templeton 외, PNAS 2022 |
참고: 10개 언어 표본은 5개 대륙의 101개 대화를 포함한다. 논문은 언어별 평균이 언어 간 평균의 앞뒤 약 250 ms 이내에 들어간다고 하지만, 덴마크어는 그보다 약 261 ms 높다(469에서 208을 뺀 값). 입수 가능한 가장 최근 데이터: 위의 2009년과 2015년 연구. 이러한 기준은 천천히 변하므로 제품 벤치마크만큼 오래된 점이 중요하지 않다.
2. 네트워크와 전화망의 지연 한계
어떤 모델이 작동하기도 전에 전화망이 예산의 일부를 쓴다. 여기서 “편도 지연”은 소리가 화자의 입에서 청자의 귀까지 한 방향으로 이동하는 데 걸리는 시간을 뜻하며, 왕복이 아니다. ITU-T 권고 G.114는 일반적인 네트워크 계획에서 편도 지연 400 ms를 넘지 않아야 하며, 150 ms 미만으로 유지되는 지연은 대부분의 응용에서 사실상 투명하다고 밝힌다(ITU-T G.114, One-way transmission time).
음성 에이전트 시대는 이러한 한계를 뒤집어 놓는다. 이 표준은 상대편이 약 200 ms 만에 답하는 사람 간 통화를 위해 작성되었다. 생각하는 데 1초가 필요한 에이전트는 한마디도 하기 전에 400 ms라는 네트워크 전체 허용치의 두 배가 넘는 시간을 쓴다. Twilio 자신의 수치가 그 내역을 보여 준다. 입에서 귀까지의 전체 턴 간격 목표는 1,115 ms이고 에이전트 플랫폼 내부 목표는 885 ms이므로, 네트워크와 전화선 전송에 약 230 ms가 쓰인다는 뜻이다(1,115에서 885를 뺀 값).
| 지표 | 값 | 출처 |
|---|---|---|
| 일반적인 네트워크 계획에 권고되는 편도 지연의 최대값 | 400 ms | ITU-T G.114 (05/2003) |
| 이보다 낮으면 대부분의 음성 및 비음성 응용에서 사실상 투명하게 느껴지는 편도 지연 | 150 ms | ITU-T G.114 (05/2003) |
| 5,000 km 이하의 지역 내 경로에서 예상되는 VoIP의 입에서 귀까지 지연 | 150 ms 미만 | ITU-T G.114 부록 II |
| 최악의 지역 간 지상 경로(27,500 km)에서 VoIP의 입에서 귀까지 지연 | 300 ms를 조금 넘음 | ITU-T G.114 부록 II |
| 음성 합성 서버까지의 공용 인터넷 왕복 시간, 거리에 따라 | 20에서 200 ms | ElevenLabs 지연 시간 문서 2026(벤더) |
참고: 2003년 5월판은 여전히 유효한 것으로 올라 있다. 400 ms 미만의 지연은 지연으로부터 대화 품질을 추정하는 공식인 권고 G.107의 E-모델로 평가되며, 서문은 상호작용성이 매우 높은 작업은 100 ms 미만의 지연에도 영향을 받을 수 있다고 밝힌다. 입수 가능한 가장 최근 데이터: 2003년판.
3. 캐스케이드형 음성 에이전트의 지연 시간 예산
캐스케이드형 에이전트는 세 가지 모델을 연결한다. 음성을 텍스트로 바꾸는 STT, 대규모 언어 모델(LLM), 텍스트를 음성으로 바꾸는 TTS다. Twilio의 구성 요소별 목표는 합계 825 ms(350 + 375 + 100)가 되지만 상한의 합은 1,500 ms(500 + 750 + 250)가 되며, 이는 각 상한 안에만 머무는 구성이라도 종단 간 상한 1,400 ms를 훌쩍 넘길 수 있다는 뜻이다(Twilio, A Guide to Core Latency in AI Voice Agents). 이 가이드는 이 값들을 “최고 수준이 아니라 출발점이 되는 벤치마크”라고 설명한다.
Pipecat 가이드의 기준 내역은 시간이 실제로 어디에 쓰이는지 보여 준다. 엔드포인팅을 포함한 전사, LLM의 첫 바이트까지의 시간, TTS의 첫 바이트까지의 시간을 합하면 전체 1,293 ms 중 1,070 ms, 약 83%(1,070 ÷ 1,293)를 차지하고, 나머지는 모든 오디오 경로(마이크, 코덱, 지터 버퍼, 스피커)가 차지한다(Voice AI and Voice Agents guide). “지터 버퍼”는 고르지 않게 도착하는 패킷을 매끄럽게 만드는 짧은 대기 큐이며, 이 내역에서는 각 방향에 하나씩 40 ms를 쓴다. H100 GPU 한 장으로 통신 분야 질문을 위해 구축한 연구용 파이프라인도 같은 범위에 들어왔다(Ethiraj 외, arXiv 2508.04721).
| 지표 | 값 | 출처 |
|---|---|---|
| 음성을 텍스트로 바꾸는 지연, 목표 대 상한 | 350 ms 대 500 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| LLM의 첫 토큰까지의 시간, 목표 대 상한 | 375 ms 대 750 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| 텍스트를 음성으로 바꾸는 첫 바이트까지의 시간, 목표 대 상한 | 100 ms 대 250 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| 통화자가 체감하는 입에서 귀까지의 턴 간격, 목표 대 상한 | 1,115 ms 대 1,400 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| 기준 음성 대 음성 총합, 마이크에서 스피커까지 16단계 합산 | 1,293 ms(가이드 본문에는 약 1,200 ms) | Voice AI and Voice Agents guide, Pipecat 2026 |
| 가이드가 중요한 목표로 꼽는 음성 대 음성 지연 | 1,500 ms | Voice AI and Voice Agents guide, Pipecat 2026 |
| 통신 분야 파이프라인에서 첫 오디오까지의 평균 시간, 녹음된 질문 500개(최소에서 최대) | 678 ms(412에서 1,482 ms) | Ethiraj 외, NetoAI, arXiv 2025 |
| 같은 통신 분야 파이프라인에서 발화 하나당 종단 간 평균 처리 시간 | 934 ms | Ethiraj 외, NetoAI, arXiv 2025 |
이상치 참고: Sprinklr 연구팀은 NVIDIA L4 GPU에서 첫 오디오 청크가 “최저 640.9 ms”였다고 보고했지만, 같은 설정을 CPU에서 돌리면 1,748.6 ms였다. 하드웨어만으로도 첫 오디오까지의 시간이 두 배 넘게 늘어날 수 있음을 보여 주는 사례다(Choudhary와 Purwar, arXiv 2509.20971).
4. 엔드포인팅과 턴 감지
“엔드포인팅”은 통화자가 말을 마쳤다고 에이전트가 판단하는 일이다. 속도와 무례함 사이에서 균형을 잡아야 하므로 사람이 손으로 가장 자주 조정하는 단계다. 너무 조금 기다리면 에이전트가 말 도중에 끼어들고, 너무 오래 기다리면 통화자는 정적을 듣게 된다. LiveKit의 업데이트된 턴 종료 모델은 14개 언어에서 오인 끼어들기 비율을 18.66%에서 11.34%로, 상대적으로 39.23% 줄였으며 응답 지연은 늘지 않았다(LiveKit, Improved end-of-turn model cuts voice AI interruptions 39%).
벤더의 수치는 이 하나의 판단이 예산의 얼마를 좌우하는지 보여 준다. Deepgram은 Flux 모델이 파이프라인 방식에 비해 에이전트 응답 지연을 200에서 600 ms 줄일 수 있고, “성급한” 조기 신호가 150에서 250 ms 더 일찍 도착하는 대신 LLM 호출이 50에서 70% 늘어난다고 주장한다(Deepgram, Introducing Flux). 이 추가 호출이 속도의 숨은 대가다. 에이전트는 통화자가 아직 끝내지 않았을 수도 있는 문장에 대한 답을 쓰기 시작한다. 배경 소음 또한 이런 판단을 흔들며, 이 주제는 신경망 소음 억제 지연 시간 통계에서 추적하고 있다.
| 지표 | 값 | 출처 |
|---|---|---|
| Flux에 대해 주장된 턴 종료 감지 지연 | 약 260 ms | Deepgram Flux 문서 2025(벤더 주장) |
| Flux의 턴 종료 지연, 90번째 및 95번째 백분위수 | 1 s와 1.5 s | Deepgram, Introducing Flux, 2025년 10월 1일(벤더 주장) |
| Flux에 대해 주장된 오인 끼어들기 감소율 | 약 30% | Deepgram, Introducing Flux 2025(벤더 주장) |
| 오인 끼어들기 비율, 14개 언어 전체, LiveKit 기존 모델 대 새 모델(진양성률 99.3% 고정) | 18.66% 대 11.34% | LiveKit, 2025년 12월 12일 |
| 오인 끼어들기 비율, 영어, LiveKit 기존 모델 대 새 모델 | 16.6% 대 13.0% | LiveKit, 2025년 12월 12일 |
| 예시 서버 VAD 설정이 턴을 끝내기 전에 기다리는 침묵 | 500 ms | OpenAI Realtime VAD guide 2026 |
참고: VAD(음성 활동 감지)는 누군가 말하고 있는지를 듣는 단순한 감지기다. 500 ms라는 값은 OpenAI의 Realtime VAD 가이드에 나온 샘플 설정이며, 명시된 기본값이 아니다. 500 ms의 고정 침묵 규칙만으로도 이미 섹션 1의 사람 평균 간격 208 ms의 두 배를 넘는다.
5. LLM의 첫 토큰까지의 시간과 TTS의 첫 오디오까지의 시간
턴이 끝나면 모델은 말하기 시작해야 한다. Pipecat 가이드의 경험칙은 LLM의 첫 토큰까지의 시간이 600 ms 이하면 대부분의 음성 활용 사례에 충분히 빠르다는 것인데, 가이드가 나열한 호스팅 모델 네 개 중 중앙값에서 이 기준을 충족하는 것은 두 개뿐이고 95번째 백분위수에서 충족하는 것은 하나도 없다(Voice AI and Voice Agents guide). 첫 토큰까지의 시간(TTFT)은 언어 모델이 답의 첫 조각을 내놓기까지 걸리는 시간이다. 전화선에서는 중앙값보다 꼬리가 더 중요한데, 통화자는 평균이 아니라 1.7 s의 침묵 한 번을 기억하기 때문이다.
음성 합성은 이제 가장 작은 조각이지만, 벤더 수치와 실측값은 엇갈린다. ElevenLabs는 Flash 모델이 약 75 ms의 모델 추론에 도달한다고 하면서 네트워크와 애플리케이션 오버헤드는 명시적으로 제외한다(ElevenLabs 지연 시간 문서). 반면 벤치마크용 머신에서 라이브 스트리밍을 50번 시도한 제3자 측정에서는 중앙값이 197 ms였다(Vapi Humanness Index). AI 음성 생성기를 포함해 음성 합성 엔진을 비교하는 팀은 사양서가 이 두 수치 중 어느 쪽을 싣고 있는지 물어봐야 한다.
| 지표 | 값 | 출처 |
|---|---|---|
| GPT-4.1의 첫 토큰까지의 시간, 중앙값 대 95번째 백분위수 | 536 ms 대 1,771 ms | Voice AI and Voice Agents guide, Pipecat 2026 |
| Gemini 2.5 Flash의 첫 토큰까지의 시간, 중앙값 대 95번째 백분위수 | 597 ms 대 1,137 ms | Voice AI and Voice Agents guide, Pipecat 2026 |
| Claude 4.5 Haiku의 첫 토큰까지의 시간, 중앙값 대 95번째 백분위수 | 637 ms 대 1,615 ms | Voice AI and Voice Agents guide, Pipecat 2026 |
| GPT-5.1의 첫 토큰까지의 시간, 중앙값 대 95번째 백분위수 | 739 ms 대 1,492 ms | Voice AI and Voice Agents guide, Pipecat 2026 |
| ElevenLabs Flash v2.5, 추론 주장 대 네트워크를 포함한 스트리밍 지연 실측 | 75 ms 대 197 ms | ElevenLabs 문서 2026(벤더 주장), Vapi Humanness Index, 2026년 6월 10일 |
| Cartesia Sonic 3.5, 스트리밍 지연 실측 | 128 ms | Vapi Humanness Index 2026 |
| ElevenLabs Multilingual v2, 스트리밍 지연 실측 | 1,006 ms | Vapi Humanness Index 2026 |
참고: Vapi는 음성 합성 엔진이 아니라 음성 에이전트 플랫폼을 운영하지만, 그 지수는 여전히 플랫폼이 직접 실행한 벤치마크다. 해당 페이지는 50회 시도 방식을 Flash v2.5에 대해서만 제시하므로, 다른 실측값은 직접 비교할 수 없을 수 있다. ElevenLabs는 또한 500 ms의 오디오 플레이어 버퍼가 “흔하다”고 지적하는데, 이는 클라이언트 쪽에서 빠른 모델의 이점 대부분을 없앨 수 있다.
6. 음성에서 음성으로 처리하는 모델과 전이중 모델의 실측 지연
음성에서 음성으로 처리하는 모델은 텍스트 전달 단계를 건너뛰고, 전이중 모델은 듣는 동시에 말하므로 이론상으로는 사람의 타이밍과의 격차를 좁혀야 한다. Kyutai의 Moshi는 이론상 지연 160 ms, 실제 지연 200 ms를 보고한다(Kyutai, Moshi, arXiv 2410.00037). 독립 벤치마크에서는 0.265 s 뒤에 턴을 가져오는 것으로 측정되었다(Lin 외, Full-Duplex-Bench, arXiv 2503.04721).
상용 모델들은 훨씬 더 넓게 퍼져 있다. 2026년 6월 23일 Artificial Analysis 지수에서 첫 오디오까지의 평균 시간은 0.44 s에서 2.98 s에 이르렀다. 가장 느린 두 항목은 “High” 추론 설정이었고, 그중 하나인 GPT-Realtime-2 (High)는 2.33 s로 지수 최고 점수 77.2%를 기록했다(Artificial Analysis, Speech to Speech Index). 속도와 똑똑함은 여전히 반대 방향으로 끌린다. 실시간 자막도 비슷한 속도 대 정확도의 상충 관계에 직면하며, 이는 실시간 자막 지연 시간 통계에서 추적하고 있다.
| 지표 | 값 | 출처 |
|---|---|---|
| 오디오 입력에 대한 GPT-4o 응답 시간, 최단 대 평균 | 232 ms 대 320 ms | OpenAI, Hello GPT-4o 2024(벤더 주장) |
| 이전 ChatGPT 음성 모드 파이프라인의 평균 지연, GPT-3.5 대 GPT-4 | 2.8 s 대 5.4 s | OpenAI, Hello GPT-4o 2024(벤더 주장) |
| Moshi의 지연, 이론값 대 실제값 | 160 ms 대 200 ms | Kyutai, Moshi 논문, arXiv 2024 |
| 사용자가 말을 멈춘 뒤 턴을 가져오기까지의 시간(CANDOR 대화 데이터셋), Moshi 대 Gemini Live | 0.265 s 대 1.301 s | Lin 외, Full-Duplex-Bench, arXiv 2025 |
| 사용자의 끼어들기 이후 응답하기까지의 시간, Moshi 대 Gemini Live | 0.257 s 대 1.183 s | Lin 외, Full-Duplex-Bench, arXiv 2025 |
| 첫 오디오까지의 평균 시간, 지수에서 가장 빠른 모델(Deepslate Opal) | 0.44 s | Artificial Analysis Speech to Speech Index, 2026년 6월 23일 |
| 첫 오디오까지의 평균 시간, GPT-Realtime-1.5 | 0.82 s | Artificial Analysis Speech to Speech Index, 2026년 6월 23일 |
| 첫 오디오까지의 평균 시간, Gemini 3.1 Flash Live Preview (High) | 2.98 s | Artificial Analysis Speech to Speech Index, 2026년 6월 23일 |
이상치 참고: OpenAI의 수치는 모델 발표 때의 출시 주장이며 독립적인 측정이 아니고, 같은 표의 리더보드 행과는 다른 지표를 사용하므로 둘을 직접 비교해서는 안 된다. Moshi는 빠르지만 콘택트센터용 모델은 아니다. 합성된 멈춤 사례의 98.5%에서 발화권을 가져가는데, 이는 사용자가 잠시 멈췄을 뿐인데도 끼어든다는 뜻이다(Full-Duplex-Bench).
7. 지연 시간이 통화자와 대화에 미치는 영향
속도는 허울뿐인 지표가 아니다. 청취자 450명이 참여한 통제된 청취 연구에서 평균 간격이 55.68 ms가 되도록 편집한 동일한 대화 클립은 같은 클립을 557.14 ms로 만든 것보다 더 유대감 있다고 평가되었으며, 유대감에 대해 F(2, 2,344.3) = 28.51, P < 0.001이었다(Templeton 외, PNAS 2022). 청취자는 타이밍을 사회적 신호로 읽으며, 느린 에이전트는 잘못된 신호를 보낸다.
AI 에이전트에 한정하면, 가상 에이전트를 대상으로 한 54명 규모의 연구에서 모든 지연 수준이 체감 속도를 해쳤고, 저자들은 4초를 넘는 지연이 경험의 질을 떨어뜨린다고 결론지었다. 자연스러운 구어 추임새는 4.0 s와 6.5 s에서 체감 응답 속도를 개선했지만, 인공적인 로딩 아이콘과 소리는 그렇지 못했다(Maslych 외, ACM CUI 2025). 침묵은 의미도 바꾼다. 대화 연구는 700 ms 이상의 간격을 비선호 응답(거절이나 반대 같은 답)과 연결하므로, 1초의 멈춤이 있는 에이전트는 대답이 긍정이더라도 머뭇거리는 것처럼 들릴 위험이 있다. 오디오 기반 모델을 비교한 연구에서는 대화 시간 중 침묵이 차지하는 비율이 캐스케이드형 시스템에서는 32.4%, Moshi에서는 11.8%였다(Arora 외, Talking Turns, arXiv 2503.01174).
| 지표 | 값 | 출처 |
|---|---|---|
| 지연이 낮은(1.5 s) 에이전트를 가장 좋아한다고 고른 사용자 | 57.41%, χ²(2, N = 54) = 14.12, p < 0.0001 | Maslych 외, ACM CUI 2025 |
| 지연이 높은(6.5 s) 에이전트를 가장 덜 좋아한다고 고른 사용자 | 61.11%, χ²(2, N = 54) = 19.0, p < 0.0001 | Maslych 외, ACM CUI 2025 |
| 지연을 추가하기 전, 연구에서 쓴 캐스케이드형 에이전트 자체의 응답 시간 실측 | 평균 1.47 s | Maslych 외, ACM CUI 2025 |
| 사람의 대화에서 비선호(부정적) 응답과 연관된 간격의 길이 | 700 ms 이상 | Levinson과 Torreira, Frontiers in Psychology 2015(검토) |
| 대화 시간 중 침묵으로 보내는 비율, 캐스케이드형 시스템 대 Moshi | 32.4% 대 11.8% | Arora 외, Talking Turns, arXiv 2025 |
| 지연이 없을 때보다 통화 상대가 덜 주의 깊고, 덜 친근하며, 덜 자제력 있다고 평가된 추가 전송 지연 | 1.2 s | Schoenenberg, Raake, Koeppe, International Journal of Human-Computer Studies 2014 |
| 대화 품질에 매우 만족하는 음성 AI 개발자(40명 대상 설문) | 2% | Deepgram, Introducing Flux 2025(벤더 설문) |
| 눈에 띄는 수준에서 심각한 수준까지 대화 흐름 문제가 있다고 보고한 음성 AI 개발자(40명 대상 설문) | 61% | Deepgram, Introducing Flux 2025(벤더 설문) |
참고: 1.2 s 지연에 대한 결과는 제1저자 본인이 정리한 연구 요약에서 나온 것이다(phys.org, 2014년 5월). 입수 가능한 가장 최근 데이터: Schoenenberg 외, 2014. 실측한 에이전트 지연을 실제 통화 포기율과 연결하는, 동료 평가를 거친 2025년 또는 2026년 데이터셋은 찾지 못했으므로, 위의 만족도 근거는 실제 서비스 통화 로그가 아니라 통제된 연구에서 나온 것이다.
요약: 숫자로 보는 음성 AI 에이전트 지연 시간
| 지표 | 값 | 출처 |
|---|---|---|
| 질문과 대답 사이의 평균 간격, 10개 언어 | 208 ms | Stivers 외, PNAS 2009 |
| 500 ms보다 짧은 턴 전환 | 70%에서 82% | Heldner와 Edlund 2010, Frontiers in Psychology 2015 경유 |
| 단어 하나를 말하기 시작하는 데 걸리는 시간 | 약 600 ms | Levinson과 Torreira, Frontiers in Psychology 2015 |
| 더 유대감 있다고 평가된 클립의 평균 간격 대 같은 클립에서 덜 유대감 있다고 평가된 것 | 55.68 ms 대 557.14 ms | Templeton 외, PNAS 2022 |
| 네트워크 계획의 편도 지연 최대값 | 400 ms | ITU-T G.114 (05/2003) |
| 캐스케이드형 에이전트의 입에서 귀까지 목표 대 상한 | 1,115 ms 대 1,400 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| 기준 음성 대 음성 내역 총합 | 1,293 ms | Voice AI and Voice Agents guide, Pipecat 2026 |
| 통신 분야 연구용 파이프라인의 첫 오디오까지 평균 시간 | 678 ms | Ethiraj 외, NetoAI, arXiv 2025 |
| Flux의 턴 종료 감지 주장 | 약 260 ms | Deepgram Flux 문서 2025(벤더 주장) |
| 오인 끼어들기 비율, 기존 대 새 턴 종료 모델, 14개 언어 | 18.66% 대 11.34% | LiveKit, 2025년 12월 12일 |
| ElevenLabs Flash v2.5의 스트리밍 지연 실측 | 197 ms | Vapi Humanness Index, 2026년 6월 |
| GPT-4o의 평균 오디오 응답 시간 | 320 ms | OpenAI, Hello GPT-4o 2024(벤더 주장) |
| Moshi의 실제 지연 | 200 ms | Kyutai, Moshi 논문, arXiv 2024 |
| 턴 테이킹 지연, Gemini Live | 1.301 s | Lin 외, Full-Duplex-Bench, arXiv 2025 |
| 지수 전체의 첫 오디오까지 평균 시간 범위 | 0.44 s에서 2.98 s | Artificial Analysis Speech to Speech Index, 2026년 6월 23일 |
| 6.5 s 에이전트를 가장 덜 좋아한 사용자 | 61.11% | Maslych 외, ACM CUI 2025 |
| 지연을 추가하기 전 연구용 캐스케이드형 에이전트의 응답 시간 실측 | 1.47 s | Maslych 외, ACM CUI 2025 |
| 대화 시간 중 침묵이 차지하는 비율, 캐스케이드형 시스템 | 32.4% | Arora 외, Talking Turns, arXiv 2025 |
방법론과 출처
- Stivers 외, Universals and cultural variation in turn-taking in conversation, PNAS 2009.
- Levinson과 Torreira, Timing in turn-taking and its implications for processing models of language, Frontiers in Psychology 2015(이 논문이 검토한 Heldner와 Edlund 2010, Indefrey와 Levelt 2004의 수치의 출처이기도 하다).
- Templeton 외, Fast response times signal social connection in conversation, PNAS 2022.
- ITU-T, Recommendation G.114: One-way transmission time, 2003년 5월, 유효.
- Twilio, A Guide to Core Latency in AI Voice Agents (Cascaded Edition), 2025년 11월 17일.
- Pipecat, Voice AI and Voice Agents guide, 제1저자 Kwindla Hultman Kramer, 2026년 6월 업데이트.
- Ethiraj 외, NetoAI, Toward Low-Latency End-to-End Voice Agents for Telecommunications, arXiv, 2025년 8월 5일.
- Choudhary와 Purwar, Sprinklr, i-LAVA: Insights on Low Latency Voice-2-Voice Architecture for Agents, arXiv, 2025년 9월 25일.
- Deepgram, Introducing Flux: Conversational Speech Recognition, 2025년 10월 1일, 그리고 Flux 퀵스타트 문서(벤더 주장과 벤더 설문).
- LiveKit, Improved end-of-turn model cuts voice AI interruptions 39%, 2025년 12월 12일(벤더 벤치마크).
- OpenAI, Realtime API voice activity detection guide 및 Hello GPT-4o, 2024년(벤더 주장).
- ElevenLabs, Latency documentation, 2026년(벤더 주장).
- Vapi, Humanness Index, ElevenLabs Flash v2.5 page, 지연 시간 확인일 2026년 6월 10일.
- Kyutai, Moshi: a speech-text foundation model for real-time dialogue, arXiv 2024.
- Lin 외, Full-Duplex-Bench, arXiv 2025(버전 3, 2025년 8월 16일).
- Artificial Analysis, Announcing the Speech to Speech Index, 2026년 6월 23일, 그리고 실시간 Speech to Speech 리더보드.
- Maslych 외, Mitigating Response Delays in Free-Form Conversations with LLM-powered Intelligent Virtual Agents, ACM CUI 2025.
- Arora 외, Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, arXiv 2025.
- Schoenenberg, Raake, Koeppe, International Journal of Human-Computer Studies 2014, 제1저자가 phys.org에서 요약한 내용에 따름.
- 데이터 참고 사항: 실시간 리더보드는 업데이트 사이에 변동한다. 2026년 10월 27일 기준으로 GPT-Realtime-2 (High)의 첫 오디오까지의 시간은 1.14 s로 올라 있어, 2026년 6월 23일 발표 때의 2.33 s와 다르다. 또한 그 정의(Big Bench Audio 세트에서 첫 오디오 토큰을 생성하기까지의 초)는 입에서 귀까지의 턴 간격이나 Full-Duplex-Bench의 턴 테이킹 지연과 다르므로, 값은 서로 다른 출처 사이가 아니라 하나의 출처 안에서 비교해야 한다. Pipecat 가이드의 표는 합계가 1,293 ms인데 본문은 약 1,200 ms라고 한다. 섹션 3의 캐스케이드형 에이전트 가이드에 있는 구성 요소별 목표(합계 825 ms)는 같은 가이드의 플랫폼 목표 885 ms와 맞춰지지 않는다. 벤더 수치(음성 인식, 턴 감지, 음성 합성, 실시간 모델 제작사)는 벤더 주장 또는 벤더가 실행한 벤치마크로 표시했다. 2009년과 2015년의 턴 테이킹 연구, 2003년판 G.114, 2014년 지연 연구는 3년이 넘었지만 이러한 기준에 대해서는 여전히 입수 가능한 가장 최근 데이터다. 실측한 에이전트 지연을 실제 통화 포기와 연결하는, 동료 평가를 거친 공개 데이터셋은 아직 없다.
- 마지막 업데이트: 2026년 10월 27일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 Artificial Analysis가 다음 Speech to Speech Index 업데이트를 공개할 때 이루어질 것으로 예상한다.