사람이 직접 라벨링한 2인 대화 30시간 분량에서 듣는 사람은 현재 턴이 끝나기 중앙값 151 ms 전에 말하기 시작했지만, Amazon Lex V2는 기본적으로 발신자가 말을 멈춘 뒤 600 ms의 무음을 기다린 다음에야 발화가 완료되었다고 판단한다. 이 간극이 턴 종료 감지 문제의 전부다. 사람은 턴의 끝을 예측하는데, 대부분의 기계는 무음을 기다린다. 기다리는 데에는 양방향으로 측정 가능한 비용이 따른다. 무음 기반 턴 종료 감지를 쓴 로봇은 자신의 턴 중 16.6%에서 사용자의 말을 끊었고, 그러고도 응답 지연의 중앙값은 2.7초였다. 또 사용자가 상용 음성 모델의 말 위에 겹쳐 말했을 때, 모델이 말을 멈추는 데 걸린 시간은 0.23초에서 2.25초까지 다양했다. 이 정리는 턴 판단 자체에 초점을 맞춘다. 마이크에서 첫 오디오까지의 전체 파이프라인 지연은 저희 음성 AI 에이전트 지연 시간 통계를 참고하세요. 데이터는 TurnBench 벤치마크, 막스 플랑크 연구소의 PNAS 턴테이킹 연구, Amazon Science와 Google Research의 엔드포인팅 논문, Kyutai의 Moshi 논문, Full-Duplex-Bench와 Talking Turns 벤치마크, 그리고 동료 심사를 거친 Voice Activity Projection 연구에서 모았다.
요약
- 듣는 사람은 매끄러운 턴 교대에서 상대의 턴이 끝나기 중앙값 151 ms 전에 말하기 시작한다 (TurnBench, IEEE SLT 2026)
- 세 개의 대화 코퍼스에서 턴 전환의 51%~55%는 200 ms 미만이 걸린다 (Heldner와 Edlund 2010, Frontiers in Psychology 2015에서 검토)
- Amazon Lex V2는 발화가 끝났다고 판단하기 전에 기본적으로 600 ms의 무음을 기다린다 (AWS Lex V2 문서)
- 음성 인식과 엔드포인팅을 함께 학습시키자 Google의 엔드포인트 지연 중앙값이 390 ms에서 270 ms로 줄었다 (Bijwadia 외, Google, SLT 2022)
- 무음 기반 로봇 기준 모델은 시스템 턴의 16.6%에서 사용자의 말을 끊었고, 예측 모델은 6.9%였다 (Skantze와 Irfan, KTH, 2025)
- 영어로 학습한 턴테이킹 모델은 일본어 대화에서 균형 정확도가 59.43%로 떨어졌다 (Inoue 외, LREC-COLING 2024)
- 사용자가 끼어들었을 때 GPT-4o Realtime은 0.23초, Nova Sonic은 2.25초 만에 말을 멈췄다 (Full-Duplex-Bench v1.5, 2025)
- 사용자의 끼어들기 중 사용자가 Moshi에게서 발언권을 가져간 경우는 17.4%에 그쳤고, 사람 간 대화에서는 63.6%였다 (Arora 외, ICLR 2025)
- Moshi의 전이중 설계는 이론상 지연이 160 ms이고 실제로는 200 ms다 (Kyutai, Moshi 논문 2024)
- 캐스케이드형 대화 파이프라인은 분당 겹치는 발화가 0.0초였으나, 실제 Fisher 전화 통화에서는 3.6초였다 (Nguyen 외, Generative Spoken Dialogue Language Modeling 2022)
1. 사람의 기준: 턴은 기다리기보다 겹친다
한 사람이 말하고 멈추면 다른 사람이 대답한다는 대화의 표준적인 그림은 소프트웨어에 중요한 방식으로 틀렸다. 사람이 직접 라벨링한 30시간 분량의 2인 대화로 만든 2026년 벤치마크 TurnBench에서 듣는 사람은 현재 턴이 끝나기 중앙값 151 ms 전에 말하기 시작했고, 발언권을 가져가는 끼어들기까지 포함하면 오프셋의 중앙값은 종료 281 ms 전에 이른다 (TurnBench, Jiang 외, IEEE SLT 2026). 여기서 발언권 이전이란 말할 권리가 한 사람에게서 다른 사람에게로 넘어가는 순간을 뜻한다. 무음을 기다리는 감지기는 어떤 처리가 시작되기도 전에 설계상 이미 늦다.
타이밍에는 의미도 담겨 있다. 10개 언어를 대상으로 한 PNAS 연구는 질문에 답하지 않는 응답(예: 모르겠어요)이 실제 답변보다 131.78 ms 늦게 오고, 다변량 모델에서 긍정 응답이 부정 응답보다 206.87 ms 빨리 온다는 것을 밝혔다 (Stivers 외, PNAS 2009). 사람은 이런 지연을 신호로 받아들인다. 응답 전에 언제나 같은 고정된 무음을 기다리는 음성 에이전트는 의도하지 않은 신호를 보내는 셈이다.
| 지표 | 값 | 출처 |
|---|---|---|
| 듣는 사람이 말하기 시작하는 오프셋의 중앙값, 매끄러운 턴 교대 (음수 = 턴 종료 이전) | -151 ms | TurnBench, Jiang 외, IEEE SLT 2026 |
| 예/아니요 질문 뒤 응답의 최빈(모달) 오프셋, 10개 언어 합산 | 0 ms (언어별 최빈값은 0~+200 ms) | Stivers 외, PNAS 2009 |
| 응답이 질문에 답하지 않을 때의 추가 지연, 다변량 모델 | +131.78 ms (95% 신뢰구간 59.34~204.23) | Stivers 외, PNAS 2009 |
| 긍정 응답과 부정 응답의 지연 차이, 다변량 모델 | -206.87 ms (95% 신뢰구간 -268.61~-145.12) | Stivers 외, PNAS 2009 |
| 코더가 제때라고 판단한 응답의 평균 응답 오프셋, 일본어 대 덴마크어 | 36 ms 대 203 ms | Stivers 외, PNAS 2009 |
| 200 ms보다 빠른 턴 전환의 비중, 세 개 코퍼스 | 51%~55% | Heldner와 Edlund 2010, Levinson과 Torreira, Frontiers in Psychology 2015에서 검토 |
| 두 화자가 동시에 말하는 Switchboard 신호의 비중 | 3.8% | Levinson과 Torreira, Frontiers in Psychology 2015 |
참고 사항: 겹침의 양상은 측정 방식에 따라 달라진다. 겹치는 발화는 Switchboard 오디오의 3.8%에 불과하지만, Heldner와 Edlund는 대부분의 겹침이 짧기 때문에 약 40%의 전환에서 겹침을 발견했다 (Levinson과 Torreira, Frontiers in Psychology 2015). 언어 간 수치에 대해 입수 가능한 가장 최근 데이터는 Stivers 외(2009)와 Heldner와 Edlund(2010)다. 사람의 턴 타이밍은 천천히 변하므로, 이 연구들이 오래되었다는 점은 제품 벤치마크만큼 중요하지 않다.
2. 기계는 얼마나 기다리나: 무음 타임아웃과 엔드포인트 지연
대부분의 상용 시스템은 지금도 타이머로 턴이 끝났는지를 판단한다. Amazon Lex V2는 발신자가 말을 멈춘 뒤 기본적으로 600 ms의 무음을 기다린 다음에야 발화가 끝났다고 판단하며, 발신자가 말을 시작하기를 4,000 ms 기다리고, 하나의 발화는 55,000 ms에서 잘라낸다 (AWS, Configuring timeouts for capturing user input with a Lex V2 bot). 연구 논문들은 이보다 더 긴 설정을 기술한다. Voice Activity Projection 저자들은 음성 대화 시스템이 보통 1~2초 정도의 무음 타임아웃을 쓴다고 말한다.
연구의 최전선은 시스템이 판단을 확정하는 순간에서 몇 밀리초를 깎아내는 일이다. 음성 인식과 엔드포인터(사용자가 끝냈다고 판단하는 구성 요소) 사이에서 층을 공유하는 Google의 통합 모델은 단어 오류율을 5.8%로 유지한 채 엔드포인트 지연의 중앙값을 390 ms에서 270 ms로, 90번째 백분위 지연을 740 ms에서 570 ms로 줄였다 (Bijwadia 외, Google, Unified End-to-End Speech Recognition and Endpointing, SLT 2022). 판단이 빨라져도 받아쓰기가 정확해야 도움이 되며, 이 주제는 저희 음성 인식 환각 통계에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| 발신자가 말을 멈춘 뒤 기본 무음 대기 시간, Amazon Lex V2 | 600 ms | AWS Lex V2 문서 |
| VAD만으로 턴을 끝내기 전의 기본 무음 지연, LiveKit Agents (공급업체 기본값) | 500 ms | LiveKit 블로그, 2024년 12월 20일 (공급업체 자체 설정) |
| 음성 대화 시스템에서 일반적인 무음 타임아웃 | 약 1~2초 | Inoue 외, 교토대학교, IWSDS 2024 |
| 엔드포인트 지연의 중앙값 / 90번째 백분위, 인식과 엔드포인팅을 별도 모델로 쓴 경우 (Google 음성 검색, 약 14,000개 발화) | 390 ms / 740 ms | Bijwadia 외, Google, SLT 2022 |
| 엔드포인트 지연의 중앙값 / 90번째 백분위, 통합 모델 | 270 ms / 570 ms (각각 120 ms, 170 ms 감소, 30.8%와 23.0%) | Bijwadia 외, Google, SLT 2022 |
| 50 / 90 / 99번째 백분위의 엔드포인트 지연, 트랜잭션 쿼리에서의 Alexa 기준 모델 | 300 / 570 / 1,110 ms | Raju 외, Amazon, Two-Pass Endpoint Detection 2024 |
참고 사항: 핵심은 백분위의 분포다. 중앙값 300 ms는 사람의 타이밍에 가까워 보이지만, Alexa 트랜잭션 쿼리 중 가장 느린 1%는 답변이 생성되기도 전에 엔드포인트 판단만으로 1,110 ms 이상 기다렸다 (Raju 외, Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024). Google 수치에 대해 입수 가능한 가장 최근 데이터는 2022년의 것이다.
3. 잘못된 끼어들기와 늦은 응답: 엔드포인팅의 트레이드오프
모든 엔드포인터는 두 가지 실패를 맞바꾼다. 사용자가 생각하는 도중에 말을 끊는 것(잘못된 끼어들기)과, 사용자가 끝낸 뒤 죽은 듯한 침묵을 남기는 것이다. 우리가 찾은 가장 직접적인 측정은 Furhat 로봇 헤드를 이용한 39명 참가자 연구에서 나왔다. 표준적인 무음 기반 기준 모델에서 로봇은 자신의 턴 중 16.6%에서 사용자의 말을 끊었고, 그러고도 응답 시간의 중앙값이 2.7초였다. TurnGPT와 Voice Activity Projection을 결합한 예측 모델은 끼어들기를 6.9%로, 응답 시간의 중앙값을 1.5초로 줄였으며, 두 차이 모두 p < 0.001이었다 (Skantze와 Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025). 무음 기반 설계는 두 축 모두에서 동시에 졌다.
한쪽을 고치면 보통 다른 쪽이 희생된다. 마이크를 닫기 전에 첫 번째 엔드포인터를 다시 확인하는 Amazon의 2차 패스 중재기는 트랜잭션 쿼리에서 너무 이른 엔드포인팅(사용자가 끝내기 전에 멈추는 것)을 16.34% 줄였지만, 99번째 백분위 지연은 1,110 ms에서 1,320 ms로 늘렸다. 가장 단순한 감지기는 반대 방향에서 실패한다. 단순한 소리 크기 기반 트리거는 턴이 실제로 끝나지 않은 순간의 절반 넘게 작동했다 (아래 위양성 행 참조). 이런 트리거는 의미가 아니라 소리에 반응하므로 입력되는 오디오의 품질이 중요하며, 이는 저희 신경망 소음 억제 통계와 이어진다.
| 지표 | 값 | 출처 |
|---|---|---|
| 사용자의 말을 끊은 시스템 턴, 무음 기반 기준 모델 대 TurnGPT와 VAP 모델 | 16.6% 대 6.9% | Skantze와 Irfan, KTH, 2025 |
| 시스템 응답 시간의 중앙값, 무음 기반 기준 모델 대 TurnGPT와 VAP 모델 | 2.7초 대 1.5초 | Skantze와 Irfan, KTH, 2025 |
| 무음 기반 기준 모델을 선호한 참가자 / 선호가 없던 참가자 | 39명 중 9명 / 39명 중 3명 | Skantze와 Irfan, KTH, 2025 |
| 엔드포인터가 너무 일찍 듣기를 멈춘 발화, SLURP 벤치마크, 기준 모델 대 중재기 적용 | 2.39% 대 2.19% (상대적 8.37% 감소) | Raju 외, Amazon, 2024 |
| 트랜잭션 쿼리에서 너무 이른 엔드포인팅의 상대적 감소 / 99번째 백분위 지연의 전후 | 16.34% / 1,110 ms 대 1,320 ms | Raju 외, Amazon, 2024 |
| 실제 턴 종료를 예측할 때의 정밀도, 음향 감지기 대 엔드투엔드 모델 (재현율 97.3% 대 97.5%) | 67.3% 대 84.7% | Chang 외, Google, Interspeech 2022 |
| TurnBench에서의 위양성률, 단순 에너지 감지기 대 OpenAI Realtime server VAD | 0.632 대 0.525 | TurnBench 리더보드, 2026년 10월 31일 확인 |
| 의도하지 않은 끼어들기의 감소, 트랜스포머 턴 감지기와 VAD 대 VAD 단독 | 85% | LiveKit 블로그, 2024년 12월 20일 (공급업체 자체 주장, 테스트 세트 비공개) |
참고 사항: 로봇 기준 모델은 문서화되지 않은 Google의 발화 종료 감지기에 의존했는데, 저자들은 이를 임계값 기반으로 추정하고 1초 임계값을 언급한다. 따라서 정밀한 타이머 설정이 아니라 무음 기반 시스템으로 읽어야 한다. Google의 턴 종료 연구는 비유창한 테스트 음성(무작위 멈춤, 음 같은 채움 멈춤, 늘어진 단어, 반복된 구절)을 사용했으며, 논문에 따르면 기존 엔드포인터가 사용자의 말을 끊는 것이 바로 이런 경우다 (Chang 외, Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022). 자연 대화 테스트 세트는 10명의 화자가 낸 200개 발화뿐이므로, 정밀도 수치는 방향성을 보여주는 참고치로 보는 것이 좋다.
4. 턴의 끝 예측하기: VAP, TurnGPT, 리더보드
예측 모델은 방이 조용해졌는지만이 아니라 문장이 어떻게 흘러가는지를 듣는다. 텍스트 모델인 TurnGPT는 자연스러운 음성 대화에서 균형 정확도 0.823을 기록했고, LSTM 기준 모델은 0.748이었다 (Ekstedt와 Skantze, TurnGPT, Findings of EMNLP 2020). 균형 정확도는 턴 전환과 턴 유지의 성능을 평균한 값이므로 0.5가 우연 수준이다. Voice Activity Projection(VAP)은 오디오 자체를 다루며 다음 2초 동안 누가 말할지를 예측한다.
언어는 숨은 변수다. 영어로 학습한 VAP 모델은 일본어에서 균형 정확도가 59.43%로 떨어졌고, 일본어로 학습한 모델은 74.20%였다. 또 턴 전환은 일본어 데이터에서 전환 또는 유지 순간의 42.9%를 차지했으나 영어에서는 9.9%였다 (Inoue 외, Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024). 영어 통화로 튜닝한 턴 감지기는 다국어 제품에서 중립적인 구성 요소가 아니다.
| 지표 | 값 | 출처 |
|---|---|---|
| 자연스러운 음성 대화에서 턴 전환을 예측하는 균형 정확도, TurnGPT 대 LSTM 기준 모델 | 0.823 대 0.748 | Ekstedt와 Skantze, KTH, Findings of EMNLP 2020 |
| VAP의 전환 대 유지 균형 정확도, 같은 언어로 학습하고 테스트: 영어 / 중국어(만다린) / 일본어 | 79.59% / 84.49% / 74.20% | Inoue 외, 교토대학교, LREC-COLING 2024 |
| 영어로 학습하고 일본어로 테스트한 VAP | 59.43% | Inoue 외, 교토대학교, LREC-COLING 2024 |
| 전환 또는 유지 이벤트 중 턴 전환이 차지하는 비중, 영어 대 일본어 테스트 데이터 | 9.9% 대 42.9% | Inoue 외, 교토대학교, LREC-COLING 2024 |
| CPU에서의 VAP, 오디오 컨텍스트 1초 대 20초, 일본어 데이터: 실시간 계수 (1 미만 = 실시간보다 빠름) | 0.73 대 13.69 | Inoue 외, 교토대학교, IWSDS 2024 |
| TurnBench에서의 Voice Activity Projection: 재현율 / 위양성률 / 지연 | 0.845 / 0.055 / 368 ms | TurnBench 리더보드, 2026년 10월 31일 확인 |
| TurnBench에서의 Smart Turn v3 대 Kyutai Semantic VAD: 재현율 / 위양성률 / 지연 | 0.752 / 0.047 / 1,017 ms 대 0.773 / 0.059 / 1,007 ms | TurnBench 리더보드, 2026년 10월 31일 확인 |
| TurnBench에서의 Gemini 3.1 Live 대 semantic VAD를 쓴 OpenAI Realtime: 재현율 / 위양성률 / 지연 | 0.657 / 0.022 / 1,234 ms 대 0.303 / 0.018 / 793 ms | TurnBench 리더보드, 2026년 10월 31일 확인 |
참고 사항: 전환 비중은 서로 다른 코퍼스(Switchboard 전화 통화 대 일본어 여행사 과제)에서 나온 것이므로, 이 차이에는 언어뿐 아니라 과제의 차이도 반영되어 있다. 실시간 결과는 실제 배포에서 중요하다. 컨텍스트 1초에서 VAP는 Intel Xeon CPU에서 프레임당 14.61 ms로 동작하며 균형 정확도 76.16%에 도달했는데, 이는 컨텍스트 20초에서 측정된 74.20%보다 약간 높다 (Inoue 외, Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024). TurnBench 리더보드는 위양성률이 0.15를 넘는 시스템을 실격 처리하며, 표에서 가장 신중한 두 시스템은 오경보가 가장 적은 대신 실제 턴 종료를 가장 많이 놓친다. TurnGPT에 대해 입수 가능한 가장 최근 데이터는 2020년의 것이다.
5. 바지인: 사용자가 에이전트 위에 겹쳐 말할 때
바지인은 반대 방향의 문제다. 에이전트가 말하고 있는데 사용자가 말하기 시작한다. 빨리 멈추는 것은 일의 절반일 뿐이다. Full-Duplex-Bench v1.5에서 GPT-4o Realtime은 사용자가 끼어든 지 0.23초 뒤에 말을 멈췄고 사용자가 한 말에 78%의 비율로 대응한 반면, Nova Sonic은 멈추는 데 2.25초가 걸렸고 끼어들기를 무시하고 이전 답변을 이어간 경우가 71%였다 (Lin 외, Full-Duplex-Bench v1.5, arXiv 2025). 이 모델들을 평가하는 콘택트 센터 팀들은 저희 음성 에이전트 콘택트 센터 자동화 통계에서 다룬 것처럼 전혀 다른 두 가지 동작 중 하나를 선택하게 된다.
반대쪽 오류는 맞장구(백채널), 즉 듣는 사람이 따라가고 있음을 보여주려고 하는 짧은 응 또는 맞아 같은 말에 양보해 버리는 것이다. GPT-4o Realtime은 이런 신호에도 0.21초 만에 멈췄는데, 저자들은 이를 지나치게 성급한 멈춤으로 해석한다. 즉각적인 양보는 사람의 표준도 아니다. 끼어들기를 당한 사람은 발언권을 넘기기 전에 중앙값 1.48초 동안 계속 말하므로, 가장 짧은 정지 시간이 자동으로 올바른 목표가 되는 것은 아니다. Moshi는 이 척도의 반대쪽 끝에 있으며, 사용자의 끼어들기 중 사용자가 발언권을 가져가며 끝난 경우는 17.4%뿐이다.
| 지표 | 값 | 출처 |
|---|---|---|
| 사용자가 에이전트에게 끼어들 때, GPT-4o Realtime: 사용자가 한 말에 대응한 비율 / 이전 답변을 이어간 비율 / 말을 멈추기까지의 시간 | 0.78 / 0.10 / 0.23초 | Lin 외, Full-Duplex-Bench v1.5, 2025 |
| 사용자가 에이전트에게 끼어들 때, Gemini 2.0 Flash Live 엔드포인트: 사용자가 한 말에 대응한 비율 / 이전 답변을 이어간 비율 / 말을 멈추기까지의 시간 | 0.33 / 0.55 / 2.20초 | Lin 외, Full-Duplex-Bench v1.5, 2025 |
| 사용자가 에이전트에게 끼어들 때, Nova Sonic: 사용자가 한 말에 대응한 비율 / 이전 답변을 이어간 비율 / 말을 멈추기까지의 시간 | 0.24 / 0.71 / 2.25초 | Lin 외, Full-Duplex-Bench v1.5, 2025 |
| 사용자가 맞장구만 칠 때 (응): GPT-4o Realtime의 정지까지 시간 대 Nova Sonic이 이전 답변을 이어간 비율 | 0.21초 대 0.98 | Lin 외, Full-Duplex-Bench v1.5, 2025 |
| 사용자가 발언권을 가져가며 끝난 끼어들기, 끼어들기를 당한 쪽 기준: Moshi / 캐스케이드형 시스템 / 사람 화자 | 17.4% / 59.4% / 63.6% | Arora 외, Talking Turns, ICLR 2025 |
| 사용자에 대한 위양성 끼어들기였던 Moshi의 판단 | 전체 판단의 2.09% | Arora 외, Talking Turns, ICLR 2025 |
| 끼어들기를 당한 사람이 발언권을 넘기기 전까지 계속 말하는 시간의 중앙값 | 1.48초 | TurnBench, Jiang 외, IEEE SLT 2026 |
| Amazon Lex V2 프롬프트의 바지인(끼어들기 허용) 기본값 | 켜짐(true) | AWS Lex V2 문서 |
참고 사항: Talking Turns 사용자 연구는 참가자 11명으로 시스템당 약 4시간의 사람과 AI의 대화를 수집했고, 사용자의 끼어들기는 채점된 사례의 Moshi 0.2%, 캐스케이드형 0.1%에 불과했다. 따라서 이 비율들은 적은 수에 근거하며, 특히 캐스케이드형이 그렇다 (Arora 외, Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025). Full-Duplex-Bench v1.5는 실제 발신자가 아니라 합성된 200건의 끼어들기를 사용한다. 콘택트 센터 발신자가 운영 중인 음성 에이전트에 얼마나 자주 바지인하는지에 관한 공개된 1차 데이터셋은 찾지 못했다.
6. 전이중 모델: 듣는 동시에 말하기
전이중 모델은 턴 판단 자체를 없앤다. 병렬 오디오 스트림에서 듣고 말하기 때문에 겹침과 맞장구가 자연스럽게 일어날 수 있다. Kyutai의 Moshi는 이론상 지연 160 ms, 실제로는 200 ms를 보고하며, 저자들은 실제 대화에서 겹치는 발화가 말한 시간의 10%~20%를 차지한다고 지적한다 (Défossez 외, Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024). dGSLM 평가의 캐스케이드형 기준 모델은 이를 전혀 만들어내지 못했으며, 생성된 대화 1분당 멈춤도 겹침도 0이었다 (Nguyen 외, Generative Spoken Dialogue Language Modeling, 2022).
속도가 아직 판단력이 되지는 못했다. Full-Duplex-Bench에서 Moshi는 Candor 세트의 사용자 멈춤 동안 0.980의 테이크오버율을 기록했고, Gemini Live는 0.310이었다. 이 지표는 낮을수록 좋은데, 사용자가 잠시 멈췄을 뿐인데 발언권을 가져가는 것은 끼어들기이기 때문이다 (Lin 외, Full-Duplex-Bench, ASRU 2025). 전이중 모델은 침묵 문제를 해결했지만 끼어들기 문제를 물려받았다.
| 지표 | 값 | 출처 |
|---|---|---|
| Moshi의 이론상 / 실제 응답 지연 | 160 ms / 200 ms | Défossez 외, Kyutai, 2024 |
| Moshi의 오디오 사전 학습 / Fisher 전화 대화 파인튜닝 데이터 | 700만 시간 / 2,000시간 | Défossez 외, Kyutai, 2024 |
| Moshi 논문에서 인용한 실제 대화의 겹치는 발화 | 말한 시간의 10%~20% | Défossez 외, Kyutai, 2024 (Cetin과 Shriberg 2006 인용) |
| 분당 겹침, 실제 Fisher 대화 대 캐스케이드형 대화 시스템 | 3.6초 대 0.0초 | Nguyen 외, dGSLM, 2022 |
| 분당 화자 간 간격, 실제 Fisher 대화 대 캐스케이드형 시스템 | 7.5 대 14.9 | Nguyen 외, dGSLM, 2022 |
| 누적 간격 / 겹침, 샘플링 온도 1.0의 Moshi 대 실제 대화 (같은 dGSLM 프로토콜) | 4.5초 / 4.1초 대 4.2초 / 3.3초 | Défossez 외, Kyutai, 2024 |
| 대화 시간 중 무음 간격에 쓰인 비중, Moshi 대 캐스케이드형 시스템 (사용자 연구) | 11.8% 대 32.4% | Arora 외, Talking Turns, ICLR 2025 |
| 사용자 멈춤 동안의 테이크오버율, Candor 세트 (낮을수록 좋음): Moshi / dGSLM / Gemini Live | 0.980 / 0.935 / 0.310 | Lin 외, Full-Duplex-Bench, 2025 |
참고 사항: Moshi의 턴 통계는 샘플링 온도에 따라 크게 흔들린다. 온도 0.8에서 누적 겹침은 1.2초로 줄고 간격은 12.5초로 늘었으므로, 하나의 Moshi 겹침 수치는 어느 쪽으로든 인용될 수 있다. dGSLM에 대해 입수 가능한 가장 최근 데이터는 2022년의 것이다.
숫자로 보는 대화형 AI 턴 종료 감지와 바지인
| 지표 | 값 | 출처 |
|---|---|---|
| 매끄러운 턴 교대에서 듣는 사람의 시작 시점 (턴 종료 이전) | 중앙값 151 ms 앞서 | TurnBench, IEEE SLT 2026 |
| 200 ms보다 빠른 턴 전환 | 51%~55% | Heldner와 Edlund 2010, Frontiers in Psychology 2015 경유 |
| 응답이 질문에 답하지 않을 때의 응답 지연 | +131.78 ms | Stivers 외, PNAS 2009 |
| 코더가 제때라고 판단한 응답의 평균 오프셋, 일본어 대 덴마크어 | 36 ms 대 203 ms | Stivers 외, PNAS 2009 |
| Amazon Lex V2가 발화를 끝내기 전에 기본으로 기다리는 무음 시간 | 600 ms | AWS Lex V2 문서 |
| Google 엔드포인트 지연의 중앙값, 별도 모델 대 통합 모델 | 390 ms 대 270 ms | Bijwadia 외, Google, SLT 2022 |
| 사용자의 말을 끊은 로봇 턴, 무음 기반 기준 모델 대 예측 모델 | 16.6% 대 6.9% | Skantze와 Irfan, KTH, 2025 |
| 로봇 응답 시간의 중앙값, 무음 기반 기준 모델 대 예측 모델 | 2.7초 대 1.5초 | Skantze와 Irfan, KTH, 2025 |
| 실제 턴 종료를 예측하는 정밀도, 음향 감지기 대 엔드투엔드 모델 | 67.3% 대 84.7% | Chang 외, Google, Interspeech 2022 |
| VAP 정확도, 영어로 학습한 모델의 일본어 성능 대 일본어로 학습한 모델 | 59.43% 대 74.20% | Inoue 외, LREC-COLING 2024 |
| GPT-4o Realtime 대 Nova Sonic, 사용자 끼어들기 후 멈추기까지의 시간 | 0.23초 대 2.25초 | Full-Duplex-Bench v1.5, 2025 |
| 사용자가 발언권을 가져가며 끝난 끼어들기, Moshi 대 사람 화자 | 17.4% 대 63.6% | Arora 외, ICLR 2025 |
| Moshi의 이론상 / 실제 지연 | 160 ms / 200 ms | Kyutai, 2024 |
| 분당 겹침, 실제 Fisher 통화 대 캐스케이드형 시스템 | 3.6초 대 0.0초 | Nguyen 외, dGSLM, 2022 |
| 대화에서 무음 간격이 차지하는 비중, Moshi 대 캐스케이드형 시스템 | 11.8% 대 32.4% | Arora 외, ICLR 2025 |
| 사용자 멈춤 동안 Moshi의 테이크오버율, Candor 세트 | 0.980 | Full-Duplex-Bench, 2025 |
방법론과 출처
- Jiang 외, TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue, IEEE SLT 2026와 실시간 TurnBench 리더보드: 사람의 타이밍 통계와 시스템의 재현율, 위양성률, 지연.
- Stivers 외, Universals and cultural variation in turn-taking in conversation, PNAS 2009: 10개 언어, 101개 대화, 예/아니요 질문.
- Levinson과 Torreira, Timing in turn-taking and its implications for processing models of language, Frontiers in Psychology 2015: Switchboard 분석과 Heldner와 Edlund(Journal of Phonetics 2010)에 대한 검토.
- AWS, Configuring timeouts for capturing user input with a Lex V2 bot: 기본 무음, 시작, 바지인 설정.
- Bijwadia 외, Google, Unified End-to-End Speech Recognition and Endpointing for Fast and Efficient Speech Systems, SLT 2022.
- Chang 외, Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022.
- Raju 외, Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024.
- Skantze와 Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025.
- Ekstedt와 Skantze, TurnGPT, Findings of EMNLP 2020.
- Inoue 외, Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024와 Inoue 외, Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024.
- Lin 외, Full-Duplex-Bench, ASRU 2025와 Lin 외, Full-Duplex-Bench v1.5, 2025 (버전 3, 2026년 1월 28일).
- Arora 외, Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025.
- Défossez 외, Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024.
- Nguyen 외, Generative Spoken Dialogue Language Modeling (dGSLM), 2022, TACL 2023에 게재.
- LiveKit, Using a transformer to improve end of turn detection, 2024년 12월 20일: 공급업체의 주장이며 그렇게 표시했다.
- 데이터 참고 사항: Moshi 논문은 10개 언어에서 평균 응답 시간을 230 ms로 기술하는 반면 PNAS 연구는 평균 208 ms를 보고하므로, 언어 간 평균은 출처에 따라 다르다. 겹침의 발생 정도도 방법에 따라 다르다. Levinson과 Torreira의 Switchboard 분석에서는 발언권 이전의 약 30%, Heldner와 Edlund에서는 전환의 약 40%다. Google의 학회 초록은 중앙값과 90번째 백분위의 감소를 130 ms(33.3%)와 160 ms(22.2%)로 제시하지만, 여기서 쓴 arXiv 표에서는 120 ms(30.8%)와 170 ms(23.0%)다. TurnBench 리더보드는 실시간으로 운영되고 외부 제출을 받으므로 순위는 달라질 것이다. 위 수치는 2026년 10월 31일에 확인한 것이며, 자체 제출된 외부 항목은 제외했고 그중 9건은 재현율에서 Voice Activity Projection보다 높다. Full-Duplex-Bench v1.5 수치는 arXiv 버전 3에서 가져왔다. 콘택트 센터의 바지인 빈도에 관한 공개된 1차 데이터는 찾지 못했다.
마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 IEEE SLT 2026 논문집에 TurnBench 최종 논문이 게재될 때 이루어질 것으로 예상한다.