В 30 часах размеченных вручную разговоров двух собеседников слушатели начинали говорить в среднем (по медиане) на 151 мс раньше окончания текущей реплики, тогда как Amazon Lex V2 по умолчанию ждёт 600 мс тишины после того, как звонящий замолчал, прежде чем решить, что высказывание закончено. Эта разница и составляет суть проблемы определения конца реплики: люди предсказывают окончание реплики, а большинство машин ждут тишины. У ожидания есть измеримая цена в обе стороны. Робот с определением конца реплики на основе тишины перебивал пользователей в 16,6% своих реплик и всё равно отвечал с медианной задержкой 2,7 с, а когда пользователи говорили поверх коммерческих голосовых моделей, время, которое этим моделям требовалось, чтобы замолчать, составляло от 0,23 с до 2,25 с. Этот обзор посвящён самому решению о конце реплики; о задержке всего конвейера от микрофона до первого звука читайте в нашей статистике задержки голосовых ИИ-агентов. Мы собрали данные из бенчмарка TurnBench, исследования Института Макса Планка по смене реплик, опубликованного в PNAS, работ по эндпойнтингу из Amazon Science и Google Research, статьи о Moshi от Kyutai, бенчмарков Full-Duplex-Bench и Talking Turns, а также рецензируемых исследований Voice Activity Projection.
Кратко (TL;DR)
- Слушатели начинают говорить в среднем (по медиане) на 151 мс раньше окончания реплики собеседника при плавной передаче слова (TurnBench, IEEE SLT 2026)
- От 51% до 55% смен реплик в трёх корпусах разговоров занимают менее 200 мс (Heldner и Edlund 2010, обзор в Frontiers in Psychology 2015)
- Amazon Lex V2 по умолчанию ждёт 600 мс тишины, прежде чем считать устное высказывание законченным (документация AWS Lex V2)
- Совместное распознавание речи и эндпойнтинг снизили медианную задержку определения конца речи у Google с 390 мс до 270 мс (Bijwadia и др., Google, SLT 2022)
- Базовая система робота на основе тишины перебивала пользователей в 16,6% реплик системы против 6,9% у предиктивной модели (Skantze и Irfan, KTH, 2025)
- Модель смены реплик, обученная на английском, упала до сбалансированной точности 59,43% на японской речи (Inoue и др., LREC-COLING 2024)
- Когда пользователи перебивали, GPT-4o Realtime замолкала за 0,23 с, а Nova Sonic за 2,25 с (Full-Duplex-Bench v1.5, 2025)
- Лишь 17,4% перебиваний пользователем заканчивались тем, что пользователь забирал слово у Moshi, против 63,6% в разговоре между людьми (Arora и др., ICLR 2025)
- У полнодуплексной архитектуры Moshi теоретическая задержка составляет 160 мс, а на практике 200 мс (Kyutai, статья о Moshi 2024)
- Каскадный диалоговый конвейер давал 0,0 с наложения речи в минуту против 3,6 с в реальных телефонных разговорах корпуса Fisher (Nguyen и др., Generative Spoken Dialogue Language Modeling 2022)
1. Человеческий эталон: реплики накладываются чаще, чем ждут друг друга
Стандартная картина разговора, один говорит, замолкает, другой отвечает, неверна так, что это важно для программ. В TurnBench, бенчмарке 2026 года, построенном на 30 часах размеченных вручную диадических (между двумя людьми) разговоров, слушатели начинали говорить в среднем (по медиане) на 151 мс раньше окончания текущей реплики, а если учитывать перебивания с перехватом слова, медианное смещение достигает 281 мс до конца (TurnBench, Jiang и др., IEEE SLT 2026). «Передача слова» здесь означает просто момент, когда право говорить переходит от одного человека к другому. Детектор, который ждёт тишины, по построению опаздывает, ещё до начала какой-либо обработки.
Тайминг несёт и смысл. Исследование PNAS на 10 языках показало, что ответы, не отвечающие на вопрос (например, «не знаю»), приходят на 131,78 мс позже настоящих ответов, а подтверждения приходят на 206,87 мс раньше отрицательных ответов в многомерной модели (Stivers и др., PNAS 2009). Люди воспринимают эти задержки как сигналы. Голосовой агент, который всегда выдерживает одну и ту же фиксированную тишину перед ответом, посылает сигнал, который не собирался посылать.
| Показатель | Значение | Источник |
|---|---|---|
| Медианное смещение начала речи слушателя, плавная передача слова (отрицательное = до конца реплики) | -151 мс | TurnBench, Jiang и др., IEEE SLT 2026 |
| Самое частое (модальное) смещение ответа после вопроса «да или нет», 10 языков вместе | 0 мс (моды по языкам от 0 до +200 мс) | Stivers и др., PNAS 2009 |
| Дополнительная задержка, когда ответ не отвечает на вопрос, многомерная модель | +131,78 мс (95%-й ДИ от 59,34 до 204,23) | Stivers и др., PNAS 2009 |
| Разница в задержке между подтверждениями и отрицательными ответами, многомерная модель | -206,87 мс (95%-й ДИ от -268,61 до -145,12) | Stivers и др., PNAS 2009 |
| Среднее смещение ответа среди ответов, которые аннотаторы сочли своевременными, японский и датский | 36 мс и 203 мс | Stivers и др., PNAS 2009 |
| Доля смен реплик быстрее 200 мс, три корпуса | от 51% до 55% | Heldner и Edlund 2010, обзор в Levinson и Torreira, Frontiers in Psychology 2015 |
| Доля сигнала Switchboard, в которой оба собеседника говорят одновременно | 3,8% | Levinson и Torreira, Frontiers in Psychology 2015 |
Примечание к контексту: картина наложения речи зависит от способа измерения. Наложенная речь занимает лишь 3,8% аудио Switchboard, но Heldner и Edlund обнаружили наложения примерно в 40% смен реплик, потому что большинство наложений короткие (Levinson и Torreira, Frontiers in Psychology 2015). Самые свежие доступные данные для межъязыковых показателей: Stivers и др., 2009, и Heldner и Edlund, 2010. Тайминг реплик у людей меняется медленно, поэтому возраст этих исследований важен меньше, чем для продуктовых бенчмарков.
2. Сколько ждут машины: тайм-ауты тишины и задержка определения конца речи
Большинство промышленных систем до сих пор решают, что реплика закончилась, по таймеру. Amazon Lex V2 по умолчанию ждёт 600 мс тишины после того, как звонящий замолчал, прежде чем считать высказывание законченным, ждёт 4 000 мс, пока звонящий вообще начнёт говорить, и обрезает любое одиночное высказывание на 55 000 мс (AWS, Configuring timeouts for capturing user input with a Lex V2 bot). В научных статьях описаны ещё более длинные настройки: авторы Voice Activity Projection пишут, что системы устного диалога обычно используют тайм-аут тишины около 1 или 2 секунд.
Передний край исследований - срезать миллисекунды с момента, когда система принимает решение. Совместная модель Google, у которой общие слои для распознавания речи и эндпойнтера (компонента, решающего, что пользователь закончил), снизила медианную задержку определения конца речи с 390 мс до 270 мс, а задержку на 90-м процентиле с 740 мс до 570 мс, сохранив долю ошибок в словах на уровне 5,8% (Bijwadia и др., Google, Unified End-to-End Speech Recognition and Endpointing, SLT 2022). Более быстрые решения помогают, только если транскрипция верна, эту тему мы разбираем в статистике галлюцинаций при распознавании речи.
| Показатель | Значение | Источник |
|---|---|---|
| Ожидание тишины по умолчанию после того, как звонящий замолчал, Amazon Lex V2 | 600 мс | Документация AWS Lex V2 |
| Задержка тишины по умолчанию перед концом реплики только по VAD, LiveKit Agents (значение по умолчанию у поставщика) | 500 мс | Блог LiveKit, 20 декабря 2024 года (собственная настройка поставщика) |
| Обычный тайм-аут тишины в системах устного диалога | Около 1 или 2 секунд | Inoue и др., Kyoto University, IWSDS 2024 |
| Медианная / 90-й процентиль задержки определения конца речи, раздельные модели распознавания и эндпойнтинга (голосовой поиск Google, около 14 000 высказываний) | 390 мс / 740 мс | Bijwadia и др., Google, SLT 2022 |
| Медианная / 90-й процентиль задержки определения конца речи, совместная модель | 270 мс / 570 мс (на 120 мс и 170 мс меньше, на 30,8% и 23,0%) | Bijwadia и др., Google, SLT 2022 |
| Задержка определения конца речи на 50-м / 90-м / 99-м процентиле, базовая система Alexa на транзакционных запросах | 300 / 570 / 1 110 мс | Raju и др., Amazon, Two-Pass Endpoint Detection 2024 |
Примечание к контексту: суть в разбросе по процентилям. Медиана в 300 мс выглядит близкой к человеческому темпу, но самый медленный 1% транзакционных запросов Alexa ждал 1 110 мс и более только решения о конце речи, ещё до генерации какого-либо ответа (Raju и др., Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024). Самые свежие доступные данные для показателей Google: 2022 год.
3. Ложные перебивания и запоздалые ответы: компромисс эндпойнтинга
Каждый эндпойнтер обменивает два вида ошибок друг на друга: оборвать пользователя на полуслове (ложное перебивание) или оставить мёртвую тишину после того, как пользователь закончил. Самое прямое измерение, которое мы нашли, взято из исследования с 39 участниками и роботизированной головой Furhat. При стандартной базовой системе на основе тишины робот перебивал пользователей в 16,6% своих реплик и всё равно имел медианное время ответа 2,7 с; предиктивная модель, объединяющая TurnGPT и Voice Activity Projection, снизила число перебиваний до 6,9%, а медианное время ответа до 1,5 с, обе разницы при p < 0,001 (Skantze и Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025). Конструкция на основе тишины проиграла сразу по обеим осям.
Исправление одной стороны обычно обходится ценой другой. «Арбитр» второго прохода у Amazon, который перепроверяет первый эндпойнтер перед закрытием микрофона, сократил преждевременное завершение прослушивания (остановку до того, как пользователь закончил) на 16,34% на транзакционных запросах, но поднял задержку на 99-м процентиле с 1 110 мс до 1 320 мс. Самые грубые детекторы ошибаются в другую сторону: простые триггеры по уровню звука срабатывали более чем в половине моментов, когда реплика на самом деле ещё не закончилась (см. строку о ложных срабатываниях ниже). Эти триггеры реагируют на звук, а не на смысл, поэтому важно, какое аудио до них доходит, что перекликается с нашей статистикой нейросетевого шумоподавления.
| Показатель | Значение | Источник |
|---|---|---|
| Реплики системы, перебившие пользователя, базовая система на основе тишины и модель TurnGPT плюс VAP | 16,6% и 6,9% | Skantze и Irfan, KTH, 2025 |
| Медианное время ответа системы, базовая система на основе тишины и модель TurnGPT плюс VAP | 2,7 с и 1,5 с | Skantze и Irfan, KTH, 2025 |
| Участники, которые предпочли базовую систему на основе тишины / без предпочтения | 9 из 39 / 3 из 39 | Skantze и Irfan, KTH, 2025 |
| Высказывания, в которых эндпойнтер перестал слушать слишком рано, бенчмарк SLURP, базовая система и система с арбитром | 2,39% и 2,19% (относительное снижение на 8,37%) | Raju и др., Amazon, 2024 |
| Относительное сокращение преждевременного завершения прослушивания на транзакционных запросах / задержка на 99-м процентиле до и после | 16,34% / 1 110 мс и 1 320 мс | Raju и др., Amazon, 2024 |
| Прецизионность при предсказании настоящего конца реплики, акустический детектор и сквозная модель (полнота 97,3% и 97,5%) | 67,3% и 84,7% | Chang и др., Google, Interspeech 2022 |
| Доля ложных срабатываний в TurnBench, простой энергетический детектор и серверный VAD OpenAI Realtime | 0,632 и 0,525 | Рейтинг TurnBench на 31 октября 2026 года |
| Сокращение непреднамеренных перебиваний, трансформерный детектор конца реплики плюс VAD и только VAD | 85% | Блог LiveKit, 20 декабря 2024 года (собственное утверждение поставщика, тестовый набор не раскрыт) |
Примечание к контексту: базовая система робота опиралась на недокументированный детектор конца речи Google, который, по предположению авторов, основан на пороге, и они ссылаются на порог в 1 с, поэтому её следует понимать как систему на основе тишины, а не как точную настройку таймера. В исследовании Google о конце реплики использовалась тестовая речь с дисфлюенциями (случайные паузы, заполненные паузы вроде «э-э», растянутые слова и повторяющиеся фразы), то есть случаи, в которых, по словам статьи, обычный эндпойнтер обрывает пользователя (Chang и др., Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022). Её тестовый набор естественного разговора содержит всего 200 высказываний от 10 говорящих, поэтому цифры прецизионности стоит считать ориентировочными.
4. Предсказание конца реплики: VAP, TurnGPT и рейтинг
Предиктивные модели слушают, как развивается фраза, а не только то, наступила ли тишина. TurnGPT, текстовая модель, достигла сбалансированной точности 0,823 на спонтанном устном диалоге против 0,748 у базовой модели LSTM (Ekstedt и Skantze, TurnGPT, Findings of EMNLP 2020). Сбалансированная точность усредняет результаты по «сменам реплики» и «удержаниям реплики», поэтому 0,5 соответствует случайному угадыванию. Voice Activity Projection (VAP) работает с самим аудио и предсказывает, кто будет говорить в следующие 2 секунды.
Язык - скрытая переменная. Модель VAP, обученная на английском, упала до сбалансированной точности 59,43% на японском против 74,20% у модели, обученной на японском, а смены реплики составляли 42,9% моментов «смена или удержание» в японских данных против 9,9% в английских (Inoue и др., Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024). Детектор конца реплики, настроенный на английских звонках, не является нейтральным компонентом в многоязычном продукте.
| Показатель | Значение | Источник |
|---|---|---|
| Сбалансированная точность предсказания смен реплики в спонтанном устном диалоге, TurnGPT и базовая модель LSTM | 0,823 и 0,748 | Ekstedt и Skantze, KTH, Findings of EMNLP 2020 |
| Сбалансированная точность VAP при выборе «смена или удержание», обучение и тест на одном языке: английский / мандаринский / японский | 79,59% / 84,49% / 74,20% | Inoue и др., Kyoto University, LREC-COLING 2024 |
| VAP, обученная на английском, тест на японском | 59,43% | Inoue и др., Kyoto University, LREC-COLING 2024 |
| Доля событий «смена или удержание», которые являются сменами реплики, тестовые данные на английском и японском | 9,9% и 42,9% | Inoue и др., Kyoto University, LREC-COLING 2024 |
| VAP на ЦП, 1 с и 20 с аудиоконтекста, японские данные: коэффициент реального времени (ниже 1 = быстрее реального времени) | 0,73 и 13,69 | Inoue и др., Kyoto University, IWSDS 2024 |
| Voice Activity Projection в TurnBench: полнота / доля ложных срабатываний / задержка | 0,845 / 0,055 / 368 мс | Рейтинг TurnBench на 31 октября 2026 года |
| Smart Turn v3 и Kyutai Semantic VAD в TurnBench: полнота / доля ложных срабатываний / задержка | 0,752 / 0,047 / 1 017 мс и 0,773 / 0,059 / 1 007 мс | Рейтинг TurnBench на 31 октября 2026 года |
| Gemini 3.1 Live и OpenAI Realtime с семантическим VAD в TurnBench: полнота / доля ложных срабатываний / задержка | 0,657 / 0,022 / 1 234 мс и 0,303 / 0,018 / 793 мс | Рейтинг TurnBench на 31 октября 2026 года |
Примечание к контексту: доли смен реплики взяты из разных корпусов (телефонные звонки Switchboard и задача турагентства на японском), поэтому разрыв отражает как задачу, так и язык. Результат в реальном времени важен для внедрения: с 1 секундой контекста VAP работала со скоростью 14,61 мс на кадр на процессоре Intel Xeon и достигла сбалансированной точности 76,16%, чуть выше 74,20%, измеренных с 20 секундами контекста (Inoue и др., Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024). Рейтинг TurnBench дисквалифицирует системы с долей ложных срабатываний выше 0,15, а две самые осторожные системы в таблице дают меньше всего ложных тревог, но пропускают больше всего настоящих концов реплики. Самые свежие доступные данные для TurnGPT: 2020 год.
5. Перебивание агента пользователем: что происходит, когда пользователь говорит поверх агента
Перебивание агента пользователем - обратная проблема: агент говорит, а пользователь начинает говорить. Быстро замолчать - лишь половина дела. В Full-Duplex-Bench v1.5 GPT-4o Realtime замолкала через 0,23 с после перебивания пользователем и отвечала на сказанное пользователем в 78% случаев, тогда как Nova Sonic останавливалась 2,25 с и в 71% случаев игнорировала перебивание, продолжая прежний ответ (Lin и др., Full-Duplex-Bench v1.5, arXiv 2025). Команды контакт-центров, оценивающие эти модели, а эту тему мы разбираем в статистике автоматизации контакт-центров голосовыми агентами, выбирают между двумя очень разными вариантами поведения.
Обратная ошибка - уступать на подтверждающий сигнал слушателя, короткое «угу» или «ага», которым слушатель показывает, что следит за разговором. GPT-4o Realtime останавливалась за 0,21 с даже на такие сигналы, что авторы расценивают как чрезмерно поспешную остановку. Мгновенно уступать - не норма и для людей: перебитый человек продолжает говорить в среднем (по медиане) 1,48 с, прежде чем уступить слово, поэтому минимальное время остановки не обязательно является правильной целью. Moshi находится на противоположном конце этой шкалы: лишь 17,4% перебиваний пользователем заканчиваются тем, что пользователь забирает слово.
| Показатель | Значение | Источник |
|---|---|---|
| Пользователь перебивает агента, GPT-4o Realtime: доля ответов на сказанное пользователем / доля продолжения прежнего ответа / время до остановки речи | 0,78 / 0,10 / 0,23 с | Lin и др., Full-Duplex-Bench v1.5, 2025 |
| Пользователь перебивает агента, конечная точка Gemini 2.0 Flash Live: доля ответов на сказанное пользователем / доля продолжения прежнего ответа / время до остановки речи | 0,33 / 0,55 / 2,20 с | Lin и др., Full-Duplex-Bench v1.5, 2025 |
| Пользователь перебивает агента, Nova Sonic: доля ответов на сказанное пользователем / доля продолжения прежнего ответа / время до остановки речи | 0,24 / 0,71 / 2,25 с | Lin и др., Full-Duplex-Bench v1.5, 2025 |
| Пользователь лишь поддакивает («угу»): время остановки GPT-4o Realtime и доля продолжения прежнего ответа у Nova Sonic | 0,21 с и 0,98 | Lin и др., Full-Duplex-Bench v1.5, 2025 |
| Перебивания пользователем, заканчивающиеся тем, что пользователь забирает слово, в зависимости от того, кого перебили: Moshi / каскадная система / говорящий-человек | 17,4% / 59,4% / 63,6% | Arora и др., Talking Turns, ICLR 2025 |
| Решения Moshi, оказавшиеся ложными перебиваниями пользователя | 2,09% всех решений | Arora и др., Talking Turns, ICLR 2025 |
| Медианное время, которое перебитый человек продолжает говорить, прежде чем уступить слово | 1,48 с | TurnBench, Jiang и др., IEEE SLT 2026 |
| Разрешение перебивания по умолчанию для подсказок Amazon Lex V2 | Включено | Документация AWS Lex V2 |
Примечание к контексту: в пользовательском исследовании Talking Turns было собрано около 4 часов разговоров человека с ИИ на каждую систему при 11 участниках, а перебивания пользователем составили лишь 0,2% (Moshi) и 0,1% (каскадная система) оценённых случаев, поэтому эти проценты опираются на малые числа, особенно для каскадной системы (Arora и др., Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025). В Full-Duplex-Bench v1.5 используются 200 синтезированных перебиваний, а не живые звонящие. Мы не нашли публичного первичного набора данных о том, как часто звонящие в контакт-центры перебивают голосовых агентов в промышленной эксплуатации.
6. Полнодуплексные модели: слушать и говорить одновременно
Полнодуплексные модели вообще отказываются от решения о смене реплики: они слушают и говорят в параллельных аудиопотоках, поэтому наложение речи и подтверждающие сигналы возникают естественно. Moshi от Kyutai заявляет теоретическую задержку 160 мс и 200 мс на практике, а её авторы отмечают, что наложенная речь составляет от 10% до 20% времени речи в реальном разговоре (Défossez и др., Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024). Каскадная базовая система в оценке dGSLM ничего из этого не давала: ноль пауз и ноль наложений на минуту сгенерированного диалога (Nguyen и др., Generative Spoken Dialogue Language Modeling, 2022).
Скорость пока не превратилась в рассудительность. В Full-Duplex-Bench Moshi показала долю перехвата реплики 0,980 во время пауз пользователя в наборе Candor против 0,310 у Gemini Live; по этому показателю чем меньше, тем лучше, потому что перехватить слово, пока пользователь лишь делает паузу, - это ложное перебивание (Lin и др., Full-Duplex-Bench, ASRU 2025). Полнодуплексные модели решили проблему тишины и унаследовали проблему перебиваний.
| Показатель | Значение | Источник |
|---|---|---|
| Теоретическая / практическая задержка ответа Moshi | 160 мс / 200 мс | Défossez и др., Kyutai, 2024 |
| Данные аудиопредобучения Moshi / дообучения на телефонных разговорах Fisher | 7 миллионов часов / 2 000 часов | Défossez и др., Kyutai, 2024 |
| Наложенная речь в реальном разговоре, по данным статьи о Moshi | от 10% до 20% времени речи | Défossez и др., Kyutai, 2024 (со ссылкой на Cetin и Shriberg 2006) |
| Наложение речи в минуту, реальные разговоры Fisher и каскадная диалоговая система | 3,6 с и 0,0 с | Nguyen и др., dGSLM, 2022 |
| Пауз между говорящими в минуту, реальные разговоры Fisher и каскадная система | 7,5 и 14,9 | Nguyen и др., dGSLM, 2022 |
| Суммарная пауза / наложение, Moshi при температуре сэмплирования 1,0 и реальные разговоры (тот же протокол dGSLM) | 4,5 с / 4,1 с и 4,2 с / 3,3 с | Défossez и др., Kyutai, 2024 |
| Доля времени разговора в паузах тишины, Moshi и каскадная система (исследование с пользователями) | 11,8% и 32,4% | Arora и др., Talking Turns, ICLR 2025 |
| Доля перехвата реплики во время пауз пользователя, набор Candor (чем меньше, тем лучше): Moshi / dGSLM / Gemini Live | 0,980 / 0,935 / 0,310 | Lin и др., Full-Duplex-Bench, 2025 |
Примечание к контексту: статистика реплик Moshi колеблется в зависимости от температуры сэмплирования. При температуре 0,8 её суммарное наложение упало до 1,2 с, а паузы выросли до 12,5 с, поэтому единственную цифру «наложения Moshi» можно процитировать в любую сторону. Самые свежие доступные данные для dGSLM: 2022 год.
Итоги: определение конца реплики и перебивание агента в диалоговом ИИ в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Момент начала речи слушателя при плавной передаче слова (до конца реплики) | В среднем (по медиане) на 151 мс раньше | TurnBench, IEEE SLT 2026 |
| Смены реплик быстрее 200 мс | от 51% до 55% | Heldner и Edlund 2010, через Frontiers in Psychology 2015 |
| Задержка ответа, когда реплика не отвечает на вопрос | +131,78 мс | Stivers и др., PNAS 2009 |
| Среднее смещение ответов, которые аннотаторы сочли своевременными, японский и датский | 36 мс и 203 мс | Stivers и др., PNAS 2009 |
| Ожидание тишины по умолчанию у Amazon Lex V2 перед завершением высказывания | 600 мс | Документация AWS Lex V2 |
| Медианная задержка определения конца речи у Google, раздельная и совместная модель | 390 мс и 270 мс | Bijwadia и др., Google, SLT 2022 |
| Реплики робота, перебившие пользователя, базовая система на основе тишины и предиктивная модель | 16,6% и 6,9% | Skantze и Irfan, KTH, 2025 |
| Медианное время ответа робота, базовая система на основе тишины и предиктивная модель | 2,7 с и 1,5 с | Skantze и Irfan, KTH, 2025 |
| Прецизионность при предсказании настоящего конца реплики, акустический детектор и сквозная модель | 67,3% и 84,7% | Chang и др., Google, Interspeech 2022 |
| Точность VAP, модель, обученная на английском, на японском и модель, обученная на японском | 59,43% и 74,20% | Inoue и др., LREC-COLING 2024 |
| GPT-4o Realtime и Nova Sonic, время до остановки после перебивания пользователем | 0,23 с и 2,25 с | Full-Duplex-Bench v1.5, 2025 |
| Перебивания пользователем, заканчивающиеся тем, что пользователь забирает слово, Moshi и говорящий-человек | 17,4% и 63,6% | Arora и др., ICLR 2025 |
| Теоретическая / практическая задержка Moshi | 160 мс / 200 мс | Kyutai, 2024 |
| Наложение речи в минуту, реальные звонки Fisher и каскадная система | 3,6 с и 0,0 с | Nguyen и др., dGSLM, 2022 |
| Доля пауз тишины в разговоре, Moshi и каскадная система | 11,8% и 32,4% | Arora и др., ICLR 2025 |
| Доля перехвата реплики у Moshi во время пауз пользователя, набор Candor | 0,980 | Full-Duplex-Bench, 2025 |
Методология и источники
- Jiang и др., TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue, IEEE SLT 2026 и действующий рейтинг TurnBench: статистика человеческого тайминга, а также полнота, доля ложных срабатываний и задержка систем.
- Stivers и др., Universals and cultural variation in turn-taking in conversation, PNAS 2009: 10 языков, 101 разговор, полярные вопросы (вопросы «да или нет»).
- Levinson и Torreira, Timing in turn-taking and its implications for processing models of language, Frontiers in Psychology 2015: анализ Switchboard и обзор работы Heldner и Edlund (Journal of Phonetics 2010).
- AWS, Configuring timeouts for capturing user input with a Lex V2 bot: настройки по умолчанию для тишины, начала речи и перебивания.
- Bijwadia и др., Google, Unified End-to-End Speech Recognition and Endpointing for Fast and Efficient Speech Systems, SLT 2022.
- Chang и др., Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022.
- Raju и др., Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024.
- Skantze и Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025.
- Ekstedt и Skantze, TurnGPT, Findings of EMNLP 2020.
- Inoue и др., Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024 и Inoue и др., Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024.
- Lin и др., Full-Duplex-Bench, ASRU 2025 и Lin и др., Full-Duplex-Bench v1.5, 2025 (версия 3, 28 января 2026 года).
- Arora и др., Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025.
- Défossez и др., Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024.
- Nguyen и др., Generative Spoken Dialogue Language Modeling (dGSLM), 2022, опубликовано в TACL 2023.
- LiveKit, Using a transformer to improve end of turn detection, 20 декабря 2024 года: утверждения поставщика, помеченные как таковые.
- Наблюдение по данным: в статье о Moshi описано среднее время ответа 230 мс по 10 языкам, тогда как исследование PNAS сообщает среднее значение 208 мс, поэтому межъязыковые средние различаются в зависимости от источника. Распространённость наложений тоже зависит от метода: около 30% передач слова в анализе Switchboard у Levinson и Torreira против около 40% смен реплик у Heldner и Edlund. В тезисах конференции Google указано снижение медианной задержки и задержки на 90-м процентиле на 130 мс (33,3%) и 160 мс (22,2%), тогда как в таблицах arXiv, использованных здесь, приведены 120 мс (30,8%) и 170 мс (23,0%). Рейтинг TurnBench действующий и принимает внешние заявки, поэтому позиции будут меняться; приведённые выше цифры были считаны 31 октября 2026 года, а самостоятельно поданные внешние записи мы не учитывали, девять из которых по полноте стоят выше Voice Activity Projection. Цифры Full-Duplex-Bench v1.5 взяты из версии 3 на arXiv. Первичных публичных данных о частоте перебиваний агента пользователем в контакт-центрах мы не нашли.
Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается, когда в трудах IEEE SLT 2026 будет опубликована итоговая статья о TurnBench.