W 30 godzinach ręcznie oznaczonych rozmów dwóch osób słuchacze zaczynali mówić mediana 151 ms przed końcem bieżącej tury, podczas gdy Amazon Lex V2 domyślnie czeka 600 ms ciszy po tym, jak rozmówca przestanie mówić, zanim uzna wypowiedź za kompletną. Ta luka to cały problem wykrywania końca tury: ludzie przewidują koniec tury, a większość maszyn czeka na ciszę. Czekanie ma mierzalny koszt w obu kierunkach. Robot wykrywający koniec tury na podstawie ciszy przerywał użytkownikom w 16,6% swoich tur i mimo to odpowiadał z medianą opóźnienia 2,7 s, a gdy użytkownicy mówili ponad komercyjnymi modelami głosowymi, czas potrzebny tym modelom na przerwanie mówienia wynosił od 0,23 s do 2,25 s. To zestawienie koncentruje się na samej decyzji o końcu tury; pełne opóźnienie potoku od mikrofonu do pierwszego dźwięku znajdziesz w naszych statystykach opóźnień agentów głosowej AI. Zebraliśmy dane z benchmarku TurnBench, badania PNAS Instytutu Maxa Plancka o zmianie tury, prac Amazon Science i Google Research o endpointingu, pracy Kyutai o Moshi, benchmarków Full-Duplex-Bench i Talking Turns oraz recenzowanych badań nad Voice Activity Projection.
TL;DR
- Słuchacze zaczynają mówić mediana 151 ms przed końcem tury rozmówcy przy płynnych przekazaniach głosu (TurnBench, IEEE SLT 2026)
- 51% do 55% przejść między turami w trzech korpusach rozmów trwa krócej niż 200 ms (Heldner i Edlund 2010, omówione w Frontiers in Psychology 2015)
- Amazon Lex V2 domyślnie czeka 600 ms ciszy, zanim uzna wypowiedź za zakończoną (dokumentacja AWS Lex V2)
- Wspólne rozpoznawanie mowy i endpointing obniżyło medianę opóźnienia punktu końcowego Google z 390 ms do 270 ms (Bijwadia i in., Google, SLT 2022)
- Bazowy robot oparty na ciszy przerywał użytkownikom w 16,6% tur systemu, wobec 6,9% dla modelu predykcyjnego (Skantze i Irfan, KTH, 2025)
- Model zmiany tury wytrenowany na angielskim spadł do zrównoważonej dokładności 59,43% na rozmowach japońskich (Inoue i in., LREC-COLING 2024)
- Gdy użytkownicy przerywali, GPT-4o Realtime przestawał mówić po 0,23 s, a Nova Sonic po 2,25 s (Full-Duplex-Bench v1.5, 2025)
- Tylko 17,4% przerwań ze strony użytkownika kończyło się przejęciem głosu od Moshi przez użytkownika, wobec 63,6% w rozmowie między ludźmi (Arora i in., ICLR 2025)
- Projekt full-duplex Moshi ma teoretyczne opóźnienie 160 ms, a w praktyce 200 ms (Kyutai, praca o Moshi 2024)
- Kaskadowy potok dialogowy wytwarzał 0,0 s nakładającej się mowy na minutę, wobec 3,6 s w prawdziwych rozmowach telefonicznych Fisher (Nguyen i in., Generative Spoken Dialogue Language Modeling 2022)
1. Ludzki punkt odniesienia: tury raczej się nakładają, niż czekają
Standardowy obraz rozmowy, w której jedna osoba mówi, milknie, a druga odpowiada, jest błędny w sposób, który ma znaczenie dla oprogramowania. W TurnBench, benchmarku z 2026 roku zbudowanym z 30 godzin ręcznie oznaczonych rozmów dyadycznych (dwuosobowych), słuchacze zaczynali mówić mediana 151 ms przed końcem bieżącej tury, a po uwzględnieniu przerwań wiążących się z przejęciem głosu mediana przesunięcia sięga 281 ms przed końcem (TurnBench, Jiang i in., IEEE SLT 2026). Przekazanie głosu oznacza tu po prostu moment, w którym prawo do mówienia przechodzi z jednej osoby na drugą. Detektor czekający na ciszę z założenia się spóźnia, zanim jeszcze zacznie się jakiekolwiek przetwarzanie.
Czas niesie też znaczenie. Badanie PNAS obejmujące 10 języków wykazało, że odpowiedzi niebędące odpowiedzią na pytanie (na przykład: nie wiem) przychodzą o 131,78 ms później niż prawdziwe odpowiedzi, a potwierdzenia przychodzą o 206,87 ms szybciej niż zaprzeczenia w modelu wielozmiennowym (Stivers i in., PNAS 2009). Ludzie odbierają te opóźnienia jako sygnały. Agent głosowy, który zawsze czeka tę samą stałą ciszę przed odpowiedzią, wysyła sygnał, którego nie zamierza wysyłać.
| Metryka | Wartość | Źródło |
|---|---|---|
| Mediana przesunięcia, gdy słuchacz zaczyna mówić, płynne przekazania głosu (wartość ujemna = przed końcem tury) | -151 ms | TurnBench, Jiang i in., IEEE SLT 2026 |
| Najczęstsze (modalne) przesunięcie odpowiedzi po pytaniu tak/nie, 10 języków łącznie | 0 ms (mody dla poszczególnych języków od 0 do +200 ms) | Stivers i in., PNAS 2009 |
| Dodatkowe opóźnienie, gdy odpowiedź nie odpowiada na pytanie, model wielozmiennowy | +131,78 ms (95% CI od 59,34 do 204,23) | Stivers i in., PNAS 2009 |
| Różnica opóźnień dla potwierdzeń i zaprzeczeń, model wielozmiennowy | -206,87 ms (95% CI od -268,61 do -145,12) | Stivers i in., PNAS 2009 |
| Średnie przesunięcie odpowiedzi wśród odpowiedzi uznanych przez kodujących za udzielone na czas, japoński wobec duńskiego | 36 ms wobec 203 ms | Stivers i in., PNAS 2009 |
| Odsetek przejść między turami szybszych niż 200 ms, trzy korpusy | 51% do 55% | Heldner i Edlund 2010, omówione w Levinson i Torreira, Frontiers in Psychology 2015 |
| Odsetek sygnału Switchboard, w którym obaj rozmówcy mówią jednocześnie | 3,8% | Levinson i Torreira, Frontiers in Psychology 2015 |
Uwaga kontekstowa: obraz nakładania się mowy zależy od sposobu pomiaru. Nakładająca się mowa stanowi zaledwie 3,8% nagrań Switchboard, a mimo to Heldner i Edlund znaleźli nakładanie się w około 40% przejść, ponieważ większość nakładań jest krótka (Levinson i Torreira, Frontiers in Psychology 2015). Najnowsze dostępne dane dla liczb międzyjęzykowych: Stivers i in., 2009, oraz Heldner i Edlund, 2010. Ludzki rytm zmiany tury zmienia się powoli, więc wiek tych badań ma mniejsze znaczenie niż w przypadku benchmarków produktów.
2. Jak długo czekają maszyny: limity ciszy i opóźnienie punktu końcowego
Większość systemów produkcyjnych nadal uznaje koniec tury za pomocą licznika czasu. Amazon Lex V2 domyślnie czeka 600 ms ciszy po tym, jak rozmówca przestanie mówić, zanim uzna wypowiedź za zakończoną, czeka 4.000 ms, aż rozmówca w ogóle zacznie mówić, i ucina każdą pojedynczą wypowiedź po 55.000 ms (AWS, Configuring timeouts for capturing user input with a Lex V2 bot). Prace badawcze opisują jeszcze dłuższe ustawienia: autorzy Voice Activity Projection piszą, że systemy dialogu mówionego zwykle stosują limit ciszy rzędu 1 lub 2 sekund.
Granicą badań jest skracanie o kolejne milisekundy momentu, w którym system podejmuje decyzję. Wspólny model Google, który współdzieli warstwy między rozpoznawaniem mowy a endpointerem (komponentem decydującym, że użytkownik skończył), obniżył medianę opóźnienia punktu końcowego z 390 ms do 270 ms, a opóźnienie 90. percentyla z 740 ms do 570 ms, przy współczynniku błędów słów utrzymanym na poziomie 5,8% (Bijwadia i in., Google, Unified End-to-End Speech Recognition and Endpointing, SLT 2022). Szybsze podjęcie decyzji pomaga tylko wtedy, gdy transkrypcja jest poprawna, a ten wątek omawiamy w naszych statystykach halucynacji rozpoznawania mowy.
| Metryka | Wartość | Źródło |
|---|---|---|
| Domyślny czas oczekiwania na ciszę po zakończeniu mowy przez rozmówcę, Amazon Lex V2 | 600 ms | Dokumentacja AWS Lex V2 |
| Domyślne opóźnienie ciszy przed zakończeniem tury opartym wyłącznie na VAD, LiveKit Agents (domyślne ustawienie dostawcy) | 500 ms | Blog LiveKit, 20 grudnia 2024 (własne ustawienie dostawcy) |
| Typowy limit ciszy w systemach dialogu mówionego | Około 1 lub 2 sekund | Inoue i in., Uniwersytet Kioto, IWSDS 2024 |
| Mediana / 90. percentyl opóźnienia punktu końcowego, oddzielne modele rozpoznawania i endpointingu (wyszukiwanie głosowe Google, około 14.000 wypowiedzi) | 390 ms / 740 ms | Bijwadia i in., Google, SLT 2022 |
| Mediana / 90. percentyl opóźnienia punktu końcowego, model wspólny | 270 ms / 570 ms (o 120 ms i 170 ms niższe, czyli 30,8% i 23,0%) | Bijwadia i in., Google, SLT 2022 |
| Opóźnienie punktu końcowego w 50. / 90. / 99. percentylu, model bazowy Alexa dla zapytań transakcyjnych | 300 / 570 / 1.110 ms | Raju i in., Amazon, Two-Pass Endpoint Detection 2024 |
Uwaga kontekstowa: istotny jest rozrzut percentyli. Mediana 300 ms wygląda blisko ludzkiego rytmu, ale najwolniejszy 1% transakcyjnych zapytań Alexa czekał na samą decyzję o punkcie końcowym 1.110 ms lub dłużej, zanim wygenerowano jakąkolwiek odpowiedź (Raju i in., Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024). Najnowsze dostępne dane dla liczb Google: 2022.
3. Fałszywe wejścia w słowo a spóźnione odpowiedzi: kompromis w endpointingu
Każdy endpointer równoważy dwa rodzaje błędów: przerwanie użytkownikowi w połowie myśli (fałszywe wejście w słowo) albo martwą ciszę po tym, jak użytkownik skończył. Najbardziej bezpośredni pomiar, jaki znaleźliśmy, pochodzi z badania z udziałem 39 uczestników i głowy robota Furhat. Przy standardowym modelu bazowym opartym na ciszy robot przerywał użytkownikom w 16,6% swoich tur i mimo to miał medianę czasu odpowiedzi 2,7 s; model predykcyjny łączący TurnGPT i Voice Activity Projection obniżył liczbę przerwań do 6,9%, a medianę odpowiedzi do 1,5 s, przy obu różnicach na poziomie p < 0,001 (Skantze i Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025). Projekt oparty na ciszy przegrał jednocześnie na obu osiach.
Naprawa jednej strony zwykle kosztuje drugą. Drugoprzebiegowy arbiter Amazon, który podwójnie sprawdza pierwszy endpointer przed zamknięciem mikrofonu, zmniejszył przedwczesne wykrycie końca (zatrzymanie przed zakończeniem mowy przez użytkownika) o 16,34% w zapytaniach transakcyjnych, ale podniósł opóźnienie 99. percentyla z 1.110 ms do 1.320 ms. Najprostsze detektory zawodzą w przeciwnym kierunku: proste wyzwalacze oparte na poziomie dźwięku odpalały w ponad połowie momentów, gdy tura wcale się nie skończyła (patrz wiersz o wynikach fałszywie pozytywnych poniżej). Takie wyzwalacze reagują na dźwięk, a nie na sens, więc liczy się jakość audio, które do nich trafia, co łączy się z naszymi statystykami neuronowej redukcji szumów.
| Metryka | Wartość | Źródło |
|---|---|---|
| Tury systemu, które przerwały użytkownikowi, model bazowy oparty na ciszy wobec modelu TurnGPT plus VAP | 16,6% wobec 6,9% | Skantze i Irfan, KTH, 2025 |
| Mediana czasu odpowiedzi systemu, model bazowy oparty na ciszy wobec modelu TurnGPT plus VAP | 2,7 s wobec 1,5 s | Skantze i Irfan, KTH, 2025 |
| Uczestnicy, którzy woleli model bazowy oparty na ciszy / nie mieli preferencji | 9 z 39 / 3 z 39 | Skantze i Irfan, KTH, 2025 |
| Wypowiedzi, w których endpointer przestał słuchać zbyt wcześnie, benchmark SLURP, model bazowy wobec modelu z arbitrem | 2,39% wobec 2,19% (względny spadek o 8,37%) | Raju i in., Amazon, 2024 |
| Względny spadek przedwczesnego wykrycia końca w zapytaniach transakcyjnych / opóźnienie 99. percentyla przed i po | 16,34% / 1.110 ms wobec 1.320 ms | Raju i in., Amazon, 2024 |
| Precyzja przy przewidywaniu prawdziwego końca tury, detektor akustyczny wobec modelu end-to-end (czułość 97,3% wobec 97,5%) | 67,3% wobec 84,7% | Chang i in., Google, Interspeech 2022 |
| Odsetek wyników fałszywie pozytywnych w TurnBench, prosty detektor energii wobec server VAD z OpenAI Realtime | 0,632 wobec 0,525 | Ranking TurnBench, przeglądany 31 października 2026 |
| Spadek niezamierzonych przerwań, detektor tury oparty na transformerze plus VAD wobec samego VAD | 85% | Blog LiveKit, 20 grudnia 2024 (własne twierdzenie dostawcy, bez ujawnionego zbioru testowego) |
Uwaga kontekstowa: model bazowy z robotem opierał się na nieudokumentowanym detektorze końca mowy Google, który według autorów jest oparty na progu, a oni powołują się na próg 1 s, więc należy go traktować jako system oparty na ciszy, a nie precyzyjne ustawienie licznika. Badanie końca tury Google wykorzystywało testową mowę z zaburzeniami płynności (losowe pauzy, pauzy wypełnione, takie jak yyy, wydłużone słowa i powtórzone frazy), czyli przypadki, w których według pracy konwencjonalny endpointer przerywa użytkownikowi (Chang i in., Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022). Jej zbiór testowy naturalnej rozmowy ma tylko 200 wypowiedzi od 10 mówców, więc wartości precyzji traktuj orientacyjnie.
4. Przewidywanie końca tury: VAP, TurnGPT i ranking
Modele predykcyjne słuchają tego, jak rozwija się zdanie, a nie tylko tego, czy w pomieszczeniu zrobiło się cicho. TurnGPT, model tekstowy, osiągnął zrównoważoną dokładność 0,823 na spontanicznym dialogu mówionym wobec 0,748 dla modelu bazowego LSTM (Ekstedt i Skantze, TurnGPT, Findings of EMNLP 2020). Zrównoważona dokładność uśrednia skuteczność dla zmian tury i jej utrzymań, więc 0,5 oznacza poziom losowy. Voice Activity Projection (VAP) działa na samym dźwięku i przewiduje na następne 2 sekundy, kto będzie mówił.
Język jest zmienną ukrytą. Model VAP wytrenowany na angielskim spadł do zrównoważonej dokładności 59,43% na japońskim, wobec 74,20% dla modelu wytrenowanego na japońskim, a zmiany tury stanowiły 42,9% momentów zmiany lub utrzymania tury w danych japońskich wobec 9,9% w angielskich (Inoue i in., Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024). Detektor tury dostrojony na angielskich rozmowach nie jest neutralnym komponentem w produkcie wielojęzycznym.
| Metryka | Wartość | Źródło |
|---|---|---|
| Zrównoważona dokładność przewidywania zmian tury w spontanicznym dialogu mówionym, TurnGPT wobec modelu bazowego LSTM | 0,823 wobec 0,748 | Ekstedt i Skantze, KTH, Findings of EMNLP 2020 |
| Zrównoważona dokładność VAP w rozróżnianiu zmiany i utrzymania tury, trenowany i testowany na tym samym języku: angielski / mandaryński / japoński | 79,59% / 84,49% / 74,20% | Inoue i in., Uniwersytet Kioto, LREC-COLING 2024 |
| VAP wytrenowany na angielskim, testowany na japońskim | 59,43% | Inoue i in., Uniwersytet Kioto, LREC-COLING 2024 |
| Odsetek zdarzeń zmiany lub utrzymania tury, które są zmianami tury, angielskie wobec japońskich danych testowych | 9,9% wobec 42,9% | Inoue i in., Uniwersytet Kioto, LREC-COLING 2024 |
| VAP na CPU, kontekst audio 1 s wobec 20 s, dane japońskie: współczynnik czasu rzeczywistego (poniżej 1 = szybciej niż w czasie rzeczywistym) | 0,73 wobec 13,69 | Inoue i in., Uniwersytet Kioto, IWSDS 2024 |
| Voice Activity Projection w TurnBench: czułość / odsetek wyników fałszywie pozytywnych / opóźnienie | 0,845 / 0,055 / 368 ms | Ranking TurnBench, przeglądany 31 października 2026 |
| Smart Turn v3 wobec Kyutai Semantic VAD w TurnBench: czułość / odsetek wyników fałszywie pozytywnych / opóźnienie | 0,752 / 0,047 / 1.017 ms wobec 0,773 / 0,059 / 1.007 ms | Ranking TurnBench, przeglądany 31 października 2026 |
| Gemini 3.1 Live wobec OpenAI Realtime z semantic VAD w TurnBench: czułość / odsetek wyników fałszywie pozytywnych / opóźnienie | 0,657 / 0,022 / 1.234 ms wobec 0,303 / 0,018 / 793 ms | Ranking TurnBench, przeglądany 31 października 2026 |
Uwaga kontekstowa: udziały zmian tury pochodzą z różnych korpusów (rozmowy telefoniczne Switchboard wobec japońskiego zadania biura podróży), więc różnica odzwierciedla zarówno zadanie, jak i język. Wynik w czasie rzeczywistym ma znaczenie dla wdrożeń: przy 1 sekundzie kontekstu VAP działał z prędkością 14,61 ms na ramkę na procesorze Intel Xeon i osiągnął zrównoważoną dokładność 76,16%, nieco wyższą niż 74,20% zmierzone przy 20 sekundach kontekstu (Inoue i in., Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024). Ranking TurnBench dyskwalifikuje systemy z odsetkiem wyników fałszywie pozytywnych powyżej 0,15, a dwa najostrożniejsze systemy w tabeli mają najmniej fałszywych alarmów, ale pomijają najwięcej prawdziwych końców tury. Najnowsze dostępne dane dla TurnGPT: 2020.
5. Barge-in: co się dzieje, gdy użytkownik mówi ponad agentem
Barge-in to problem odwrotny: agent mówi, a użytkownik zaczyna mówić. Szybkie przerwanie to tylko połowa zadania. W Full-Duplex-Bench v1.5 GPT-4o Realtime przestawał mówić 0,23 s po przerwaniu przez użytkownika i odnosił się do tego, co powiedział użytkownik, w 78% przypadków, podczas gdy Nova Sonic potrzebował 2,25 s, by przestać, i ignorował przerwanie, kontynuując wcześniejszą odpowiedź, w 71% przypadków (Lin i in., Full-Duplex-Bench v1.5, arXiv 2025). Zespoły contact center oceniające te modele, o czym piszemy w naszych statystykach automatyzacji contact center przez agentów głosowych, wybierają między dwoma bardzo różnymi zachowaniami.
Odwrotnym błędem jest ustępowanie przed reakcją zwrotną (backchannel), krótkim mhm lub właśnie, którym słuchacz pokazuje, że śledzi wypowiedź. GPT-4o Realtime przestawał mówić po 0,21 s nawet przy takich sygnałach, co autorzy uznają za nadmierną gotowość do ustąpienia. Natychmiastowe ustępowanie nie jest też ludzką normą: przerwana osoba mówi dalej mediana 1,48 s, zanim odda głos, więc najniższy czas zatrzymania nie jest automatycznie właściwym celem. Moshi znajduje się na przeciwległym końcu tej skali: tylko 17,4% przerwań ze strony użytkownika kończy się przejęciem głosu przez użytkownika.
| Metryka | Wartość | Źródło |
|---|---|---|
| Użytkownik przerywa agentowi, GPT-4o Realtime: odsetek odniesień do wypowiedzi użytkownika / odsetek kontynuowania wcześniejszej odpowiedzi / czas przerwania mówienia | 0,78 / 0,10 / 0,23 s | Lin i in., Full-Duplex-Bench v1.5, 2025 |
| Użytkownik przerywa agentowi, endpoint API Gemini 2.0 Flash Live: odsetek odniesień do wypowiedzi użytkownika / odsetek kontynuowania wcześniejszej odpowiedzi / czas przerwania mówienia | 0,33 / 0,55 / 2,20 s | Lin i in., Full-Duplex-Bench v1.5, 2025 |
| Użytkownik przerywa agentowi, Nova Sonic: odsetek odniesień do wypowiedzi użytkownika / odsetek kontynuowania wcześniejszej odpowiedzi / czas przerwania mówienia | 0,24 / 0,71 / 2,25 s | Lin i in., Full-Duplex-Bench v1.5, 2025 |
| Użytkownik tylko potakuje reakcjami zwrotnymi (mhm): czas zatrzymania GPT-4o Realtime wobec odsetka kontynuowania wcześniejszej odpowiedzi przez Nova Sonic | 0,21 s wobec 0,98 | Lin i in., Full-Duplex-Bench v1.5, 2025 |
| Przerwania ze strony użytkownika kończące się przejęciem głosu przez użytkownika, według tego, komu przerwano: Moshi / system kaskadowy / mówca ludzki | 17,4% / 59,4% / 63,6% | Arora i in., Talking Turns, ICLR 2025 |
| Decyzje Moshi, które były fałszywie pozytywnymi przerwaniami użytkownika | 2,09% wszystkich decyzji | Arora i in., Talking Turns, ICLR 2025 |
| Mediana czasu, przez jaki przerwany człowiek mówi dalej, zanim odda głos | 1,48 s | TurnBench, Jiang i in., IEEE SLT 2026 |
| Domyślne ustawienie barge-in (allow-interrupt) w komunikatach Amazon Lex V2 | Włączone (true) | Dokumentacja AWS Lex V2 |
Uwaga kontekstowa: badanie z użytkownikami Talking Turns zebrało około 4 godzin rozmów człowieka z AI na system z udziałem 11 uczestników, a przerwania ze strony użytkownika stanowiły tylko 0,2% (Moshi) i 0,1% (kaskadowy) ocenianych przypadków, więc te odsetki opierają się na małych liczbach, zwłaszcza w przypadku systemu kaskadowego (Arora i in., Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025). Full-Duplex-Bench v1.5 wykorzystuje 200 syntetyzowanych przerwań, a nie żywych rozmówców. Nie znaleźliśmy publicznego pierwotnego zbioru danych o tym, jak często rozmówcy contact center przerywają produkcyjnym agentom głosowym.
6. Modele full-duplex: słuchanie i mówienie jednocześnie
Modele full-duplex w ogóle rezygnują z decyzji o turze: słuchają i mówią na równoległych strumieniach audio, więc nakładanie się mowy i reakcje zwrotne mogą pojawiać się naturalnie. Moshi od Kyutai podaje teoretyczne opóźnienie 160 ms i 200 ms w praktyce, a jego autorzy zauważają, że nakładająca się mowa stanowi od 10% do 20% czasu mówienia w prawdziwej rozmowie (Défossez i in., Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024). Model kaskadowy z oceny dGSLM nie wytworzył jej wcale, z zerową liczbą pauz i zerowym nakładaniem na minutę wygenerowanego dialogu (Nguyen i in., Generative Spoken Dialogue Language Modeling, 2022).
Szybkość nie stała się jeszcze osądem. W Full-Duplex-Bench Moshi uzyskał współczynnik przejęcia tury 0,980 podczas pauz użytkownika w zbiorze Candor, wobec 0,310 dla Gemini Live; w tej mierze niższa wartość jest lepsza, ponieważ przejęcie głosu, gdy użytkownik tylko robi pauzę, jest fałszywym wejściem w słowo (Lin i in., Full-Duplex-Bench, ASRU 2025). Modele full-duplex rozwiązały problem ciszy i odziedziczyły problem przerywania.
| Metryka | Wartość | Źródło |
|---|---|---|
| Teoretyczne / praktyczne opóźnienie odpowiedzi Moshi | 160 ms / 200 ms | Défossez i in., Kyutai, 2024 |
| Dane do wstępnego trenowania audio Moshi / dostrajania na rozmowach telefonicznych Fisher | 7 milionów godzin / 2.000 godzin | Défossez i in., Kyutai, 2024 |
| Nakładająca się mowa w prawdziwej rozmowie, według pracy o Moshi | 10% do 20% czasu mówienia | Défossez i in., Kyutai, 2024 (powołując się na Cetin i Shriberg 2006) |
| Nakładanie się mowy na minutę, prawdziwe rozmowy Fisher wobec kaskadowego systemu dialogowego | 3,6 s wobec 0,0 s | Nguyen i in., dGSLM, 2022 |
| Przerwy między mówcami na minutę, prawdziwe rozmowy Fisher wobec systemu kaskadowego | 7,5 wobec 14,9 | Nguyen i in., dGSLM, 2022 |
| Łączna przerwa / nakładanie się, Moshi przy temperaturze próbkowania 1,0 wobec prawdziwych rozmów (ten sam protokół dGSLM) | 4,5 s / 4,1 s wobec 4,2 s / 3,3 s | Défossez i in., Kyutai, 2024 |
| Odsetek czasu rozmowy spędzony w cichych przerwach, Moshi wobec systemu kaskadowego (badanie z użytkownikami) | 11,8% wobec 32,4% | Arora i in., Talking Turns, ICLR 2025 |
| Współczynnik przejęcia tury podczas pauz użytkownika, zbiór Candor (niższy jest lepszy): Moshi / dGSLM / Gemini Live | 0,980 / 0,935 / 0,310 | Lin i in., Full-Duplex-Bench, 2025 |
Uwaga kontekstowa: statystyki tur Moshi zmieniają się wraz z temperaturą próbkowania. Przy temperaturze 0,8 jego łączne nakładanie się spadło do 1,2 s, a przerwy wzrosły do 12,5 s, więc pojedynczą wartość nakładania się Moshi można przytoczyć na dwa sposoby. Najnowsze dostępne dane dla dGSLM: 2022.
Podsumowanie: wykrywanie końca tury i barge-in w konwersacyjnej AI w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Moment rozpoczęcia mowy przez słuchacza przy płynnych przekazaniach głosu (przed końcem tury) | Mediana 151 ms wcześniej | TurnBench, IEEE SLT 2026 |
| Przejścia między turami szybsze niż 200 ms | 51% do 55% | Heldner i Edlund 2010, za Frontiers in Psychology 2015 |
| Opóźnienie odpowiedzi, gdy odpowiedź nie odpowiada na pytanie | +131,78 ms | Stivers i in., PNAS 2009 |
| Średnie przesunięcie odpowiedzi uznanych przez kodujących za udzielone na czas, japoński wobec duńskiego | 36 ms wobec 203 ms | Stivers i in., PNAS 2009 |
| Domyślne oczekiwanie Amazon Lex V2 na ciszę przed zakończeniem wypowiedzi | 600 ms | Dokumentacja AWS Lex V2 |
| Mediana opóźnienia punktu końcowego Google, model oddzielny wobec wspólnego | 390 ms wobec 270 ms | Bijwadia i in., Google, SLT 2022 |
| Tury robota, które przerwały użytkownikowi, model bazowy oparty na ciszy wobec modelu predykcyjnego | 16,6% wobec 6,9% | Skantze i Irfan, KTH, 2025 |
| Mediana czasu odpowiedzi robota, model bazowy oparty na ciszy wobec modelu predykcyjnego | 2,7 s wobec 1,5 s | Skantze i Irfan, KTH, 2025 |
| Precyzja przewidywania prawdziwego końca tury, detektor akustyczny wobec modelu end-to-end | 67,3% wobec 84,7% | Chang i in., Google, Interspeech 2022 |
| Dokładność VAP, model wytrenowany na angielskim na japońskim wobec wytrenowanego na japońskim | 59,43% wobec 74,20% | Inoue i in., LREC-COLING 2024 |
| GPT-4o Realtime wobec Nova Sonic, czas zatrzymania po przerwaniu przez użytkownika | 0,23 s wobec 2,25 s | Full-Duplex-Bench v1.5, 2025 |
| Przerwania ze strony użytkownika kończące się przejęciem głosu przez użytkownika, Moshi wobec mówcy ludzkiego | 17,4% wobec 63,6% | Arora i in., ICLR 2025 |
| Teoretyczne / praktyczne opóźnienie Moshi | 160 ms / 200 ms | Kyutai, 2024 |
| Nakładanie się mowy na minutę, prawdziwe rozmowy Fisher wobec systemu kaskadowego | 3,6 s wobec 0,0 s | Nguyen i in., dGSLM, 2022 |
| Odsetek cichych przerw w rozmowie, Moshi wobec systemu kaskadowego | 11,8% wobec 32,4% | Arora i in., ICLR 2025 |
| Współczynnik przejęcia tury przez Moshi podczas pauz użytkownika, zbiór Candor | 0,980 | Full-Duplex-Bench, 2025 |
Metodologia i źródła
- Jiang i in., TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue, IEEE SLT 2026 oraz bieżący ranking TurnBench: statystyki ludzkiego rytmu oraz czułość, odsetek wyników fałszywie pozytywnych i opóźnienie systemów.
- Stivers i in., Universals and cultural variation in turn-taking in conversation, PNAS 2009: 10 języków, 101 rozmów, pytania zamknięte (tak/nie).
- Levinson i Torreira, Timing in turn-taking and its implications for processing models of language, Frontiers in Psychology 2015: analiza Switchboard i omówienie pracy Heldnera i Edlunda (Journal of Phonetics 2010).
- AWS, Configuring timeouts for capturing user input with a Lex V2 bot: domyślne ustawienia ciszy, rozpoczęcia mowy i barge-in.
- Bijwadia i in., Google, Unified End-to-End Speech Recognition and Endpointing for Fast and Efficient Speech Systems, SLT 2022.
- Chang i in., Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022.
- Raju i in., Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024.
- Skantze i Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025.
- Ekstedt i Skantze, TurnGPT, Findings of EMNLP 2020.
- Inoue i in., Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024 oraz Inoue i in., Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024.
- Lin i in., Full-Duplex-Bench, ASRU 2025 oraz Lin i in., Full-Duplex-Bench v1.5, 2025 (wersja 3, 28 stycznia 2026).
- Arora i in., Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025.
- Défossez i in., Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024.
- Nguyen i in., Generative Spoken Dialogue Language Modeling (dGSLM), 2022, opublikowane w TACL 2023.
- LiveKit, Using a transformer to improve end of turn detection, 20 grudnia 2024: twierdzenia dostawcy, oznaczone jako takie.
- Uwaga o danych: praca o Moshi opisuje średni czas odpowiedzi 230 ms w 10 językach, podczas gdy badanie PNAS podaje średnią 208 ms, więc średnie międzyjęzykowe różnią się w zależności od źródła. Częstość nakładania się mowy także zależy od metody: około 30% przekazań głosu w analizie Switchboard Levinsona i Torreiry wobec około 40% przejść u Heldnera i Edlunda. Konferencyjne streszczenie Google podaje spadki mediany i 90. percentyla o 130 ms (33,3%) i 160 ms (22,2%), podczas gdy tabele z arXiv użyte tutaj podają 120 ms (30,8%) i 170 ms (23,0%). Ranking TurnBench jest aktywny i przyjmuje zgłoszenia zewnętrzne, więc pozycje będą się zmieniać; powyższe wartości odczytano 31 października 2026 roku, a pominęliśmy samodzielnie zgłoszone wpisy zewnętrzne, z których dziewięć plasuje się wyżej niż Voice Activity Projection pod względem czułości. Wartości Full-Duplex-Bench v1.5 pochodzą z wersji 3 w arXiv. Nie znaleźliśmy pierwotnych publicznych danych o częstości barge-in w contact center.
Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnej odsłony można się spodziewać, gdy ukażą się materiały konferencji IEEE SLT 2026 z ostateczną pracą o TurnBench.