In 30 Stunden von Hand annotierter Zwei-Personen-Gespräche begannen die Zuhörer im Median 151 ms vor dem Ende des laufenden Turns zu sprechen, während Amazon Lex V2 standardmäßig 600 ms Stille abwartet, nachdem der Anrufer aufgehört hat zu sprechen, bevor es die Äußerung für vollständig hält. Diese Lücke ist das ganze Problem der Turn-Ende-Erkennung: Menschen sagen das Ende eines Redebeitrags (Turns) voraus, die meisten Maschinen warten auf Stille. Das Warten hat in beide Richtungen messbare Kosten. Ein Roboter mit stillebasierter Turn-Ende-Erkennung unterbrach seine Nutzer in 16,6% seiner Züge und antwortete trotzdem mit einer medianen Verzögerung von 2,7 s, und wenn Nutzer kommerziellen Sprachmodellen ins Wort fielen, lag die Zeit, die diese Modelle zum Verstummen brauchten, zwischen 0,23 s und 2,25 s. Diese Zusammenstellung konzentriert sich auf die Turn-Entscheidung selbst; zur Verzögerung der gesamten Pipeline vom Mikrofon bis zum ersten Audio siehe unsere Latenzstatistiken für Voice-KI-Agenten. Wir haben Daten aus dem TurnBench-Benchmark, der Max-Planck-Studie zum Sprecherwechsel in PNAS, Endpointing-Arbeiten von Amazon Science und Google Research, dem Moshi-Paper von Kyutai, den Benchmarks Full-Duplex-Bench und Talking Turns sowie begutachteter Forschung zu Voice Activity Projection zusammengetragen.
TL;DR
- Zuhörer beginnen bei reibungslosen Übergaben im Median 151 ms vor dem Ende des Turns der anderen Person zu sprechen (TurnBench, IEEE SLT 2026)
- 51% bis 55% der Turn-Übergänge in drei Gesprächskorpora dauern weniger als 200 ms (Heldner und Edlund 2010, besprochen in Frontiers in Psychology 2015)
- Amazon Lex V2 wartet standardmäßig 600 ms Stille, bevor es eine gesprochene Äußerung als beendet behandelt (AWS-Lex-V2-Dokumentation)
- Gemeinsame Spracherkennung und Endpointing senkten die mediane Endpoint-Latenz von Google von 390 ms auf 270 ms (Bijwadia et al., Google, SLT 2022)
- Eine stillebasierte Roboter-Baseline unterbrach Nutzer in 16,6% der Systemzüge, gegenüber 6,9% bei einem prädiktiven Modell (Skantze und Irfan, KTH, 2025)
- Ein auf Englisch trainiertes Sprecherwechsel-Modell fiel bei japanischen Gesprächen auf 59,43% balancierte Genauigkeit (Inoue et al., LREC-COLING 2024)
- Wenn Nutzer unterbrachen, hörte GPT-4o Realtime nach 0,23 s auf zu sprechen und Nova Sonic nach 2,25 s (Full-Duplex-Bench v1.5, 2025)
- Nur 17,4% der Nutzerunterbrechungen endeten damit, dass der Nutzer Moshi das Wort abnahm, gegenüber 63,6% im menschlichen Gespräch (Arora et al., ICLR 2025)
- Das Full-Duplex-Design von Moshi hat eine theoretische Latenz von 160 ms und in der Praxis 200 ms (Kyutai, Moshi-Paper 2024)
- Eine kaskadierte Dialog-Pipeline erzeugte 0,0 s überlappende Sprache pro Minute, gegenüber 3,6 s in echten Fisher-Telefongesprächen (Nguyen et al., Generative Spoken Dialogue Language Modeling 2022)
1. Der menschliche Maßstab: Redebeiträge überlappen sich häufiger, als sie warten
Das gängige Bild eines Gesprächs, einer spricht, hört auf, der andere antwortet, ist auf eine Weise falsch, die für Software eine Rolle spielt. Im TurnBench, einem Benchmark von 2026 aus 30 Stunden von Hand annotierter dyadischer (Zwei-Personen-)Gespräche, begannen die Zuhörer im Median 151 ms vor dem Ende des laufenden Turns zu sprechen, und wenn Unterbrechungen mit Rederechtsübernahme einbezogen werden, erreicht der mediane Versatz 281 ms vor dem Ende (TurnBench, Jiang et al., IEEE SLT 2026). Eine »Rederechtsübergabe« bezeichnet hier einfach den Moment, in dem das Recht zu sprechen von einer Person auf die andere übergeht. Ein Detektor, der auf Stille wartet, kommt konstruktionsbedingt zu spät, noch bevor irgendeine Verarbeitung beginnt.
Das Timing trägt auch Bedeutung. Die PNAS-Studie mit 10 Sprachen stellte fest, dass Antworten, die die Frage nicht beantworten (zum Beispiel »Ich weiß nicht«), 131,78 ms später eintreffen als echte Antworten, und dass Bestätigungen im multivariaten Modell 206,87 ms früher eintreffen als Verneinungen (Stivers et al., PNAS 2009). Menschen hören diese Verzögerungen als Signale. Ein Sprachagent, der vor der Antwort immer dieselbe feste Stille abwartet, sendet ein Signal, das er gar nicht senden will.
| Metrik | Wert | Quelle |
|---|---|---|
| Medianer Versatz, wenn der Zuhörer zu sprechen beginnt, reibungslose Übergaben (negativ = vor dem Turn-Ende) | -151 ms | TurnBench, Jiang et al., IEEE SLT 2026 |
| Häufigster (modaler) Antwortversatz nach einer Ja-Nein-Frage, 10 Sprachen kombiniert | 0 ms (Modalwerte je Sprache von 0 bis +200 ms) | Stivers et al., PNAS 2009 |
| Zusätzliche Verzögerung, wenn die Antwort die Frage nicht beantwortet, multivariates Modell | +131,78 ms (95%-KI 59,34 bis 204,23) | Stivers et al., PNAS 2009 |
| Verzögerungsunterschied zwischen Bestätigungen und Verneinungen, multivariates Modell | -206,87 ms (95%-KI -268,61 bis -145,12) | Stivers et al., PNAS 2009 |
| Mittlerer Antwortversatz bei Antworten, die die Annotatoren als pünktlich einstuften, Japanisch vs Dänisch | 36 ms vs 203 ms | Stivers et al., PNAS 2009 |
| Anteil der Turn-Übergänge schneller als 200 ms, drei Korpora | 51% bis 55% | Heldner und Edlund 2010, besprochen in Levinson und Torreira, Frontiers in Psychology 2015 |
| Anteil des Switchboard-Signals, in dem beide Sprecher gleichzeitig sprechen | 3,8% | Levinson und Torreira, Frontiers in Psychology 2015 |
Hinweis zum Kontext: Das Bild der Überlappung hängt davon ab, wie sie gemessen wird. Überlappende Sprache macht nur 3,8% des Switchboard-Audios aus, doch Heldner und Edlund fanden Überlappungen bei etwa 40% der Übergänge, weil die meisten Überlappungen kurz sind (Levinson und Torreira, Frontiers in Psychology 2015). Aktuellste verfügbare Daten für die sprachübergreifenden Werte: Stivers et al., 2009, sowie Heldner und Edlund, 2010. Das Timing menschlicher Redebeiträge ändert sich langsam, daher spielt das Alter dieser Studien eine geringere Rolle als bei Produkt-Benchmarks.
2. Wie lange Maschinen warten: Stille-Timeouts und Endpoint-Latenz
Die meisten Produktivsysteme entscheiden noch immer per Timer, dass ein Turn zu Ende ist. Amazon Lex V2 wartet standardmäßig 600 ms Stille ab, nachdem der Anrufer aufgehört hat zu sprechen, bevor es die Äußerung als beendet behandelt, wartet 4.000 ms darauf, dass der Anrufer überhaupt anfängt, und kürzt jede einzelne Äußerung bei 55.000 ms (AWS, Configuring timeouts for capturing user input with a Lex V2 bot). Forschungsarbeiten beschreiben noch längere Einstellungen: Die Autoren von Voice Activity Projection schreiben, gesprochene Dialogsysteme verwendeten üblicherweise ein Stille-Timeout von etwa 1 oder 2 Sekunden.
Die Forschungsfront besteht darin, Millisekunden von dem Moment abzuziehen, in dem sich das System festlegt. Das gemeinsame Modell von Google, das Schichten zwischen Spracherkennung und Endpointer (der Komponente, die entscheidet, dass der Nutzer fertig ist) teilt, senkte die mediane Endpoint-Latenz von 390 ms auf 270 ms und die Latenz im 90. Perzentil von 740 ms auf 570 ms, bei einer konstanten Wortfehlerrate von 5,8% (Bijwadia et al., Google, Unified End-to-End Speech Recognition and Endpointing, SLT 2022). Schnellere Festlegungen helfen nur, wenn das Transkript stimmt, ein Thema unserer Statistiken zu Halluzinationen bei der Spracherkennung.
| Metrik | Wert | Quelle |
|---|---|---|
| Standard-Stillewartezeit nach Ende der Anruferrede, Amazon Lex V2 | 600 ms | AWS-Lex-V2-Dokumentation |
| Standard-Stilleverzögerung vor einem reinen VAD-Turn-Ende, LiveKit Agents (Standard des Anbieters) | 500 ms | LiveKit-Blog, 20. Dezember 2024 (eigene Einstellung des Anbieters) |
| Übliches Stille-Timeout in gesprochenen Dialogsystemen | Etwa 1 oder 2 Sekunden | Inoue et al., Kyoto University, IWSDS 2024 |
| Mediane / 90.-Perzentil-Endpoint-Latenz, getrennte Erkennungs- und Endpointing-Modelle (Google-Sprachsuche, etwa 14.000 Äußerungen) | 390 ms / 740 ms | Bijwadia et al., Google, SLT 2022 |
| Mediane / 90.-Perzentil-Endpoint-Latenz, gemeinsames Modell | 270 ms / 570 ms (120 ms und 170 ms niedriger, 30,8% und 23,0%) | Bijwadia et al., Google, SLT 2022 |
| Endpoint-Latenz im 50. / 90. / 99. Perzentil, Alexa-Baseline bei transaktionalen Anfragen | 300 / 570 / 1.110 ms | Raju et al., Amazon, Two-Pass Endpoint Detection 2024 |
Hinweis zum Kontext: Die Streuung über die Perzentile ist der Kern. Ein Median von 300 ms wirkt nah am menschlichen Timing, aber die langsamsten 1% der transaktionalen Alexa-Anfragen warteten allein auf die Endpoint-Entscheidung 1.110 ms oder länger, bevor überhaupt eine Antwort erzeugt wird (Raju et al., Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024). Aktuellste verfügbare Daten für die Google-Werte: 2022.
3. Fehlunterbrechungen vs späte Antworten: der Zielkonflikt beim Endpointing
Jeder Endpointer tauscht zwei Fehlerarten gegeneinander ein: den Nutzer mitten im Gedanken abzuschneiden (eine Fehlunterbrechung) oder nach dem Ende der Nutzerrede eine tote Stille entstehen zu lassen. Die direkteste Messung, die wir gefunden haben, stammt aus einer Studie mit 39 Teilnehmern und einem Furhat-Roboterkopf. Mit der üblichen stillebasierten Baseline unterbrach der Roboter die Nutzer in 16,6% seiner Züge und hatte trotzdem eine mediane Antwortzeit von 2,7 s; ein prädiktives Modell aus TurnGPT und Voice Activity Projection senkte die Unterbrechungen auf 6,9% und die mediane Antwort auf 1,5 s, beide Unterschiede mit p < 0,001 (Skantze und Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025). Das stillebasierte Design verlor auf beiden Achsen zugleich.
Die Korrektur einer Seite geht meist zulasten der anderen. Amazons »Arbitrator« der zweiten Stufe, der den ersten Endpointer vor dem Schließen des Mikrofons gegenprüft, senkte verfrühtes Endpointing (Aufhören, bevor der Nutzer fertig war) bei transaktionalen Anfragen um 16,34%, hob aber die Latenz im 99. Perzentil von 1.110 ms auf 1.320 ms. Die gröbsten Detektoren scheitern in die andere Richtung: Einfache Schallpegel-Trigger lösten in mehr als der Hälfte der Momente aus, in denen der Turn gar nicht zu Ende war (siehe die Falsch-Positiv-Zeile unten). Diese Trigger reagieren auf Schall statt auf Bedeutung, daher kommt es auf das Audio an, das sie erreicht, was an unsere Statistiken zur neuronalen Rauschunterdrückung anknüpft.
| Metrik | Wert | Quelle |
|---|---|---|
| Systemzüge, die den Nutzer unterbrachen, stillebasierte Baseline vs TurnGPT-plus-VAP-Modell | 16,6% vs 6,9% | Skantze und Irfan, KTH, 2025 |
| Mediane Antwortzeit des Systems, stillebasierte Baseline vs TurnGPT-plus-VAP-Modell | 2,7 s vs 1,5 s | Skantze und Irfan, KTH, 2025 |
| Teilnehmer, die die stillebasierte Baseline bevorzugten / keine Präferenz hatten | 9 von 39 / 3 von 39 | Skantze und Irfan, KTH, 2025 |
| Äußerungen, bei denen der Endpointer zu früh aufhörte zuzuhören, SLURP-Benchmark, Baseline vs mit Arbitrator | 2,39% vs 2,19% (8,37% relative Reduktion) | Raju et al., Amazon, 2024 |
| Relative Reduktion verfrühten Endpointings bei transaktionalen Anfragen / Latenz im 99. Perzentil vorher vs nachher | 16,34% / 1.110 ms vs 1.320 ms | Raju et al., Amazon, 2024 |
| Präzision bei der Vorhersage eines echten Turn-Endes, akustischer Detektor vs End-to-End-Modell (Recall 97,3% vs 97,5%) | 67,3% vs 84,7% | Chang et al., Google, Interspeech 2022 |
| Falsch-Positiv-Rate im TurnBench, einfacher Energiedetektor vs Server-VAD von OpenAI Realtime | 0,632 vs 0,525 | TurnBench-Rangliste, abgerufen am 31. Oktober 2026 |
| Reduktion unbeabsichtigter Unterbrechungen, Transformer-Turn-Detektor plus VAD vs nur VAD | 85% | LiveKit-Blog, 20. Dezember 2024 (eigene Behauptung des Anbieters, kein Testset offengelegt) |
Hinweis zum Kontext: Die Roboter-Baseline stützte sich auf einen nicht dokumentierten Google-Detektor für das Sprachende, den die Autoren als schwellenwertbasiert einschätzen, und sie nennen einen Schwellenwert von 1 s; er ist also als stillebasiertes System zu lesen und nicht als genaue Timer-Einstellung. Googles Studie zum Turn-Ende nutzte Testsprache mit Disfluenzen (zufällige Pausen, gefüllte Pausen wie »äh«, gedehnte Wörter und wiederholte Phrasen), also die Fälle, in denen laut Paper ein herkömmlicher Endpointer den Nutzer abschneidet (Chang et al., Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022). Das Testset mit natürlichem Gespräch umfasst nur 200 Äußerungen von 10 Sprechern, die Präzisionswerte sind daher als Richtwerte zu verstehen.
4. Das Ende eines Turns vorhersagen: VAP, TurnGPT und die Rangliste
Prädiktive Modelle hören darauf, wie der Satz verläuft, und nicht nur darauf, ob es still geworden ist. TurnGPT, ein Textmodell, erreichte bei spontanem gesprochenem Dialog 0,823 balancierte Genauigkeit, gegenüber 0,748 bei einer LSTM-Baseline (Ekstedt und Skantze, TurnGPT, Findings of EMNLP 2020). Die balancierte Genauigkeit mittelt die Leistung bei »Sprecherwechseln« und »Beibehaltungen des Turns«, 0,5 entspricht also dem Zufall. Voice Activity Projection (VAP) arbeitet auf dem Audio selbst und sagt für die nächsten 2 Sekunden voraus, wer sprechen wird.
Die Sprache ist die versteckte Variable. Ein auf Englisch trainiertes VAP-Modell fiel im Japanischen auf 59,43% balancierte Genauigkeit, gegenüber 74,20% bei einem auf Japanisch trainierten Modell, und Sprecherwechsel machten in den japanischen Daten 42,9% der Wechsel-oder-Beibehaltungs-Momente aus, gegenüber 9,9% im Englischen (Inoue et al., Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024). Ein auf englischen Anrufen abgestimmter Turn-Detektor ist in einem mehrsprachigen Produkt keine neutrale Komponente.
| Metrik | Wert | Quelle |
|---|---|---|
| Balancierte Genauigkeit bei der Vorhersage von Sprecherwechseln in spontanem gesprochenem Dialog, TurnGPT vs LSTM-Baseline | 0,823 vs 0,748 | Ekstedt und Skantze, KTH, Findings of EMNLP 2020 |
| Balancierte Genauigkeit von VAP bei Wechsel vs Beibehaltung, in derselben Sprache trainiert und getestet: Englisch / Mandarin / Japanisch | 79,59% / 84,49% / 74,20% | Inoue et al., Kyoto University, LREC-COLING 2024 |
| VAP auf Englisch trainiert, auf Japanisch getestet | 59,43% | Inoue et al., Kyoto University, LREC-COLING 2024 |
| Anteil der Wechsel-oder-Beibehaltungs-Ereignisse, die Sprecherwechsel sind, englische vs japanische Testdaten | 9,9% vs 42,9% | Inoue et al., Kyoto University, LREC-COLING 2024 |
| VAP auf einer CPU, 1 s vs 20 s Audiokontext, japanische Daten: Echtzeitfaktor (unter 1 = schneller als Echtzeit) | 0,73 vs 13,69 | Inoue et al., Kyoto University, IWSDS 2024 |
| Voice Activity Projection im TurnBench: Recall / Falsch-Positiv-Rate / Latenz | 0,845 / 0,055 / 368 ms | TurnBench-Rangliste, abgerufen am 31. Oktober 2026 |
| Smart Turn v3 vs Kyutai Semantic VAD im TurnBench: Recall / Falsch-Positiv-Rate / Latenz | 0,752 / 0,047 / 1.017 ms vs 0,773 / 0,059 / 1.007 ms | TurnBench-Rangliste, abgerufen am 31. Oktober 2026 |
| Gemini 3.1 Live vs OpenAI Realtime mit semantischem VAD im TurnBench: Recall / Falsch-Positiv-Rate / Latenz | 0,657 / 0,022 / 1.234 ms vs 0,303 / 0,018 / 793 ms | TurnBench-Rangliste, abgerufen am 31. Oktober 2026 |
Hinweis zum Kontext: Die Anteile der Sprecherwechsel stammen aus unterschiedlichen Korpora (Switchboard-Telefongespräche vs eine japanische Reisebüro-Aufgabe), die Lücke spiegelt also ebenso die Aufgabe wie die Sprache wider. Das Echtzeitergebnis ist für den Einsatz wichtig: Mit 1 Sekunde Kontext lief VAP auf einer Intel-Xeon-CPU mit 14,61 ms pro Frame und erreichte 76,16% balancierte Genauigkeit, leicht über den 74,20%, die mit 20 Sekunden Kontext gemessen wurden (Inoue et al., Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024). Die TurnBench-Rangliste disqualifiziert Systeme mit einer Falsch-Positiv-Rate über 0,15, und die zwei vorsichtigsten Systeme der Tabelle haben die wenigsten Fehlalarme, verpassen aber die meisten echten Turn-Enden. Aktuellste verfügbare Daten für TurnGPT: 2020.
5. Barge-in: Was passiert, wenn der Nutzer dem Agenten ins Wort fällt
Barge-in ist das umgekehrte Problem: Der Agent spricht, und der Nutzer beginnt zu reden. Schnelles Aufhören ist nur die halbe Aufgabe. Im Full-Duplex-Bench v1.5 hörte GPT-4o Realtime 0,23 s nach einer Nutzerunterbrechung auf zu sprechen und ging in 78% der Fälle auf das Gesagte des Nutzers ein, während Nova Sonic 2,25 s zum Aufhören brauchte und die Unterbrechung in 71% der Fälle ignorierte, um seine vorherige Antwort fortzusetzen (Lin et al., Full-Duplex-Bench v1.5, arXiv 2025). Contact-Center-Teams, die diese Modelle bewerten, ein Thema unserer Statistiken zur Automatisierung von Contact Centern mit Sprachagenten, wählen zwischen zwei sehr unterschiedlichen Verhaltensweisen.
Der umgekehrte Fehler ist, einem Hörersignal (Backchannel) nachzugeben, dem kurzen »mhm« oder »genau«, mit dem ein Zuhörer zeigt, dass er folgt. GPT-4o Realtime hörte selbst bei diesen Signalen nach 0,21 s auf, was die Autoren als übereifriges Anhalten deuten. Sofortiges Nachgeben ist auch unter Menschen nicht die Norm: Eine unterbrochene Person spricht im Median noch 1,48 s weiter, bevor sie das Wort abgibt, die kürzeste Stoppzeit ist also nicht automatisch das richtige Ziel. Moshi liegt am anderen Ende dieser Skala, wobei nur 17,4% der Nutzerunterbrechungen damit enden, dass der Nutzer das Wort übernimmt.
| Metrik | Wert | Quelle |
|---|---|---|
| Nutzer unterbricht den Agenten, GPT-4o Realtime: Rate des Eingehens auf das Gesagte des Nutzers / Rate der Fortsetzung der vorherigen Antwort / Zeit bis zum Aufhören | 0,78 / 0,10 / 0,23 s | Lin et al., Full-Duplex-Bench v1.5, 2025 |
| Nutzer unterbricht den Agenten, Gemini-2.0-Flash-Live-Endpunkt: Rate des Eingehens auf das Gesagte des Nutzers / Rate der Fortsetzung der vorherigen Antwort / Zeit bis zum Aufhören | 0,33 / 0,55 / 2,20 s | Lin et al., Full-Duplex-Bench v1.5, 2025 |
| Nutzer unterbricht den Agenten, Nova Sonic: Rate des Eingehens auf das Gesagte des Nutzers / Rate der Fortsetzung der vorherigen Antwort / Zeit bis zum Aufhören | 0,24 / 0,71 / 2,25 s | Lin et al., Full-Duplex-Bench v1.5, 2025 |
| Nutzer gibt nur Hörersignale (»mhm«): Stoppzeit von GPT-4o Realtime vs Rate der Fortsetzung der vorherigen Antwort bei Nova Sonic | 0,21 s vs 0,98 | Lin et al., Full-Duplex-Bench v1.5, 2025 |
| Nutzerunterbrechungen, die damit enden, dass der Nutzer das Wort übernimmt, je nachdem, wer unterbrochen wurde: Moshi / kaskadiertes System / menschlicher Sprecher | 17,4% / 59,4% / 63,6% | Arora et al., Talking Turns, ICLR 2025 |
| Entscheidungen von Moshi, die falsch-positive Unterbrechungen des Nutzers waren | 2,09% aller Entscheidungen | Arora et al., Talking Turns, ICLR 2025 |
| Mediane Zeit, die ein unterbrochener Mensch weiterspricht, bevor er das Wort abgibt | 1,48 s | TurnBench, Jiang et al., IEEE SLT 2026 |
| Barge-in (Unterbrechung zulassen), Standardwert für Amazon-Lex-V2-Prompts | Ein (true) | AWS-Lex-V2-Dokumentation |
Hinweis zum Kontext: Die Nutzerstudie von Talking Turns sammelte pro System etwa 4 Stunden Mensch-KI-Gespräch mit 11 Teilnehmern, und Nutzerunterbrechungen machten nur 0,2% (Moshi) und 0,1% (kaskadiert) der bewerteten Fälle aus; diese Prozentwerte beruhen also auf kleinen Fallzahlen, insbesondere der des kaskadierten Systems (Arora et al., Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025). Full-Duplex-Bench v1.5 verwendet 200 synthetisierte Unterbrechungen, keine echten Anrufer. Wir haben keinen öffentlichen Primärdatensatz dazu gefunden, wie oft Contact-Center-Anrufer produktiven Sprachagenten ins Wort fallen.
6. Full-Duplex-Modelle: Gleichzeitig zuhören und sprechen
Full-Duplex-Modelle verzichten ganz auf die Turn-Entscheidung: Sie hören und sprechen auf parallelen Audioströmen, sodass Überlappung und Hörersignale ganz natürlich vorkommen können. Kyutais Moshi gibt eine theoretische Latenz von 160 ms und in der Praxis 200 ms an, und seine Autoren weisen darauf hin, dass überlappende Sprache im echten Gespräch 10% bis 20% der Sprechzeit ausmacht (Défossez et al., Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024). Die kaskadierte Baseline in der dGSLM-Auswertung erzeugte nichts davon, mit null Pausen und null Überlappung pro Minute erzeugtem Dialog (Nguyen et al., Generative Spoken Dialogue Language Modeling, 2022).
Tempo ist noch kein Urteilsvermögen. Im Full-Duplex-Bench erzielte Moshi während Nutzerpausen im Candor-Set eine Übernahmerate von 0,980, gegenüber 0,310 bei Gemini Live; bei diesem Maß ist niedriger besser, denn das Wort zu übernehmen, während der Nutzer nur pausiert, ist eine Fehlunterbrechung (Lin et al., Full-Duplex-Bench, ASRU 2025). Full-Duplex-Modelle haben das Stilleproblem gelöst und das Unterbrechungsproblem geerbt.
| Metrik | Wert | Quelle |
|---|---|---|
| Theoretische / praktische Antwortlatenz von Moshi | 160 ms / 200 ms | Défossez et al., Kyutai, 2024 |
| Audio-Vortrainingsdaten von Moshi / Feinabstimmungsdaten aus Fisher-Telefongesprächen | 7 Millionen Stunden / 2.000 Stunden | Défossez et al., Kyutai, 2024 |
| Überlappende Sprache im echten Gespräch, wie im Moshi-Paper zitiert | 10% bis 20% der Sprechzeit | Défossez et al., Kyutai, 2024 (zitiert Cetin und Shriberg 2006) |
| Überlappung pro Minute, echte Fisher-Gespräche vs kaskadiertes Dialogsystem | 3,6 s vs 0,0 s | Nguyen et al., dGSLM, 2022 |
| Pausen zwischen Sprechern pro Minute, echte Fisher-Gespräche vs kaskadiertes System | 7,5 vs 14,9 | Nguyen et al., dGSLM, 2022 |
| Kumulierte Pausen / Überlappung, Moshi bei Sampling-Temperatur 1,0 vs echte Gespräche (gleiches dGSLM-Protokoll) | 4,5 s / 4,1 s vs 4,2 s / 3,3 s | Défossez et al., Kyutai, 2024 |
| Anteil der Gesprächszeit in stillen Pausen, Moshi vs kaskadiertes System (Nutzerstudie) | 11,8% vs 32,4% | Arora et al., Talking Turns, ICLR 2025 |
| Übernahmerate während Nutzerpausen, Candor-Set (niedriger ist besser): Moshi / dGSLM / Gemini Live | 0,980 / 0,935 / 0,310 | Lin et al., Full-Duplex-Bench, 2025 |
Hinweis zum Kontext: Die Turn-Statistiken von Moshi schwanken mit der Sampling-Temperatur. Bei Temperatur 0,8 fiel die kumulierte Überlappung auf 1,2 s und die Pausen stiegen auf 12,5 s, sodass sich eine einzelne Zahl zur »Moshi-Überlappung« in beide Richtungen zitieren lässt. Aktuellste verfügbare Daten für dGSLM: 2022.
Zusammenfassung: Turn-Ende-Erkennung und Barge-in bei Dialog-KI in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Einsatzzeitpunkt des Zuhörers bei reibungslosen Übergaben (vor dem Turn-Ende) | Median 151 ms früher | TurnBench, IEEE SLT 2026 |
| Turn-Übergänge schneller als 200 ms | 51% bis 55% | Heldner und Edlund 2010, über Frontiers in Psychology 2015 |
| Antwortverzögerung, wenn die Erwiderung die Frage nicht beantwortet | +131,78 ms | Stivers et al., PNAS 2009 |
| Mittlerer Versatz der von Annotatoren als pünktlich eingestuften Antworten, Japanisch vs Dänisch | 36 ms vs 203 ms | Stivers et al., PNAS 2009 |
| Standard-Stillewartezeit von Amazon Lex V2, bevor die Äußerung beendet wird | 600 ms | AWS-Lex-V2-Dokumentation |
| Mediane Endpoint-Latenz bei Google, getrenntes vs gemeinsames Modell | 390 ms vs 270 ms | Bijwadia et al., Google, SLT 2022 |
| Roboterzüge, die den Nutzer unterbrachen, stillebasierte Baseline vs prädiktives Modell | 16,6% vs 6,9% | Skantze und Irfan, KTH, 2025 |
| Mediane Antwortzeit des Roboters, stillebasierte Baseline vs prädiktives Modell | 2,7 s vs 1,5 s | Skantze und Irfan, KTH, 2025 |
| Präzision bei der Vorhersage eines echten Turn-Endes, akustischer Detektor vs End-to-End-Modell | 67,3% vs 84,7% | Chang et al., Google, Interspeech 2022 |
| Genauigkeit von VAP, auf Englisch trainiertes Modell im Japanischen vs auf Japanisch trainiert | 59,43% vs 74,20% | Inoue et al., LREC-COLING 2024 |
| GPT-4o Realtime vs Nova Sonic, Zeit bis zum Aufhören nach Nutzerunterbrechung | 0,23 s vs 2,25 s | Full-Duplex-Bench v1.5, 2025 |
| Nutzerunterbrechungen, die damit enden, dass der Nutzer das Wort übernimmt, Moshi vs menschlicher Sprecher | 17,4% vs 63,6% | Arora et al., ICLR 2025 |
| Theoretische / praktische Latenz von Moshi | 160 ms / 200 ms | Kyutai, 2024 |
| Überlappung pro Minute, echte Fisher-Gespräche vs kaskadiertes System | 3,6 s vs 0,0 s | Nguyen et al., dGSLM, 2022 |
| Anteil stiller Pausen am Gespräch, Moshi vs kaskadiertes System | 11,8% vs 32,4% | Arora et al., ICLR 2025 |
| Übernahmerate von Moshi während Nutzerpausen, Candor-Set | 0,980 | Full-Duplex-Bench, 2025 |
Methodik und Quellen
- Jiang et al., TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue, IEEE SLT 2026 und die laufend aktualisierte TurnBench-Rangliste: Statistiken zum menschlichen Timing sowie Recall, Falsch-Positiv-Rate und Latenz der Systeme.
- Stivers et al., Universals and cultural variation in turn-taking in conversation, PNAS 2009: 10 Sprachen, 101 Gespräche, Polaritätsfragen (Ja-Nein-Fragen).
- Levinson und Torreira, Timing in turn-taking and its implications for processing models of language, Frontiers in Psychology 2015: Switchboard-Analyse und Besprechung von Heldner und Edlund (Journal of Phonetics 2010).
- AWS, Configuring timeouts for capturing user input with a Lex V2 bot: Standardeinstellungen für Stille, Beginn und Barge-in.
- Bijwadia et al., Google, Unified End-to-End Speech Recognition and Endpointing for Fast and Efficient Speech Systems, SLT 2022.
- Chang et al., Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022.
- Raju et al., Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024.
- Skantze und Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025.
- Ekstedt und Skantze, TurnGPT, Findings of EMNLP 2020.
- Inoue et al., Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024 und Inoue et al., Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024.
- Lin et al., Full-Duplex-Bench, ASRU 2025 und Lin et al., Full-Duplex-Bench v1.5, 2025 (Version 3, 28. Januar 2026).
- Arora et al., Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025.
- Défossez et al., Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024.
- Nguyen et al., Generative Spoken Dialogue Language Modeling (dGSLM), 2022, veröffentlicht in TACL 2023.
- LiveKit, Using a transformer to improve end of turn detection, 20. Dezember 2024: Anbieterbehauptungen, als solche gekennzeichnet.
- Daten-Hinweis: Das Moshi-Paper beschreibt eine durchschnittliche Antwortzeit von 230 ms über 10 Sprachen, während die PNAS-Studie einen Mittelwert von 208 ms angibt; sprachübergreifende Durchschnitte unterscheiden sich also je nach Quelle. Auch die Häufigkeit von Überlappungen hängt von der Methode ab: etwa 30% der Rederechtsübergaben in der Switchboard-Analyse von Levinson und Torreira gegenüber etwa 40% der Übergänge bei Heldner und Edlund. Googles Konferenz-Abstract nennt Reduktionen der medianen und der 90.-Perzentil-Latenz von 130 ms (33,3%) und 160 ms (22,2%), während die hier verwendeten arXiv-Tabellen 120 ms (30,8%) und 170 ms (23,0%) angeben. Die TurnBench-Rangliste ist live und nimmt externe Einreichungen an, die Platzierungen werden sich also verschieben; die obigen Zahlen wurden am 31. Oktober 2026 abgelesen, und wir haben die selbst eingereichten externen Einträge weggelassen, von denen neun beim Recall über Voice Activity Projection liegen. Die Zahlen zu Full-Duplex-Bench v1.5 stammen aus arXiv-Version 3. Wir haben keine öffentlichen Primärdaten zur Häufigkeit von Barge-in in Contact Centern gefunden.
Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn die Tagungsbände der IEEE SLT 2026 das finale TurnBench-Paper veröffentlichen.