Dalam 30 jam percakapan dua orang yang dianotasi manual, pendengar mulai berbicara median 151 ms sebelum giliran yang sedang berlangsung berakhir, sementara Amazon Lex V2 secara bawaan menunggu 600 ms hening setelah penelepon berhenti sebelum memutuskan bahwa ucapan sudah lengkap. Kesenjangan itu adalah seluruh masalah deteksi akhir giliran: manusia memprediksi akhir sebuah giliran, sebagian besar mesin menunggu keheningan. Menunggu punya biaya yang terukur ke dua arah. Sebuah robot yang menggunakan deteksi akhir giliran berbasis keheningan menyela penggunanya pada 16,6% gilirannya dan tetap menjawab dengan jeda median 2,7 s, dan ketika pengguna berbicara menimpa model suara komersial, waktu yang dibutuhkan model-model itu untuk berhenti berbicara berkisar dari 0,23 s hingga 2,25 s. Rangkuman ini berfokus pada keputusan giliran itu sendiri; untuk keterlambatan seluruh jalur dari mikrofon hingga audio pertama, lihat statistik latensi agen suara AI kami. Kami menghimpun data dari benchmark TurnBench, studi pergantian giliran PNAS dari Max Planck, makalah endpointing Amazon Science dan Google Research, makalah Moshi dari Kyutai, benchmark Full-Duplex-Bench dan Talking Turns, serta penelitian Voice Activity Projection yang telah ditelaah sejawat.
TL;DR
- Pendengar mulai berbicara median 151 ms sebelum giliran lawan bicara berakhir pada peralihan yang mulus (TurnBench, IEEE SLT 2026)
- 51% hingga 55% transisi giliran di tiga korpus percakapan berlangsung kurang dari 200 ms (Heldner dan Edlund 2010, ditinjau dalam Frontiers in Psychology 2015)
- Amazon Lex V2 secara bawaan menunggu 600 ms hening sebelum menganggap ucapan lisan telah selesai (dokumentasi AWS Lex V2)
- Pengenalan ucapan dan endpointing gabungan memangkas latensi endpoint median Google dari 390 ms menjadi 270 ms (Bijwadia dkk., Google, SLT 2022)
- Baseline robot berbasis keheningan menyela pengguna pada 16,6% giliran sistem, dibandingkan 6,9% untuk model prediktif (Skantze dan Irfan, KTH, 2025)
- Model pergantian giliran yang dilatih pada bahasa Inggris turun menjadi akurasi seimbang 59,43% pada percakapan bahasa Jepang (Inoue dkk., LREC-COLING 2024)
- Ketika pengguna menyela, GPT-4o Realtime berhenti berbicara dalam 0,23 s dan Nova Sonic dalam 2,25 s (Full-Duplex-Bench v1.5, 2025)
- Hanya 17,4% interupsi pengguna berakhir dengan pengguna mengambil hak bicara dari Moshi, dibandingkan 63,6% dalam percakapan manusia (Arora dkk., ICLR 2025)
- Desain full-duplex Moshi memiliki latensi teoretis 160 ms dan 200 ms dalam praktik (Kyutai, makalah Moshi 2024)
- Pipeline dialog bertingkat menghasilkan 0,0 s ucapan tumpang tindih per menit, dibandingkan 3,6 s pada panggilan telepon Fisher yang nyata (Nguyen dkk., Generative Spoken Dialogue Language Modeling 2022)
1. Tolok Ukur Manusia: Giliran Lebih Sering Tumpang Tindih daripada Menunggu
Gambaran standar tentang percakapan, satu orang berbicara, berhenti, lalu yang lain menjawab, keliru dengan cara yang penting bagi perangkat lunak. Dalam TurnBench, benchmark 2026 yang dibangun dari 30 jam percakapan dua arah antara dua orang yang dianotasi manual, pendengar mulai berbicara median 151 ms sebelum giliran yang sedang berlangsung berakhir, dan setelah interupsi yang merebut hak bicara dimasukkan, selisih median mencapai 281 ms sebelum akhir (TurnBench, Jiang dkk., IEEE SLT 2026). “Peralihan hak bicara” di sini berarti saat hak untuk berbicara berpindah dari satu orang ke orang lain. Detektor yang menunggu keheningan terlambat sejak dari rancangannya, bahkan sebelum pemrosesan apa pun dimulai.
Waktu juga membawa makna. Studi PNAS 10 bahasa menemukan bahwa respons yang tidak menjawab pertanyaan (misalnya “saya tidak tahu”) tiba 131,78 ms lebih lambat daripada jawaban yang sebenarnya, dan konfirmasi tiba 206,87 ms lebih cepat daripada penolakan dalam model multivariat (Stivers dkk., PNAS 2009). Manusia menangkap keterlambatan itu sebagai sinyal. Agen suara yang selalu menunggu keheningan tetap yang sama sebelum menjawab mengirim sinyal yang tidak dimaksudkannya.
| Metrik | Nilai | Sumber |
|---|---|---|
| Selisih median saat pendengar mulai berbicara, peralihan mulus (negatif = sebelum giliran berakhir) | -151 ms | TurnBench, Jiang dkk., IEEE SLT 2026 |
| Selisih respons yang paling umum (modal) setelah pertanyaan ya/tidak, 10 bahasa digabung | 0 ms (modus per bahasa 0 hingga +200 ms) | Stivers dkk., PNAS 2009 |
| Keterlambatan tambahan saat respons tidak menjawab pertanyaan, model multivariat | +131,78 ms (CI 95% 59,34 hingga 204,23) | Stivers dkk., PNAS 2009 |
| Selisih keterlambatan konfirmasi versus penolakan, model multivariat | -206,87 ms (CI 95% -268,61 hingga -145,12) | Stivers dkk., PNAS 2009 |
| Selisih respons rata-rata pada respons yang dinilai tepat waktu oleh pemberi anotasi, bahasa Jepang versus Denmark | 36 ms versus 203 ms | Stivers dkk., PNAS 2009 |
| Porsi transisi giliran yang lebih cepat dari 200 ms, tiga korpus | 51% hingga 55% | Heldner dan Edlund 2010, ditinjau dalam Levinson dan Torreira, Frontiers in Psychology 2015 |
| Porsi sinyal Switchboard saat kedua pembicara berbicara bersamaan | 3,8% | Levinson dan Torreira, Frontiers in Psychology 2015 |
Catatan konteks: gambaran tumpang tindih bergantung pada cara pengukurannya. Ucapan yang tumpang tindih hanya mencakup 3,8% audio Switchboard, tetapi Heldner dan Edlund menemukan tumpang tindih pada sekitar 40% transisi, karena sebagian besar tumpang tindih itu singkat (Levinson dan Torreira, Frontiers in Psychology 2015). Data terbaru yang tersedia untuk angka lintas bahasa: Stivers dkk., 2009, dan Heldner dan Edlund, 2010. Waktu pergantian giliran manusia berubah sangat lambat, jadi usia studi-studi ini kurang penting dibandingkan benchmark produk.
2. Berapa Lama Mesin Menunggu: Batas Waktu Keheningan dan Latensi Endpoint
Sebagian besar sistem produksi masih memutuskan bahwa sebuah giliran telah berakhir dengan pengatur waktu. Amazon Lex V2 secara bawaan menunggu 600 ms hening setelah penelepon berhenti berbicara sebelum menganggap ucapan telah selesai, menunggu 4.000 ms agar penelepon mulai berbicara sama sekali, dan memotong satu ucapan pada 55.000 ms (AWS, Configuring timeouts for capturing user input with a Lex V2 bot). Makalah penelitian menggambarkan pengaturan yang lebih panjang lagi: penulis Voice Activity Projection menyebut sistem dialog lisan biasanya memakai batas waktu keheningan sekitar 1 atau 2 detik.
Garis depan riset adalah memangkas milidetik dari saat sistem memutuskan. Model gabungan Google, yang berbagi lapisan antara pengenalan ucapan dan endpointer (komponen yang memutuskan bahwa pengguna sudah selesai), memangkas latensi endpoint median dari 390 ms menjadi 270 ms dan latensi persentil ke-90 dari 740 ms menjadi 570 ms, dengan tingkat kesalahan kata tetap 5,8% (Bijwadia dkk., Google, Unified End-to-End Speech Recognition and Endpointing, SLT 2022). Keputusan yang lebih cepat hanya membantu jika transkripnya benar, tema yang dibahas dalam statistik halusinasi pengenalan ucapan kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Waktu tunggu hening bawaan setelah penelepon berhenti berbicara, Amazon Lex V2 | 600 ms | Dokumentasi AWS Lex V2 |
| Jeda hening bawaan sebelum akhir giliran hanya berdasarkan VAD, LiveKit Agents (bawaan vendor) | 500 ms | Blog LiveKit, 20 Desember 2024 (pengaturan milik vendor sendiri) |
| Batas waktu keheningan yang lazim pada sistem dialog lisan | Sekitar 1 atau 2 detik | Inoue dkk., Universitas Kyoto, IWSDS 2024 |
| Latensi endpoint median / persentil ke-90, model pengenalan dan endpointing terpisah (pencarian suara Google, sekitar 14.000 ucapan) | 390 ms / 740 ms | Bijwadia dkk., Google, SLT 2022 |
| Latensi endpoint median / persentil ke-90, model gabungan | 270 ms / 570 ms (lebih rendah 120 ms dan 170 ms, yaitu 30,8% dan 23,0%) | Bijwadia dkk., Google, SLT 2022 |
| Latensi endpoint pada persentil ke-50 / 90 / 99, baseline Alexa pada kueri transaksional | 300 / 570 / 1.110 ms | Raju dkk., Amazon, Two-Pass Endpoint Detection 2024 |
Catatan konteks: sebaran persentil adalah intinya. Median 300 ms tampak dekat dengan waktu manusia, tetapi 1% kueri transaksional Alexa yang paling lambat menunggu 1.110 ms atau lebih hanya untuk keputusan endpoint, sebelum jawaban apa pun dibuat (Raju dkk., Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024). Data terbaru yang tersedia untuk angka Google: 2022.
3. Pemotongan versus Balasan Terlambat: Pertukaran dalam Endpointing
Setiap endpointer mempertukarkan dua kegagalan: memotong pengguna di tengah pikirannya (pemotongan keliru) atau membiarkan keheningan kosong setelah pengguna selesai. Pengukuran paling langsung yang kami temukan berasal dari studi 39 partisipan dengan kepala robot Furhat. Dengan baseline standar berbasis keheningan, robot menyela pengguna pada 16,6% gilirannya dan tetap memiliki waktu respons median 2,7 s; model prediktif yang menggabungkan TurnGPT dan Voice Activity Projection menurunkan interupsi menjadi 6,9% dan respons median menjadi 1,5 s, kedua selisih pada p < 0,001 (Skantze dan Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025). Rancangan berbasis keheningan kalah di kedua sumbu sekaligus.
Memperbaiki satu sisi biasanya mengorbankan sisi lain. “Arbitrator” tahap kedua milik Amazon, yang memeriksa ulang endpointer pertama sebelum menutup mikrofon, menurunkan endpointing dini (berhenti sebelum pengguna selesai) sebesar 16,34% pada kueri transaksional, tetapi mendorong latensi persentil ke-99 dari 1.110 ms menjadi 1.320 ms. Detektor yang paling kasar gagal ke arah sebaliknya: pemicu tingkat suara sederhana aktif pada lebih dari separuh momen ketika giliran sebenarnya belum berakhir (lihat baris positif palsu di bawah). Pemicu itu bereaksi terhadap bunyi, bukan makna, sehingga audio yang sampai kepadanya penting, yang berkaitan dengan statistik peredam bising neural kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Giliran sistem yang menyela pengguna, baseline berbasis keheningan versus model TurnGPT plus VAP | 16,6% versus 6,9% | Skantze dan Irfan, KTH, 2025 |
| Waktu respons median sistem, baseline berbasis keheningan versus model TurnGPT plus VAP | 2,7 s versus 1,5 s | Skantze dan Irfan, KTH, 2025 |
| Partisipan yang memilih baseline berbasis keheningan / tanpa preferensi | 9 dari 39 / 3 dari 39 | Skantze dan Irfan, KTH, 2025 |
| Ucapan saat endpointer berhenti mendengarkan terlalu dini, benchmark SLURP, baseline versus dengan arbitrator | 2,39% versus 2,19% (penurunan relatif 8,37%) | Raju dkk., Amazon, 2024 |
| Penurunan relatif endpointing dini pada kueri transaksional / latensi persentil ke-99 sebelum versus sesudah | 16,34% / 1.110 ms versus 1.320 ms | Raju dkk., Amazon, 2024 |
| Presisi saat memprediksi akhir giliran yang sebenarnya, detektor akustik versus model end-to-end (recall 97,3% versus 97,5%) | 67,3% versus 84,7% | Chang dkk., Google, Interspeech 2022 |
| Tingkat positif palsu pada TurnBench, detektor energi sederhana versus server VAD OpenAI Realtime | 0,632 versus 0,525 | Papan peringkat TurnBench, dilihat 31 Oktober 2026 |
| Penurunan interupsi tidak disengaja, detektor giliran transformer plus VAD versus VAD saja | 85% | Blog LiveKit, 20 Desember 2024 (klaim vendor sendiri, set uji tidak diungkapkan) |
Catatan konteks: baseline robot bergantung pada detektor akhir ucapan Google yang tidak didokumentasikan, yang menurut dugaan penulis berbasis ambang, dan mereka menyebut ambang 1 s, jadi bacalah sebagai sistem berbasis keheningan, bukan pengaturan pengatur waktu yang tepat. Studi akhir giliran Google memakai ucapan uji yang tidak lancar (jeda acak, jeda terisi seperti “um”, kata yang dipanjangkan, dan frasa yang diulang), yaitu kasus yang menurut makalah itu membuat endpointer konvensional memotong pengguna (Chang dkk., Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022). Set uji percakapan alaminya hanya berisi 200 ucapan dari 10 pembicara, jadi anggaplah angka presisi sebagai indikasi arah.
4. Memprediksi Akhir Sebuah Giliran: VAP, TurnGPT, dan Papan Peringkat
Model prediktif menyimak bagaimana kalimat berjalan, bukan hanya apakah ruangan sudah hening. TurnGPT, model teks, mencapai akurasi seimbang 0,823 pada dialog lisan spontan dibandingkan 0,748 untuk baseline LSTM (Ekstedt dan Skantze, TurnGPT, Findings of EMNLP 2020). Akurasi seimbang merata-ratakan kinerja pada “pergantian giliran” dan “mempertahankan giliran”, sehingga 0,5 setara dengan tebakan acak. Voice Activity Projection (VAP) bekerja pada audio itu sendiri dan memprediksi 2 detik berikutnya tentang siapa yang akan berbicara.
Bahasa adalah variabel tersembunyi. Model VAP yang dilatih pada bahasa Inggris turun menjadi akurasi seimbang 59,43% pada bahasa Jepang, dibandingkan 74,20% untuk model yang dilatih pada bahasa Jepang, dan pergantian giliran menyusun 42,9% momen pergantian-atau-pertahankan pada data bahasa Jepang dibandingkan 9,9% pada bahasa Inggris (Inoue dkk., Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024). Detektor giliran yang disetel pada panggilan berbahasa Inggris bukanlah komponen netral dalam produk multibahasa.
| Metrik | Nilai | Sumber |
|---|---|---|
| Akurasi seimbang memprediksi pergantian giliran pada dialog lisan spontan, TurnGPT versus baseline LSTM | 0,823 versus 0,748 | Ekstedt dan Skantze, KTH, Findings of EMNLP 2020 |
| Akurasi seimbang pergantian versus pertahankan pada VAP, dilatih dan diuji pada bahasa yang sama: Inggris / Mandarin / Jepang | 79,59% / 84,49% / 74,20% | Inoue dkk., Universitas Kyoto, LREC-COLING 2024 |
| VAP dilatih pada bahasa Inggris, diuji pada bahasa Jepang | 59,43% | Inoue dkk., Universitas Kyoto, LREC-COLING 2024 |
| Porsi peristiwa pergantian-atau-pertahankan yang berupa pergantian giliran, data uji bahasa Inggris versus Jepang | 9,9% versus 42,9% | Inoue dkk., Universitas Kyoto, LREC-COLING 2024 |
| VAP pada CPU, konteks audio 1 s versus 20 s, data bahasa Jepang: faktor waktu nyata (di bawah 1 = lebih cepat dari waktu nyata) | 0,73 versus 13,69 | Inoue dkk., Universitas Kyoto, IWSDS 2024 |
| Voice Activity Projection pada TurnBench: recall / tingkat positif palsu / latensi | 0,845 / 0,055 / 368 ms | Papan peringkat TurnBench, dilihat 31 Oktober 2026 |
| Smart Turn v3 versus Kyutai Semantic VAD pada TurnBench: recall / tingkat positif palsu / latensi | 0,752 / 0,047 / 1.017 ms versus 0,773 / 0,059 / 1.007 ms | Papan peringkat TurnBench, dilihat 31 Oktober 2026 |
| Gemini 3.1 Live versus VAD semantik OpenAI Realtime pada TurnBench: recall / tingkat positif palsu / latensi | 0,657 / 0,022 / 1.234 ms versus 0,303 / 0,018 / 793 ms | Papan peringkat TurnBench, dilihat 31 Oktober 2026 |
Catatan konteks: porsi pergantian berasal dari korpus yang berbeda (panggilan telepon Switchboard versus tugas biro perjalanan berbahasa Jepang), sehingga selisihnya mencerminkan tugas sekaligus bahasa. Hasil waktu nyata penting untuk penerapan: dengan konteks 1 detik, VAP berjalan pada 14,61 ms per frame di CPU Intel Xeon dan mencapai akurasi seimbang 76,16%, sedikit di atas 74,20% yang diukur dengan konteks 20 detik (Inoue dkk., Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024). Papan peringkat TurnBench mendiskualifikasi sistem dengan tingkat positif palsu di atas 0,15, dan dua sistem paling berhati-hati dalam tabel menjaga alarm palsu paling rendah sambil melewatkan paling banyak akhir giliran yang sebenarnya. Data terbaru yang tersedia untuk TurnGPT: 2020.
5. Barge-In: Apa yang Terjadi Saat Pengguna Berbicara Menimpa Agen
Barge-in adalah masalah kebalikannya: agen sedang berbicara dan pengguna mulai berbicara. Berhenti dengan cepat hanyalah separuh pekerjaan. Pada Full-Duplex-Bench v1.5, GPT-4o Realtime berhenti berbicara 0,23 s setelah interupsi pengguna dan menanggapi apa yang dikatakan pengguna pada 78% kasus, sedangkan Nova Sonic butuh 2,25 s untuk berhenti dan mengabaikan interupsi untuk melanjutkan jawaban sebelumnya pada 71% kasus (Lin dkk., Full-Duplex-Bench v1.5, arXiv 2025). Tim pusat kontak yang mengevaluasi model-model ini, yang dibahas dalam statistik otomatisasi pusat kontak dengan agen suara kami, memilih di antara dua perilaku yang sangat berbeda.
Kesalahan sebaliknya adalah mengalah pada backchannel, “mm-hm” atau “betul” singkat yang diucapkan pendengar untuk menunjukkan bahwa ia mengikuti. GPT-4o Realtime berhenti dalam 0,21 s bahkan pada isyarat semacam itu, yang oleh para penulis dibaca sebagai berhenti yang terlalu bersemangat. Mengalah seketika juga bukan norma manusia: orang yang disela terus berbicara median 1,48 s sebelum melepas hak bicara, jadi waktu berhenti terendah tidak otomatis menjadi target yang tepat. Moshi berada di ujung terjauh skala itu, dengan hanya 17,4% interupsi pengguna berakhir dengan pengguna mengambil hak bicara.
| Metrik | Nilai | Sumber |
|---|---|---|
| Pengguna menyela agen, GPT-4o Realtime: tingkat menanggapi apa yang dikatakan pengguna / tingkat melanjutkan jawaban sebelumnya / waktu untuk berhenti berbicara | 0,78 / 0,10 / 0,23 s | Lin dkk., Full-Duplex-Bench v1.5, 2025 |
| Pengguna menyela agen, endpoint Gemini 2.0 Flash Live: tingkat menanggapi apa yang dikatakan pengguna / tingkat melanjutkan jawaban sebelumnya / waktu untuk berhenti berbicara | 0,33 / 0,55 / 2,20 s | Lin dkk., Full-Duplex-Bench v1.5, 2025 |
| Pengguna menyela agen, Nova Sonic: tingkat menanggapi apa yang dikatakan pengguna / tingkat melanjutkan jawaban sebelumnya / waktu untuk berhenti berbicara | 0,24 / 0,71 / 2,25 s | Lin dkk., Full-Duplex-Bench v1.5, 2025 |
| Pengguna hanya memberi backchannel (“mm-hm”): waktu berhenti GPT-4o Realtime versus tingkat Nova Sonic melanjutkan jawaban sebelumnya | 0,21 s versus 0,98 | Lin dkk., Full-Duplex-Bench v1.5, 2025 |
| Interupsi pengguna yang berakhir dengan pengguna mengambil hak bicara, menurut siapa yang disela: Moshi / sistem bertingkat / pembicara manusia | 17,4% / 59,4% / 63,6% | Arora dkk., Talking Turns, ICLR 2025 |
| Keputusan Moshi yang berupa interupsi positif palsu terhadap pengguna | 2,09% dari semua keputusan | Arora dkk., Talking Turns, ICLR 2025 |
| Waktu median seorang manusia yang disela terus berbicara sebelum melepas hak bicara | 1,48 s | TurnBench, Jiang dkk., IEEE SLT 2026 |
| Bawaan barge-in (izinkan interupsi) untuk prompt Amazon Lex V2 | Aktif (true) | Dokumentasi AWS Lex V2 |
Catatan konteks: studi pengguna Talking Turns mengumpulkan sekitar 4 jam percakapan manusia-AI per sistem dengan 11 partisipan, dan interupsi pengguna hanya menyusun 0,2% (Moshi) dan 0,1% (bertingkat) dari kasus yang dinilai, sehingga persentase ini bertumpu pada jumlah kecil, terutama yang bertingkat (Arora dkk., Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025). Full-Duplex-Bench v1.5 memakai 200 interupsi hasil sintesis, bukan penelepon langsung. Kami tidak menemukan dataset primer publik tentang seberapa sering penelepon pusat kontak memotong bicara agen suara produksi.
6. Model Full-Duplex: Mendengarkan dan Berbicara pada Saat yang Sama
Model full-duplex meninggalkan keputusan giliran sepenuhnya: mereka mendengarkan dan berbicara pada aliran audio paralel, sehingga tumpang tindih dan backchannel dapat terjadi secara alami. Moshi dari Kyutai melaporkan latensi teoretis 160 ms dan 200 ms dalam praktik, dan para penulisnya mencatat bahwa ucapan tumpang tindih menyusun 10% hingga 20% waktu berbicara dalam percakapan nyata (Défossez dkk., Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024). Baseline bertingkat dalam evaluasi dGSLM tidak menghasilkan hal itu sama sekali, dengan nol jeda dan nol tumpang tindih per menit dialog yang dihasilkan (Nguyen dkk., Generative Spoken Dialogue Language Modeling, 2022).
Kecepatan belum menjadi pertimbangan. Pada Full-Duplex-Bench, Moshi mencetak tingkat pengambilalihan giliran 0,980 selama jeda pengguna pada set Candor, dibandingkan 0,310 untuk Gemini Live; untuk ukuran ini lebih rendah lebih baik, karena mengambil hak bicara saat pengguna hanya berjeda adalah pemotongan (Lin dkk., Full-Duplex-Bench, ASRU 2025). Model full-duplex menyelesaikan masalah keheningan dan mewarisi masalah interupsi.
| Metrik | Nilai | Sumber |
|---|---|---|
| Latensi respons teoretis / praktis Moshi | 160 ms / 200 ms | Défossez dkk., Kyutai, 2024 |
| Data pralatih audio Moshi / fine-tuning percakapan telepon Fisher | 7 juta jam / 2.000 jam | Défossez dkk., Kyutai, 2024 |
| Ucapan tumpang tindih dalam percakapan nyata, seperti dikutip dalam makalah Moshi | 10% hingga 20% waktu berbicara | Défossez dkk., Kyutai, 2024 (mengutip Cetin dan Shriberg 2006) |
| Tumpang tindih per menit, percakapan Fisher nyata versus sistem dialog bertingkat | 3,6 s versus 0,0 s | Nguyen dkk., dGSLM, 2022 |
| Jeda antarpembicara per menit, percakapan Fisher nyata versus sistem bertingkat | 7,5 versus 14,9 | Nguyen dkk., dGSLM, 2022 |
| Jeda / tumpang tindih kumulatif, Moshi pada temperatur sampling 1,0 versus percakapan nyata (protokol dGSLM yang sama) | 4,5 s / 4,1 s versus 4,2 s / 3,3 s | Défossez dkk., Kyutai, 2024 |
| Porsi waktu percakapan yang dihabiskan dalam jeda hening, Moshi versus sistem bertingkat (studi pengguna) | 11,8% versus 32,4% | Arora dkk., Talking Turns, ICLR 2025 |
| Tingkat pengambilalihan giliran selama jeda pengguna, set Candor (lebih rendah lebih baik): Moshi / dGSLM / Gemini Live | 0,980 / 0,935 / 0,310 | Lin dkk., Full-Duplex-Bench, 2025 |
Catatan konteks: statistik giliran Moshi berayun mengikuti temperatur sampling. Pada temperatur 0,8, tumpang tindih kumulatifnya turun menjadi 1,2 s dan jeda naik menjadi 12,5 s, sehingga satu angka “tumpang tindih Moshi” dapat dikutip ke dua arah. Data terbaru yang tersedia untuk dGSLM: 2022.
Ringkasan: Deteksi Akhir Giliran dan Barge-In pada AI Percakapan dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Waktu mulai pendengar pada peralihan mulus (sebelum giliran berakhir) | Median 151 ms lebih awal | TurnBench, IEEE SLT 2026 |
| Transisi giliran yang lebih cepat dari 200 ms | 51% hingga 55% | Heldner dan Edlund 2010, melalui Frontiers in Psychology 2015 |
| Keterlambatan respons saat balasan tidak menjawab pertanyaan | +131,78 ms | Stivers dkk., PNAS 2009 |
| Selisih rata-rata respons yang dinilai tepat waktu oleh pemberi anotasi, bahasa Jepang versus Denmark | 36 ms versus 203 ms | Stivers dkk., PNAS 2009 |
| Waktu tunggu hening bawaan Amazon Lex V2 sebelum mengakhiri ucapan | 600 ms | Dokumentasi AWS Lex V2 |
| Latensi endpoint median Google, model terpisah versus gabungan | 390 ms versus 270 ms | Bijwadia dkk., Google, SLT 2022 |
| Giliran robot yang menyela pengguna, baseline berbasis keheningan versus model prediktif | 16,6% versus 6,9% | Skantze dan Irfan, KTH, 2025 |
| Waktu respons median robot, baseline berbasis keheningan versus model prediktif | 2,7 s versus 1,5 s | Skantze dan Irfan, KTH, 2025 |
| Presisi memprediksi akhir giliran yang sebenarnya, detektor akustik versus model end-to-end | 67,3% versus 84,7% | Chang dkk., Google, Interspeech 2022 |
| Akurasi VAP, model berlatih bahasa Inggris pada bahasa Jepang versus berlatih bahasa Jepang | 59,43% versus 74,20% | Inoue dkk., LREC-COLING 2024 |
| GPT-4o Realtime versus Nova Sonic, waktu berhenti setelah interupsi pengguna | 0,23 s versus 2,25 s | Full-Duplex-Bench v1.5, 2025 |
| Interupsi pengguna yang berakhir dengan pengguna mengambil hak bicara, Moshi versus pembicara manusia | 17,4% versus 63,6% | Arora dkk., ICLR 2025 |
| Latensi teoretis / praktis Moshi | 160 ms / 200 ms | Kyutai, 2024 |
| Tumpang tindih per menit, panggilan Fisher nyata versus sistem bertingkat | 3,6 s versus 0,0 s | Nguyen dkk., dGSLM, 2022 |
| Porsi jeda hening dalam percakapan, Moshi versus sistem bertingkat | 11,8% versus 32,4% | Arora dkk., ICLR 2025 |
| Tingkat pengambilalihan giliran Moshi selama jeda pengguna, set Candor | 0,980 | Full-Duplex-Bench, 2025 |
Metodologi dan Sumber
- Jiang dkk., TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue, IEEE SLT 2026 dan papan peringkat TurnBench yang aktif: statistik waktu manusia serta recall, tingkat positif palsu, dan latensi sistem.
- Stivers dkk., Universals and cultural variation in turn-taking in conversation, PNAS 2009: 10 bahasa, 101 percakapan, pertanyaan ya/tidak.
- Levinson dan Torreira, Timing in turn-taking and its implications for processing models of language, Frontiers in Psychology 2015: analisis Switchboard dan tinjauan atas Heldner dan Edlund (Journal of Phonetics 2010).
- AWS, Configuring timeouts for capturing user input with a Lex V2 bot: pengaturan bawaan untuk keheningan, awal bicara, dan barge-in.
- Bijwadia dkk., Google, Unified End-to-End Speech Recognition and Endpointing for Fast and Efficient Speech Systems, SLT 2022.
- Chang dkk., Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022.
- Raju dkk., Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024.
- Skantze dan Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025.
- Ekstedt dan Skantze, TurnGPT, Findings of EMNLP 2020.
- Inoue dkk., Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024 dan Inoue dkk., Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024.
- Lin dkk., Full-Duplex-Bench, ASRU 2025 dan Lin dkk., Full-Duplex-Bench v1.5, 2025 (versi 3, 28 Januari 2026).
- Arora dkk., Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025.
- Défossez dkk., Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024.
- Nguyen dkk., Generative Spoken Dialogue Language Modeling (dGSLM), 2022, diterbitkan di TACL 2023.
- LiveKit, Using a transformer to improve end of turn detection, 20 Desember 2024: klaim vendor, diberi label demikian.
- Catatan data: makalah Moshi menggambarkan waktu respons rata-rata 230 ms di 10 bahasa, sedangkan studi PNAS melaporkan rata-rata 208 ms, sehingga rata-rata lintas bahasa berbeda menurut sumbernya. Prevalensi tumpang tindih juga bervariasi menurut metode: sekitar 30% peralihan hak bicara dalam analisis Switchboard oleh Levinson dan Torreira versus sekitar 40% transisi pada Heldner dan Edlund. Abstrak konferensi Google mencantumkan penurunan median dan persentil ke-90 sebesar 130 ms (33,3%) dan 160 ms (22,2%), sedangkan tabel arXiv yang dipakai di sini memberikan 120 ms (30,8%) dan 170 ms (23,0%). Papan peringkat TurnBench aktif dan menerima kiriman eksternal, sehingga peringkat akan bergeser; angka di atas dibaca pada 31 Oktober 2026, dan kami tidak menyertakan entri eksternal yang dikirim sendiri, sembilan di antaranya berada di atas Voice Activity Projection pada recall. Angka Full-Duplex-Bench v1.5 berasal dari arXiv versi 3. Kami tidak menemukan data publik primer tentang frekuensi barge-in di pusat kontak.
Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika prosiding IEEE SLT 2026 menerbitkan makalah TurnBench versi final.