Di 10 bahasa, orang menjawab pertanyaan setelah jeda rata-rata hanya 208 ms, namun target awal Twilio untuk agen suara AI berantai adalah jeda giliran bicara 1.115 ms dari mulut ke telinga, kira-kira 5 kali lebih lama (1.115 ÷ 208 ≈ 5,4). Patokan manusia cepat karena pendengar memprediksi akhir sebuah giliran bicara: menghasilkan satu kata saja memerlukan sekitar 600 ms, sehingga jawaban sudah direncanakan saat lawan bicara masih berbicara (Levinson dan Torreira, Frontiers in Psychology 2015). Agen suara tidak bisa memprediksi dengan cara yang sama, jadi mereka menunggu, mentranskripsi, berpikir, dan mensintesis secara berurutan, dan papan peringkat independen terbaru menunjukkan rata-rata waktu hingga audio pertama untuk model ucapan-ke-ucapan dari 0,44 s hingga 2,98 s (Artificial Analysis Speech to Speech Index 2026). Bagi pusat kontak yang menerapkan otomatisasi, yang kami bahas dalam statistik otomatisasi pusat kontak dengan agen suara, latensi adalah bagian pengalaman yang dirasakan penelepon sebelum mereka mendengar satu kata pun yang berguna. Kami mengagregasi data dari studi giliran bicara PNAS, standar internasional penundaan telepon, panduan rekayasa sumber terbuka dan vendor, papan peringkat independen, serta tolok ukur riset yang diterbitkan di arXiv dan ACM CUI.
TL;DR
- Rata-rata jeda sebelum jawaban di 10 bahasa: 208 ms; median 100 ms (Stivers et al., PNAS 2009)
- 70% hingga 82% transisi giliran bicara dalam percakapan lebih singkat dari 500 ms (Heldner dan Edlund 2010, ditinjau dalam Frontiers in Psychology 2015)
- ITU-T G.114 menetapkan 400 ms sebagai batas atas penundaan satu arah untuk perencanaan jaringan, dengan di bawah 150 ms pada dasarnya transparan (ITU-T G.114, 2003)
- Sebuah agen suara riset telekomunikasi rata-rata mencapai audio pertama dalam 678 ms pada 500 pertanyaan rekaman (Ethiraj et al., NetoAI, arXiv 2025)
- Klip percakapan yang identik terasa lebih terhubung dengan jeda rata-rata 55,68 ms dibandingkan 557,14 ms (Templeton et al., PNAS 2022)
- Deepgram mengklaim deteksi akhir giliran sekitar 260 ms untuk model Flux-nya (dokumentasi Deepgram Flux 2025, klaim vendor)
- Model akhir giliran LiveKit yang diperbarui menurunkan interupsi keliru dari 18,66% menjadi 11,34% di 14 bahasa (LiveKit, 12 Desember 2025)
- ElevenLabs Flash v2.5 terukur pada latensi median 197 ms termasuk jaringan, dibandingkan klaim inferensi 75 ms (Vapi Humanness Index, Juni 2026)
- OpenAI melaporkan respons audio GPT-4o rata-rata 320 ms, dibandingkan 5,4 s untuk pipeline suara GPT-4 yang lebih lama (OpenAI, Hello GPT-4o 2024, klaim vendor)
- Gemini Live membutuhkan 1,301 s untuk mengambil giliran bicara, dibandingkan 0,265 s untuk Moshi pada Full-Duplex-Bench (Lin et al., arXiv 2025)
- Pengguna memilih agen berlatensi tinggi sebagai yang paling tidak mereka sukai pada 61,11% kasus (Maslych et al., ACM CUI 2025)
1. Patokan Manusia: Seberapa Cepat Orang Bergantian Berbicara
Tolok ukur yang menjadi pembanding setiap agen suara ditetapkan jauh sebelum perangkat lunak ada. Dalam perbandingan lintas bahasa terbesar tentang waktu pergantian giliran bicara, jeda yang paling umum antara pertanyaan dan jawabannya adalah 0 ms, dan median lintas bahasa adalah 100 ms (Stivers et al., Universals and cultural variation in turn-taking in conversation, PNAS 2009). Pembicara tidak menunggu hening lalu bereaksi; mereka meluncurkan jawaban tepat saat pertanyaan berakhir.
Kecepatan itu adalah prestasi perencanaan, bukan refleks. Eksperimen penamaan gambar menempatkan waktu untuk menghasilkan satu kata sekitar 600 ms dan satu kalimat pendek sekitar 1.500 ms, itulah sebabnya para peneliti menyimpulkan bahwa pendengar harus memprediksi kapan sebuah giliran bicara akan berakhir dan menyiapkan jawaban secara paralel (Levinson dan Torreira, Frontiers in Psychology 2015). Agen suara berantai melakukan kebalikannya: ia menunggu penelepon berhenti, lalu memulai seluruh rantai.
| Metrik | Nilai | Sumber |
|---|---|---|
| Rata-rata jeda antara pertanyaan dan jawaban, gabungan 10 bahasa | 208 ms | Stivers et al., PNAS 2009 |
| Median jeda antara pertanyaan dan jawaban, gabungan 10 bahasa | 100 ms | Stivers et al., PNAS 2009 |
| Rata-rata bahasa tercepat dan terlambat (masing-masing bahasa Jepang dan bahasa Denmark) | 7 ms dan 469 ms | Stivers et al., PNAS 2009 |
| Porsi transisi giliran bicara yang lebih singkat dari 500 ms | 70% hingga 82% | Heldner dan Edlund 2010, ditinjau dalam Levinson dan Torreira, Frontiers in Psychology 2015 |
| Porsi peralihan giliran bicara yang tumpang tindih dengan pembicara sebelumnya (korpus telepon Switchboard, 348 percakapan) | 30,1% | Levinson dan Torreira, Frontiers in Psychology 2015 |
| Waktu yang dibutuhkan untuk mulai mengucapkan satu kata yang disebutkan (penamaan gambar) | Sekitar 600 ms | Indefrey dan Levelt 2004, ditinjau dalam Levinson dan Torreira, Frontiers in Psychology 2015 |
| Waktu respons manusia yang umum (modus) antar giliran bicara | Sekitar 200 ms | Templeton et al., PNAS 2022 |
Catatan konteks: sampel 10 bahasa mencakup 101 percakapan di 5 benua. Makalah tersebut menyebut rata-rata bahasa berada dalam kisaran sekitar 250 ms di kedua sisi rata-rata lintas bahasa, meskipun bahasa Denmark berada sekitar 261 ms di atasnya (469 dikurangi 208). Data terbaru yang tersedia: studi 2009 dan 2015 di atas. Patokan ini berubah dengan lambat, sehingga usianya kurang penting dibandingkan tolok ukur produk.
2. Batas Penundaan Jaringan dan Telepon
Sebelum model apa pun berjalan, jaringan telepon sudah menghabiskan sebagian anggaran. “Penundaan satu arah” di sini berarti waktu yang ditempuh suara dari mulut pembicara ke telinga pendengar dalam satu arah, bukan pulang-pergi. Rekomendasi ITU-T G.114 menyatakan bahwa penundaan satu arah 400 ms tidak boleh dilampaui untuk perencanaan jaringan umum, dan bahwa penundaan yang dijaga di bawah 150 ms pada dasarnya transparan bagi sebagian besar aplikasi (ITU-T G.114, One-way transmission time).
Era agen suara membalikkan batas-batas ini. Standar ini ditulis untuk panggilan antarmanusia, di mana pihak seberang menjawab dalam sekitar 200 ms; agen yang membutuhkan satu detik untuk berpikir menghabiskan lebih dari dua kali lipat seluruh jatah jaringan 400 ms sebelum mengucapkan sepatah kata pun. Angka Twilio sendiri menunjukkan pembagiannya: targetnya untuk jeda giliran bicara penuh dari mulut ke telinga adalah 1.115 ms dan targetnya di dalam platform agen adalah 885 ms, yang berarti sekitar 230 ms untuk transit jaringan dan saluran telepon (1.115 dikurangi 885).
| Metrik | Nilai | Sumber |
|---|---|---|
| Penundaan satu arah maksimum yang direkomendasikan untuk perencanaan jaringan umum | 400 ms | ITU-T G.114 (05/2003) |
| Penundaan satu arah di bawah mana sebagian besar aplikasi ucapan dan non-ucapan terasa pada dasarnya transparan | 150 ms | ITU-T G.114 (05/2003) |
| Perkiraan penundaan VoIP dari mulut ke telinga pada rute intra-regional sepanjang 5.000 km atau kurang | Di bawah 150 ms | ITU-T G.114 Lampiran II |
| Penundaan VoIP dari mulut ke telinga pada rute darat antar-regional terburuk (27.500 km) | Sedikit di atas 300 ms | ITU-T G.114 Lampiran II |
| Pulang-pergi internet publik ke server sintesis suara, tergantung jarak | 20 hingga 200 ms | Dokumentasi latensi ElevenLabs 2026 (vendor) |
Catatan konteks: edisi Mei 2003 masih tercantum berlaku. Penundaan di bawah 400 ms dinilai dengan model-E dari Rekomendasi G.107, rumus yang memperkirakan kualitas percakapan dari penundaan, dan pendahuluannya mencatat bahwa tugas yang sangat interaktif bisa terpengaruh oleh penundaan di bawah 100 ms. Data terbaru yang tersedia: edisi 2003.
3. Anggaran Latensi Agen Suara Berantai
Agen berantai menyambung tiga model: ucapan-ke-teks (STT), model bahasa besar (LLM), dan teks-ke-ucapan (TTS). Target komponen Twilio berjumlah 825 ms (350 + 375 + 100), tetapi batas atasnya berjumlah 1.500 ms (500 + 750 + 250), yang berarti tumpukan yang sekadar tetap berada di dalam setiap batas masih bisa melampaui batas ujung-ke-ujung 1.400 ms (Twilio, A Guide to Core Latency in AI Voice Agents). Panduan itu menyebutnya “tolok ukur awal, bukan yang terbaik di kelasnya.”
Rincian acuan panduan Pipecat menunjukkan ke mana waktu sebenarnya pergi: transkripsi dengan deteksi akhir ucapan, waktu LLM hingga byte pertama, dan waktu TTS hingga byte pertama bersama-sama menyumbang 1.070 ms dari total 1.293 ms, sekitar 83% (1.070 ÷ 1.293), sementara seluruh perpipaan audio (mikrofon, codec, jitter buffer, speaker) menempati sisanya (Voice AI and Voice Agents guide). “Jitter buffer” adalah antrean penahan singkat yang menghaluskan kedatangan paket yang tidak merata; rincian itu menghabiskan 40 ms untuk satu buah di setiap arah. Pipeline riset yang dibangun untuk pertanyaan telekomunikasi pada satu GPU H100 berakhir pada kisaran yang sama (Ethiraj et al., arXiv 2508.04721).
| Metrik | Nilai | Sumber |
|---|---|---|
| Latensi ucapan-ke-teks, target berbanding batas atas | 350 ms berbanding 500 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| Waktu LLM hingga token pertama, target berbanding batas atas | 375 ms berbanding 750 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| Waktu teks-ke-ucapan hingga byte pertama, target berbanding batas atas | 100 ms berbanding 250 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| Jeda giliran bicara dari mulut ke telinga sebagaimana dirasakan penelepon, target berbanding batas atas | 1.115 ms berbanding 1.400 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| Total suara-ke-suara acuan, menjumlahkan 16 tahap dari mikrofon ke speaker | 1.293 ms (teks panduan menyebut sekitar 1.200 ms) | Panduan Voice AI and Voice Agents, Pipecat 2026 |
| Latensi suara-ke-suara yang disebut panduan sebagai target penting | 1.500 ms | Panduan Voice AI and Voice Agents, Pipecat 2026 |
| Rata-rata waktu hingga audio pertama dalam pipeline telekomunikasi, 500 pertanyaan rekaman (min hingga maks) | 678 ms (412 hingga 1.482 ms) | Ethiraj et al., NetoAI, arXiv 2025 |
| Rata-rata waktu pemrosesan ujung-ke-ujung per ujaran dalam pipeline telekomunikasi yang sama | 934 ms | Ethiraj et al., NetoAI, arXiv 2025 |
Catatan pencilan: tim riset Sprinklr melaporkan potongan audio pertama “serendah 640,9 ms” pada GPU NVIDIA L4, tetapi 1.748,6 ms untuk pengaturan yang sama pada CPU, pengingat bahwa perangkat keras saja bisa melipatgandakan lebih dari dua kali waktu hingga audio pertama (Choudhary dan Purwar, arXiv 2509.20971).
4. Deteksi Akhir Ucapan dan Deteksi Giliran Bicara
“Deteksi akhir ucapan” (endpointing) adalah keputusan agen bahwa penelepon telah selesai berbicara. Ini adalah tahap yang paling sering disetel manual, karena menukar kecepatan dengan ketidaksopanan: terlalu sebentar menunggu, agen memotong orang di tengah kalimat; terlalu lama menunggu, penelepon mendengar keheningan kosong. Model akhir giliran LiveKit yang diperbarui menurunkan tingkat interupsi keliru di 14 bahasa dari 18,66% menjadi 11,34%, penurunan relatif 39,23%, tanpa peningkatan latensi respons (LiveKit, Improved end-of-turn model cuts voice AI interruptions 39%).
Angka dari vendor menunjukkan seberapa besar anggaran yang dikendalikan oleh satu keputusan ini. Deepgram mengklaim model Flux-nya dapat memangkas latensi respons agen sebesar 200 hingga 600 ms dibandingkan pendekatan pipeline, dan bahwa sinyal awal “eager” tiba 150 hingga 250 ms lebih cepat dengan biaya 50% hingga 70% lebih banyak panggilan LLM (Deepgram, Introducing Flux). Panggilan tambahan itu adalah harga tersembunyi dari kecepatan: agen mulai menyusun jawaban untuk kalimat yang mungkin belum selesai diucapkan penelepon. Kebisingan latar juga menggeser keputusan-keputusan ini, topik yang kami pantau di statistik latensi peredam bising neural.
| Metrik | Nilai | Sumber |
|---|---|---|
| Latensi deteksi akhir giliran yang diklaim untuk Flux | Sekitar 260 ms | Dokumentasi Deepgram Flux 2025 (klaim vendor) |
| Latensi akhir giliran Flux pada persentil ke-90 dan ke-95 | 1 s dan 1,5 s | Deepgram, Introducing Flux, 1 Oktober 2025 (klaim vendor) |
| Penurunan interupsi keliru yang diklaim untuk Flux | Sekitar 30% | Deepgram, Introducing Flux 2025 (klaim vendor) |
| Tingkat interupsi keliru, seluruh 14 bahasa, model LiveKit lama berbanding baru (pada tingkat true-positive tetap 99,3%) | 18,66% berbanding 11,34% | LiveKit, 12 Desember 2025 |
| Tingkat interupsi keliru, bahasa Inggris, model LiveKit lama berbanding baru | 16,6% berbanding 13,0% | LiveKit, 12 Desember 2025 |
| Keheningan yang ditunggu konfigurasi VAD server contoh sebelum mengakhiri sebuah giliran | 500 ms | Panduan OpenAI Realtime VAD 2026 |
Catatan konteks: VAD (deteksi aktivitas suara) adalah detektor sederhana yang mendengar apakah ada yang berbicara; nilai 500 ms adalah konfigurasi contoh dalam panduan Realtime VAD OpenAI, bukan nilai bawaan yang dinyatakan. Aturan keheningan tetap 500 ms saja sudah lebih dari dua kali lipat rata-rata jeda manusia 208 ms dari bagian 1.
5. Waktu LLM hingga Token Pertama dan Waktu TTS hingga Audio Pertama
Begitu giliran bicara berakhir, model harus mulai berbicara. Aturan praktis panduan Pipecat adalah bahwa waktu LLM hingga token pertama 600 ms atau kurang sudah cukup cepat untuk sebagian besar kasus penggunaan suara, dan hanya dua dari empat model hosted yang dicantumkannya memenuhi batas itu pada median, sedangkan tidak ada yang memenuhinya pada persentil ke-95 (Voice AI and Voice Agents guide). Waktu hingga token pertama (TTFT) adalah lamanya model bahasa mengeluarkan potongan pertama jawabannya. Ekor distribusi lebih penting daripada median di saluran telepon, karena penelepon mengingat satu keheningan 1,7 s itu, bukan rata-ratanya.
Sintesis suara kini menjadi bagian terkecil, tetapi angka vendor dan angka terukur berbeda. ElevenLabs menyatakan model Flash-nya mencapai sekitar 75 ms inferensi model, secara eksplisit tidak termasuk jaringan dan beban aplikasi (dokumentasi latensi ElevenLabs), sedangkan uji pihak ketiga atas 50 percobaan streaming langsung dari mesin tolok ukur mengukur median 197 ms (Vapi Humanness Index). Tim yang membandingkan mesin sintesis, termasuk untuk generator suara AI, sebaiknya menanyakan mana dari dua angka itu yang dikutip lembar spesifikasi.
| Metrik | Nilai | Sumber |
|---|---|---|
| GPT-4.1 waktu hingga token pertama, median berbanding persentil ke-95 | 536 ms berbanding 1.771 ms | Panduan Voice AI and Voice Agents, Pipecat 2026 |
| Gemini 2.5 Flash waktu hingga token pertama, median berbanding persentil ke-95 | 597 ms berbanding 1.137 ms | Panduan Voice AI and Voice Agents, Pipecat 2026 |
| Claude 4.5 Haiku waktu hingga token pertama, median berbanding persentil ke-95 | 637 ms berbanding 1.615 ms | Panduan Voice AI and Voice Agents, Pipecat 2026 |
| GPT-5.1 waktu hingga token pertama, median berbanding persentil ke-95 | 739 ms berbanding 1.492 ms | Panduan Voice AI and Voice Agents, Pipecat 2026 |
| ElevenLabs Flash v2.5, klaim inferensi berbanding latensi streaming terukur termasuk jaringan | 75 ms berbanding 197 ms | Dokumentasi ElevenLabs 2026 (klaim vendor); Vapi Humanness Index, 10 Juni 2026 |
| Cartesia Sonic 3.5, latensi streaming terukur | 128 ms | Vapi Humanness Index 2026 |
| ElevenLabs Multilingual v2, latensi streaming terukur | 1.006 ms | Vapi Humanness Index 2026 |
Catatan konteks: Vapi menjalankan platform agen suara, bukan mesin sintesis suara, tetapi indeksnya tetap merupakan tolok ukur yang dijalankan platform. Halaman itu hanya memberikan metode 50 percobaan untuk Flash v2.5, sehingga nilai terukur lainnya mungkin tidak dapat dibandingkan secara langsung. ElevenLabs juga mencatat bahwa buffer pemutar audio 500 ms “umum”, yang dapat menghapus sebagian besar keunggulan model cepat di sisi klien.
6. Latensi Terukur Model Ucapan-ke-Ucapan dan Dupleks Penuh
Model ucapan-ke-ucapan melewati serah terima teks, dan model dupleks penuh mendengarkan dan berbicara pada saat yang sama, sehingga secara teori seharusnya mempersempit kesenjangan dengan waktu manusia. Moshi dari Kyutai melaporkan latensi teoretis 160 ms dan 200 ms dalam praktik (Kyutai, Moshi, arXiv 2410.00037), dan tolok ukur independen mengukurnya mengambil giliran bicara setelah 0,265 s (Lin et al., Full-Duplex-Bench, arXiv 2503.04721).
Model komersial jauh lebih tersebar. Dalam indeks Artificial Analysis tanggal 23 Juni 2026, rata-rata waktu hingga audio pertama berkisar dari 0,44 s hingga 2,98 s; dua entri paling lambat adalah pengaturan penalaran “High”, dan salah satunya, GPT-Realtime-2 (High) pada 2,33 s, mencatat skor indeks tertinggi 77,2% (Artificial Analysis, Speech to Speech Index). Kecepatan dan kecerdasan masih saling tarik ke arah berlawanan. Pembuatan teks langsung menghadapi tarik-menarik serupa antara kecepatan dan akurasi, yang kami pantau di statistik latensi subtitle waktu nyata.
| Metrik | Nilai | Sumber |
|---|---|---|
| Waktu respons GPT-4o terhadap masukan audio, tercepat berbanding rata-rata | 232 ms berbanding 320 ms | OpenAI, Hello GPT-4o 2024 (klaim vendor) |
| Rata-rata latensi pipeline ChatGPT Voice Mode sebelumnya, GPT-3.5 berbanding GPT-4 | 2,8 s berbanding 5,4 s | OpenAI, Hello GPT-4o 2024 (klaim vendor) |
| Latensi Moshi, teoretis berbanding praktis | 160 ms berbanding 200 ms | Kyutai, makalah Moshi, arXiv 2024 |
| Waktu mengambil giliran bicara setelah pengguna berhenti berbicara (dataset percakapan CANDOR), Moshi berbanding Gemini Live | 0,265 s berbanding 1,301 s | Lin et al., Full-Duplex-Bench, arXiv 2025 |
| Waktu merespons setelah pengguna menyela, Moshi berbanding Gemini Live | 0,257 s berbanding 1,183 s | Lin et al., Full-Duplex-Bench, arXiv 2025 |
| Rata-rata waktu hingga audio pertama, model tercepat dalam indeks (Deepslate Opal) | 0,44 s | Artificial Analysis Speech to Speech Index, 23 Juni 2026 |
| Rata-rata waktu hingga audio pertama, GPT-Realtime-1.5 | 0,82 s | Artificial Analysis Speech to Speech Index, 23 Juni 2026 |
| Rata-rata waktu hingga audio pertama, Gemini 3.1 Flash Live Preview (High) | 2,98 s | Artificial Analysis Speech to Speech Index, 23 Juni 2026 |
Catatan pencilan: angka OpenAI adalah klaim peluncuran dari pengumuman model, bukan pengukuran independen, dan menggunakan metrik yang berbeda dari baris papan peringkat dalam tabel yang sama, sehingga keduanya tidak boleh dibandingkan secara langsung. Moshi cepat tetapi bukan model pusat kontak: ia mengambil giliran bicara pada 98,5% kasus jeda sintetis, artinya ia menyela ketika pengguna hanya berhenti sejenak (Full-Duplex-Bench).
7. Dampak Latensi terhadap Penelepon dan Percakapan
Kecepatan bukan metrik pemanis. Dalam studi mendengarkan terkontrol dengan 450 pendengar, klip percakapan identik yang disunting agar memiliki rata-rata jeda 55,68 ms dinilai lebih terhubung daripada klip yang sama pada 557,14 ms, dengan keterhubungan F(2, 2,344.3) = 28.51, P < 0.001 (Templeton et al., PNAS 2022). Pendengar membaca waktu sebagai sinyal sosial, dan agen yang lambat mengirimkan sinyal yang salah.
Khusus untuk agen AI, studi terhadap 54 orang mengenai agen virtual menemukan setiap tingkat penundaan merusak persepsi kecepatan, dan para penulis menyimpulkan bahwa latensi di atas 4 detik menurunkan kualitas pengalaman; pengisi ucapan alami meningkatkan persepsi kecepatan respons pada 4,0 s dan 6,5 s, sedangkan ikon pemuatan dan suara buatan tidak (Maslych et al., ACM CUI 2025). Keheningan juga mengubah makna: penelitian percakapan mengaitkan jeda 700 ms atau lebih dengan jawaban yang tidak diharapkan (balasan seperti menolak atau tidak setuju), sehingga agen dengan jeda 1 detik berisiko terdengar ragu meskipun jawabannya ya. Perbandingan model fondasi audio menemukan bahwa keheningan menyusun 32,4% waktu percakapan pada sistem berantai dibandingkan 11,8% pada Moshi (Arora et al., Talking Turns, arXiv 2503.01174).
| Metrik | Nilai | Sumber |
|---|---|---|
| Pengguna yang memilih agen berlatensi rendah (1,5 s) sebagai yang paling mereka sukai | 57,41%, χ²(2, N = 54) = 14.12, p < 0.0001 | Maslych et al., ACM CUI 2025 |
| Pengguna yang memilih agen berlatensi tinggi (6,5 s) sebagai yang paling tidak mereka sukai | 61,11%, χ²(2, N = 54) = 19.0, p < 0.0001 | Maslych et al., ACM CUI 2025 |
| Waktu respons terukur agen berantai milik studi sendiri sebelum penundaan tambahan | Rata-rata 1,47 s | Maslych et al., ACM CUI 2025 |
| Panjang jeda yang dikaitkan dengan jawaban yang tidak diharapkan (negatif) dalam percakapan manusia | 700 ms atau lebih | Levinson dan Torreira, Frontiers in Psychology 2015 (tinjauan) |
| Porsi waktu percakapan yang dihabiskan dalam keheningan, sistem berantai berbanding Moshi | 32,4% berbanding 11,8% | Arora et al., Talking Turns, arXiv 2025 |
| Penundaan transmisi tambahan di mana mitra bicara dinilai kurang penuh perhatian, kurang ramah, dan kurang disiplin diri dibandingkan tanpa penundaan | 1,2 s | Schoenenberg, Raake dan Koeppe, International Journal of Human-Computer Studies 2014 |
| Pengembang AI suara yang sangat puas dengan kualitas percakapan (survei terhadap 40) | 2% | Deepgram, Introducing Flux 2025 (survei vendor) |
| Pengembang AI suara yang melaporkan masalah alur percakapan dari terasa hingga besar (survei terhadap 40) | 61% | Deepgram, Introducing Flux 2025 (survei vendor) |
Catatan konteks: temuan penundaan 1,2 s berasal dari ringkasan penulis utama studi tersebut (phys.org, Mei 2014); data terbaru yang tersedia: Schoenenberg et al., 2014. Kami tidak menemukan dataset 2025 atau 2026 yang ditinjau sejawat yang mengaitkan latensi agen terukur dengan tingkat pembatalan panggilan yang sebenarnya, sehingga bukti kepuasan di atas berasal dari studi terkontrol, bukan log panggilan produksi.
Ringkasan: Latensi Agen Suara AI dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Rata-rata jeda antara pertanyaan dan jawaban, 10 bahasa | 208 ms | Stivers et al., PNAS 2009 |
| Transisi giliran bicara yang lebih singkat dari 500 ms | 70% hingga 82% | Heldner dan Edlund 2010, melalui Frontiers in Psychology 2015 |
| Waktu untuk mulai mengucapkan satu kata | Sekitar 600 ms | Levinson dan Torreira, Frontiers in Psychology 2015 |
| Rata-rata jeda pada klip yang dinilai lebih terhubung berbanding klip yang sama yang dinilai kurang terhubung | 55,68 ms berbanding 557,14 ms | Templeton et al., PNAS 2022 |
| Penundaan satu arah maksimum untuk perencanaan jaringan | 400 ms | ITU-T G.114 (05/2003) |
| Agen berantai, target dari mulut ke telinga berbanding batas atas | 1.115 ms berbanding 1.400 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| Total rincian suara-ke-suara acuan | 1.293 ms | Panduan Voice AI and Voice Agents, Pipecat 2026 |
| Rata-rata waktu hingga audio pertama pipeline riset telekomunikasi | 678 ms | Ethiraj et al., NetoAI, arXiv 2025 |
| Klaim deteksi akhir giliran Flux | Sekitar 260 ms | Dokumentasi Deepgram Flux 2025 (klaim vendor) |
| Tingkat interupsi keliru, model akhir giliran lama berbanding baru, 14 bahasa | 18,66% berbanding 11,34% | LiveKit, 12 Desember 2025 |
| Latensi streaming terukur ElevenLabs Flash v2.5 | 197 ms | Vapi Humanness Index, Juni 2026 |
| Rata-rata waktu respons audio GPT-4o | 320 ms | OpenAI, Hello GPT-4o 2024 (klaim vendor) |
| Latensi praktis Moshi | 200 ms | Kyutai, makalah Moshi, arXiv 2024 |
| Latensi pengambilan giliran bicara, Gemini Live | 1,301 s | Lin et al., Full-Duplex-Bench, arXiv 2025 |
| Rentang rata-rata waktu hingga audio pertama di seluruh indeks | 0,44 s hingga 2,98 s | Artificial Analysis Speech to Speech Index, 23 Juni 2026 |
| Pengguna yang paling tidak menyukai agen 6,5 s | 61,11% | Maslych et al., ACM CUI 2025 |
| Waktu respons terukur agen berantai riset sebelum penundaan tambahan | 1,47 s | Maslych et al., ACM CUI 2025 |
| Porsi keheningan dalam waktu percakapan, sistem berantai | 32,4% | Arora et al., Talking Turns, arXiv 2025 |
Metodologi dan Sumber
- Stivers et al., Universals and cultural variation in turn-taking in conversation, PNAS 2009.
- Levinson dan Torreira, Timing in turn-taking and its implications for processing models of language, Frontiers in Psychology 2015 (juga sumber angka Heldner dan Edlund 2010 serta Indefrey dan Levelt 2004 yang ditinjaunya).
- Templeton et al., Fast response times signal social connection in conversation, PNAS 2022.
- ITU-T, Recommendation G.114: One-way transmission time, Mei 2003, berlaku.
- Twilio, A Guide to Core Latency in AI Voice Agents (Cascaded Edition), 17 November 2025.
- Pipecat, Voice AI and Voice Agents guide, penulis utama Kwindla Hultman Kramer, pembaruan Juni 2026.
- Ethiraj et al., NetoAI, Toward Low-Latency End-to-End Voice Agents for Telecommunications, arXiv, 5 Agustus 2025.
- Choudhary dan Purwar, Sprinklr, i-LAVA: Insights on Low Latency Voice-2-Voice Architecture for Agents, arXiv, 25 September 2025.
- Deepgram, Introducing Flux: Conversational Speech Recognition, 1 Oktober 2025, dan dokumentasi panduan cepat Flux (klaim vendor dan survei vendor).
- LiveKit, Improved end-of-turn model cuts voice AI interruptions 39%, 12 Desember 2025 (tolok ukur vendor).
- OpenAI, Realtime API voice activity detection guide dan Hello GPT-4o, 2024 (klaim vendor).
- ElevenLabs, Latency documentation, 2026 (klaim vendor).
- Vapi, Humanness Index, halaman ElevenLabs Flash v2.5, pemeriksaan latensi 10 Juni 2026.
- Kyutai, Moshi: a speech-text foundation model for real-time dialogue, arXiv 2024.
- Lin et al., Full-Duplex-Bench, arXiv 2025 (versi 3, 16 Agustus 2025).
- Artificial Analysis, Announcing the Speech to Speech Index, 23 Juni 2026, dan papan peringkat Speech to Speech langsung.
- Maslych et al., Mitigating Response Delays in Free-Form Conversations with LLM-powered Intelligent Virtual Agents, ACM CUI 2025.
- Arora et al., Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, arXiv 2025.
- Schoenenberg, Raake dan Koeppe, International Journal of Human-Computer Studies 2014, seperti diringkas oleh penulis utama di phys.org.
- Catatan data: papan peringkat langsung bergerak di antara pembaruan; pada 27 Oktober 2026 papan itu mencantumkan GPT-Realtime-2 (High) pada waktu hingga audio pertama 1,14 s, dibandingkan 2,33 s dalam pengumuman 23 Juni 2026, dan definisinya (detik untuk membangkitkan token audio pertama pada set Big Bench Audio) berbeda dari jeda giliran bicara dari mulut ke telinga atau latensi pergantian giliran bicara Full-Duplex-Bench, jadi bandingkan nilai dalam satu sumber, bukan lintas sumber. Tabel panduan Pipecat berjumlah 1.293 ms sementara teksnya menyebut sekitar 1.200 ms. Target komponen dalam panduan agen berantai dari bagian 3 (total 825 ms) tidak direkonsiliasi dengan target platformnya sebesar 885 ms. Angka vendor (pembuat pengenalan suara, deteksi giliran bicara, sintesis suara, dan model waktu nyata) diberi label sebagai klaim vendor atau tolok ukur yang dijalankan vendor. Studi giliran bicara 2009 dan 2015, edisi 2003 G.114, dan studi penundaan 2014 berusia lebih dari tiga tahun tetapi tetap menjadi data terbaru yang tersedia untuk patokan tersebut. Belum ada dataset publik yang ditinjau sejawat yang mengaitkan latensi agen terukur dengan tingkat pembatalan panggilan yang sebenarnya.
- Terakhir diperbarui: 27 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika Artificial Analysis menerbitkan pembaruan Speech to Speech Index berikutnya.