Trên 10 ngôn ngữ, con người trả lời một câu hỏi sau khoảng trống trung bình chỉ 208 ms, vậy mà mục tiêu khởi điểm của Twilio cho một tác tử giọng nói AI xếp tầng là khoảng trống lượt lời 1.115 ms từ miệng đến tai, dài hơn khoảng 5 lần (1.115 ÷ 208 ≈ 5,4). Mốc chuẩn của con người nhanh vì người nghe dự đoán được điểm kết thúc của một lượt lời: chỉ riêng việc tạo ra một từ đã mất khoảng 600 ms, nên câu trả lời được chuẩn bị trong khi người kia vẫn đang nói (Levinson và Torreira, Frontiers in Psychology 2015). Tác tử giọng nói không thể dự đoán theo cách tương tự, nên chúng chờ, phiên âm, suy nghĩ rồi tổng hợp theo trình tự, và bảng xếp hạng độc lập gần đây nhất cho thấy thời gian trung bình đến âm thanh đầu tiên của các mô hình giọng nói sang giọng nói dao động từ 0,44 s đến 2,98 s (Artificial Analysis Speech to Speech Index 2026). Đối với các trung tâm liên lạc đang triển khai tự động hóa, mà chúng tôi đề cập trong thống kê tự động hóa trung tâm liên lạc bằng tác tử giọng nói, độ trễ là phần trải nghiệm mà người gọi cảm nhận được trước khi họ nghe được một từ hữu ích nào. Chúng tôi đã tổng hợp dữ liệu từ các nghiên cứu luân phiên lượt lời của PNAS, tiêu chuẩn quốc tế về độ trễ điện thoại, các hướng dẫn kỹ thuật mã nguồn mở và của nhà cung cấp, các bảng xếp hạng độc lập, cùng các phép đo chuẩn nghiên cứu công bố trên arXiv và tại ACM CUI.
Tóm tắt nhanh
- Khoảng trống trung bình trước một câu trả lời trên 10 ngôn ngữ: 208 ms; trung vị 100 ms (Stivers et al., PNAS 2009)
- 70% đến 82% các lần chuyển lượt lời trong hội thoại ngắn hơn 500 ms (Heldner và Edlund 2010, được tổng quan trong Frontiers in Psychology 2015)
- ITU-T G.114 đặt 400 ms làm trần độ trễ một chiều khi quy hoạch mạng, với dưới 150 ms về cơ bản là trong suốt (ITU-T G.114, 2003)
- Một tác tử giọng nói nghiên cứu viễn thông đạt trung bình 678 ms đến âm thanh đầu tiên trên 500 câu hỏi đã ghi âm (Ethiraj et al., NetoAI, arXiv 2025)
- Các đoạn hội thoại giống hệt nhau tạo cảm giác kết nối hơn với khoảng trống trung bình 55,68 ms so với 557,14 ms (Templeton et al., PNAS 2022)
- Deepgram tuyên bố phát hiện kết thúc lượt lời khoảng 260 ms cho mô hình Flux của mình (tài liệu Deepgram Flux 2025, tuyên bố của nhà cung cấp)
- Mô hình kết thúc lượt lời được cập nhật của LiveKit giảm tỷ lệ ngắt lời nhầm từ 18,66% xuống 11,34% trên 14 ngôn ngữ (LiveKit, 12 tháng 12 năm 2025)
- ElevenLabs Flash v2.5 được đo ở độ trễ trung vị 197 ms bao gồm cả mạng, so với tuyên bố suy luận 75 ms (Vapi Humanness Index, tháng 6 năm 2026)
- OpenAI báo cáo phản hồi âm thanh của GPT-4o trung bình 320 ms, so với 5,4 s của chuỗi giọng nói GPT-4 cũ hơn (OpenAI, Hello GPT-4o 2024, tuyên bố của nhà cung cấp)
- Gemini Live mất 1,301 s để nhận lượt lời so với 0,265 s của Moshi trên Full-Duplex-Bench (Lin et al., arXiv 2025)
- Người dùng chọn tác tử có độ trễ cao là tác tử họ ít thích nhất ở 61,11% trường hợp (Maslych et al., ACM CUI 2025)
1. Mốc Chuẩn của Con Người: Tốc Độ Luân Phiên Lượt Lời
Chuẩn mực mà mọi tác tử giọng nói bị đem ra so sánh đã được xác lập từ rất lâu trước khi có phần mềm. Trong phép so sánh xuyên ngôn ngữ lớn nhất về nhịp độ luân phiên lượt lời, khoảng trống phổ biến nhất giữa câu hỏi và câu trả lời là 0 ms, và trung vị xuyên ngôn ngữ là 100 ms (Stivers et al., Universals and cultural variation in turn-taking in conversation, PNAS 2009). Người nói không chờ im lặng rồi mới phản ứng; họ tung ra câu trả lời đúng lúc câu hỏi kết thúc.
Tốc độ đó là một kỳ công của việc lên kế hoạch, không phải phản xạ. Các thí nghiệm gọi tên hình ảnh đặt thời gian tạo ra một từ ở khoảng 600 ms và một câu ngắn ở khoảng 1.500 ms, đó là lý do các nhà nghiên cứu kết luận rằng người nghe phải dự đoán khi nào một lượt lời sẽ kết thúc và chuẩn bị câu trả lời song song (Levinson và Torreira, Frontiers in Psychology 2015). Một tác tử giọng nói xếp tầng làm điều ngược lại: nó chờ người gọi dừng lại, rồi mới khởi động cả chuỗi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Khoảng trống trung bình giữa câu hỏi và câu trả lời, gộp cả 10 ngôn ngữ | 208 ms | Stivers et al., PNAS 2009 |
| Khoảng trống trung vị giữa câu hỏi và câu trả lời, gộp cả 10 ngôn ngữ | 100 ms | Stivers et al., PNAS 2009 |
| Trung bình của ngôn ngữ nhanh nhất và chậm nhất (lần lượt là tiếng Nhật và tiếng Đan Mạch) | 7 ms và 469 ms | Stivers et al., PNAS 2009 |
| Tỷ lệ các lần chuyển lượt lời ngắn hơn 500 ms | 70% đến 82% | Heldner và Edlund 2010, được tổng quan trong Levinson và Torreira, Frontiers in Psychology 2015 |
| Tỷ lệ các lần chuyển giao lượt lời chồng lấn lên người nói trước (kho ngữ liệu điện thoại Switchboard, 348 cuộc hội thoại) | 30,1% | Levinson và Torreira, Frontiers in Psychology 2015 |
| Thời gian cần để bắt đầu nói một từ được gọi tên (gọi tên hình ảnh) | Khoảng 600 ms | Indefrey và Levelt 2004, được tổng quan trong Levinson và Torreira, Frontiers in Psychology 2015 |
| Thời gian phản hồi điển hình (mốt) của con người giữa các lượt lời | Khoảng 200 ms | Templeton et al., PNAS 2022 |
Ghi chú bối cảnh: mẫu 10 ngôn ngữ bao gồm 101 cuộc hội thoại trên 5 châu lục. Bài báo cho biết trung bình các ngôn ngữ nằm trong khoảng 250 ms ở cả hai phía của trung bình xuyên ngôn ngữ, mặc dù tiếng Đan Mạch cao hơn mức đó khoảng 261 ms (469 trừ 208). Dữ liệu gần nhất hiện có: các nghiên cứu năm 2009 và 2015 ở trên. Các mốc chuẩn này thay đổi chậm, nên tuổi của chúng ít quan trọng hơn so với các phép đo chuẩn sản phẩm.
2. Giới Hạn Độ Trễ của Mạng và Điện Thoại
Trước khi bất kỳ mô hình nào chạy, mạng điện thoại đã tiêu tốn một phần ngân sách. “Độ trễ một chiều” ở đây nghĩa là thời gian âm thanh đi từ miệng người nói đến tai người nghe theo một hướng, không phải khứ hồi. Khuyến nghị ITU-T G.114 nêu rằng không nên vượt quá độ trễ một chiều 400 ms khi quy hoạch mạng nói chung, và độ trễ giữ dưới 150 ms về cơ bản là trong suốt với hầu hết ứng dụng (ITU-T G.114, One-way transmission time).
Kỷ nguyên tác tử giọng nói làm đảo lộn các giới hạn này. Tiêu chuẩn được viết cho các cuộc gọi giữa người với người, nơi đầu dây bên kia trả lời trong khoảng 200 ms; một tác tử cần một giây để suy nghĩ đã dùng hơn gấp đôi toàn bộ hạn mức mạng 400 ms trước khi nói ra một từ. Chính số liệu của Twilio cho thấy sự phân chia: mục tiêu của họ cho toàn bộ khoảng trống lượt lời từ miệng đến tai là 1.115 ms và mục tiêu bên trong nền tảng tác tử là 885 ms, hàm ý khoảng 230 ms cho truyền dẫn qua mạng và đường dây điện thoại (1.115 trừ 885).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ trễ một chiều tối đa được khuyến nghị khi quy hoạch mạng nói chung | 400 ms | ITU-T G.114 (05/2003) |
| Độ trễ một chiều mà dưới mức đó hầu hết ứng dụng thoại và phi thoại về cơ bản là trong suốt | 150 ms | ITU-T G.114 (05/2003) |
| Độ trễ VoIP từ miệng đến tai dự kiến trên các tuyến nội vùng từ 5.000 km trở xuống | Dưới 150 ms | ITU-T G.114 Phụ lục II |
| Độ trễ VoIP từ miệng đến tai trên các tuyến mặt đất liên vùng xấu nhất (27.500 km) | Hơn 300 ms một chút | ITU-T G.114 Phụ lục II |
| Khứ hồi qua internet công cộng đến máy chủ tổng hợp giọng nói, tùy theo khoảng cách | 20 đến 200 ms | Tài liệu độ trễ của ElevenLabs 2026 (nhà cung cấp) |
Ghi chú bối cảnh: ấn bản tháng 5 năm 2003 vẫn được liệt kê là đang có hiệu lực. Độ trễ dưới 400 ms được đánh giá bằng mô hình E của Khuyến nghị G.107, một công thức ước tính chất lượng hội thoại từ độ trễ, và phần giới thiệu lưu ý rằng các tác vụ có tính tương tác cao có thể bị ảnh hưởng bởi độ trễ dưới 100 ms. Dữ liệu gần nhất hiện có: ấn bản 2003.
3. Ngân Sách Độ Trễ của Tác Tử Giọng Nói Xếp Tầng
Một tác tử xếp tầng nối ba mô hình: chuyển giọng nói thành văn bản (STT), mô hình ngôn ngữ lớn (LLM) và chuyển văn bản thành giọng nói (TTS). Các mục tiêu thành phần của Twilio cộng lại là 825 ms (350 + 375 + 100), nhưng các giới hạn trên của họ cộng lại là 1.500 ms (500 + 750 + 250), nghĩa là một hệ thống chỉ vừa giữ trong từng giới hạn vẫn có thể vượt qua trần đầu-cuối 1.400 ms (Twilio, A Guide to Core Latency in AI Voice Agents). Hướng dẫn này gọi chúng là “các mốc khởi điểm, không phải tốt nhất trong phân khúc.”
Bảng phân rã tham chiếu của hướng dẫn Pipecat cho thấy thời gian thực sự đi đâu: phiên âm kèm phát hiện điểm kết thúc, thời gian LLM đến byte đầu tiên và thời gian TTS đến byte đầu tiên cộng lại chiếm 1.070 ms trong tổng 1.293 ms, khoảng 83% (1.070 ÷ 1.293), trong khi toàn bộ phần đường ống âm thanh (micrô, codec, bộ đệm jitter, loa) chiếm phần còn lại (Voice AI and Voice Agents guide). “Bộ đệm jitter” là một hàng đợi giữ ngắn giúp làm mượt việc gói tin đến không đều; bảng phân rã dành 40 ms cho một bộ ở mỗi chiều. Một chuỗi xử lý nghiên cứu xây dựng cho các câu hỏi viễn thông trên một GPU H100 duy nhất cho kết quả trong cùng khoảng (Ethiraj et al., arXiv 2508.04721).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ trễ chuyển giọng nói thành văn bản, mục tiêu so với giới hạn trên | 350 ms so với 500 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| Thời gian LLM đến token đầu tiên, mục tiêu so với giới hạn trên | 375 ms so với 750 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| Thời gian chuyển văn bản thành giọng nói đến byte đầu tiên, mục tiêu so với giới hạn trên | 100 ms so với 250 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| Khoảng trống lượt lời từ miệng đến tai theo cảm nhận của người gọi, mục tiêu so với giới hạn trên | 1.115 ms so với 1.400 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| Tổng giọng nói sang giọng nói tham chiếu, cộng 16 giai đoạn từ micrô đến loa | 1.293 ms (văn bản hướng dẫn nói khoảng 1.200 ms) | Hướng dẫn Voice AI and Voice Agents, Pipecat 2026 |
| Độ trễ giọng nói sang giọng nói mà hướng dẫn gọi là mục tiêu quan trọng | 1.500 ms | Hướng dẫn Voice AI and Voice Agents, Pipecat 2026 |
| Thời gian trung bình đến âm thanh đầu tiên trong chuỗi viễn thông, 500 câu hỏi đã ghi âm (nhỏ nhất đến lớn nhất) | 678 ms (412 đến 1.482 ms) | Ethiraj et al., NetoAI, arXiv 2025 |
| Thời gian xử lý đầu-cuối trung bình cho mỗi câu nói trong cùng chuỗi viễn thông | 934 ms | Ethiraj et al., NetoAI, arXiv 2025 |
Ghi chú giá trị ngoại lệ: một nhóm nghiên cứu của Sprinklr báo cáo đoạn âm thanh đầu tiên “thấp tới 640,9 ms” trên GPU NVIDIA L4, nhưng 1.748,6 ms cho cùng thiết lập trên CPU, một lời nhắc rằng riêng phần cứng có thể làm thời gian đến âm thanh đầu tiên tăng hơn gấp đôi (Choudhary và Purwar, arXiv 2509.20971).
4. Phát Hiện Điểm Kết Thúc và Phát Hiện Lượt Lời
“Phát hiện điểm kết thúc” (endpointing) là quyết định của tác tử rằng người gọi đã nói xong. Đây là giai đoạn thường được chỉnh tay nhất, vì nó đánh đổi tốc độ lấy sự thiếu lịch sự: chờ quá ít thì tác tử cắt lời người ta giữa câu, chờ quá lâu thì người gọi nghe thấy khoảng lặng chết. Mô hình kết thúc lượt lời được cập nhật của LiveKit giảm tỷ lệ ngắt lời nhầm trên 14 ngôn ngữ từ 18,66% xuống 11,34%, giảm tương đối 39,23%, mà không làm tăng độ trễ phản hồi (LiveKit, Improved end-of-turn model cuts voice AI interruptions 39%).
Các con số của nhà cung cấp cho thấy riêng quyết định này kiểm soát bao nhiêu phần ngân sách. Deepgram tuyên bố mô hình Flux có thể cắt giảm độ trễ phản hồi của tác tử từ 200 đến 600 ms so với cách tiếp cận theo chuỗi, và một tín hiệu sớm “eager” đến sớm hơn 150 đến 250 ms với cái giá là nhiều hơn 50% đến 70% lượt gọi LLM (Deepgram, Introducing Flux). Những lượt gọi thừa đó là cái giá ngầm của tốc độ: tác tử bắt đầu soạn câu trả lời cho những câu mà người gọi có thể chưa nói xong. Tiếng ồn nền cũng làm dịch chuyển các quyết định này, một chủ đề chúng tôi theo dõi trong thống kê độ trễ khử ồn bằng mạng nơ-ron.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ trễ phát hiện kết thúc lượt lời được tuyên bố cho Flux | Khoảng 260 ms | Tài liệu Deepgram Flux 2025 (tuyên bố của nhà cung cấp) |
| Độ trễ kết thúc lượt lời của Flux ở phân vị thứ 90 và 95 | 1 s và 1,5 s | Deepgram, Introducing Flux, 1 tháng 10 năm 2025 (tuyên bố của nhà cung cấp) |
| Mức giảm ngắt lời nhầm được tuyên bố cho Flux | Khoảng 30% | Deepgram, Introducing Flux 2025 (tuyên bố của nhà cung cấp) |
| Tỷ lệ ngắt lời nhầm, cả 14 ngôn ngữ, mô hình LiveKit cũ so với mới (ở tỷ lệ dương tính thật cố định 99,3%) | 18,66% so với 11,34% | LiveKit, 12 tháng 12 năm 2025 |
| Tỷ lệ ngắt lời nhầm, tiếng Anh, mô hình LiveKit cũ so với mới | 16,6% so với 13,0% | LiveKit, 12 tháng 12 năm 2025 |
| Khoảng im lặng mà cấu hình VAD của máy chủ ví dụ chờ trước khi kết thúc một lượt lời | 500 ms | Hướng dẫn OpenAI Realtime VAD 2026 |
Ghi chú bối cảnh: VAD (phát hiện hoạt động giọng nói) là bộ dò đơn giản nghe xem có ai đang nói không; giá trị 500 ms là cấu hình mẫu trong hướng dẫn Realtime VAD của OpenAI, không phải mặc định được nêu. Chỉ riêng một quy tắc im lặng cố định 500 ms đã hơn gấp đôi khoảng trống trung bình 208 ms của con người ở mục 1.
5. Thời Gian LLM Đến Token Đầu Tiên và Thời Gian TTS Đến Âm Thanh Đầu Tiên
Khi lượt lời kết thúc, mô hình phải bắt đầu nói. Quy tắc kinh nghiệm của hướng dẫn Pipecat là thời gian LLM đến token đầu tiên từ 600 ms trở xuống là đủ nhanh cho hầu hết trường hợp sử dụng giọng nói, và chỉ hai trong bốn mô hình được lưu trữ mà nó liệt kê đạt ngưỡng này ở trung vị, trong khi không mô hình nào đạt ở phân vị thứ 95 (Voice AI and Voice Agents guide). Thời gian đến token đầu tiên (TTFT) là khoảng thời gian mô hình ngôn ngữ cần để phát ra phần đầu tiên của câu trả lời. Phần đuôi quan trọng hơn trung vị trên đường dây điện thoại, vì người gọi nhớ một khoảng lặng 1,7 s đó, chứ không nhớ mức trung bình.
Tổng hợp giọng nói giờ là phần nhỏ nhất, nhưng số liệu của nhà cung cấp và số liệu đo được lệch nhau. ElevenLabs nói các mô hình Flash của họ đạt khoảng 75 ms suy luận mô hình, loại trừ rõ ràng chi phí mạng và ứng dụng (tài liệu độ trễ của ElevenLabs), trong khi một lần chạy của bên thứ ba với 50 lần thử streaming trực tiếp từ một máy đo chuẩn cho trung vị 197 ms (Vapi Humanness Index). Các nhóm so sánh công cụ tổng hợp, kể cả cho một trình tạo giọng nói AI, nên hỏi bảng thông số đang trích dẫn con số nào trong hai con số đó.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| GPT-4.1 thời gian đến token đầu tiên, trung vị so với phân vị thứ 95 | 536 ms so với 1.771 ms | Hướng dẫn Voice AI and Voice Agents, Pipecat 2026 |
| Gemini 2.5 Flash thời gian đến token đầu tiên, trung vị so với phân vị thứ 95 | 597 ms so với 1.137 ms | Hướng dẫn Voice AI and Voice Agents, Pipecat 2026 |
| Claude 4.5 Haiku thời gian đến token đầu tiên, trung vị so với phân vị thứ 95 | 637 ms so với 1.615 ms | Hướng dẫn Voice AI and Voice Agents, Pipecat 2026 |
| GPT-5.1 thời gian đến token đầu tiên, trung vị so với phân vị thứ 95 | 739 ms so với 1.492 ms | Hướng dẫn Voice AI and Voice Agents, Pipecat 2026 |
| ElevenLabs Flash v2.5, tuyên bố suy luận so với độ trễ streaming đo được bao gồm mạng | 75 ms so với 197 ms | Tài liệu ElevenLabs 2026 (tuyên bố của nhà cung cấp); Vapi Humanness Index, 10 tháng 6 năm 2026 |
| Cartesia Sonic 3.5, độ trễ streaming đo được | 128 ms | Vapi Humanness Index 2026 |
| ElevenLabs Multilingual v2, độ trễ streaming đo được | 1.006 ms | Vapi Humanness Index 2026 |
Ghi chú bối cảnh: Vapi vận hành một nền tảng tác tử giọng nói, không phải công cụ tổng hợp giọng nói, nhưng chỉ số của họ vẫn là phép đo chuẩn do nền tảng chạy. Trang này chỉ nêu phương pháp 50 lần thử cho Flash v2.5, nên các giá trị đo được khác có thể không so sánh trực tiếp được. ElevenLabs cũng lưu ý rằng bộ đệm trình phát âm thanh 500 ms là “phổ biến”, điều có thể xóa gần hết lợi thế của một mô hình nhanh ở phía máy khách.
6. Độ Trễ Đo Được của Các Mô Hình Giọng Nói Sang Giọng Nói và Song Công Toàn Phần
Các mô hình giọng nói sang giọng nói bỏ qua các bước chuyển giao qua văn bản, còn các mô hình song công toàn phần vừa nghe vừa nói cùng lúc, nên về lý thuyết chúng có thể thu hẹp khoảng cách với nhịp độ của con người. Moshi của Kyutai báo cáo độ trễ lý thuyết 160 ms và 200 ms trong thực tế (Kyutai, Moshi, arXiv 2410.00037), và một phép đo chuẩn độc lập đo được việc nó nhận lượt lời sau 0,265 s (Lin et al., Full-Duplex-Bench, arXiv 2503.04721).
Các mô hình thương mại phân tán rộng hơn nhiều. Trong chỉ số Artificial Analysis ngày 23 tháng 6 năm 2026, thời gian trung bình đến âm thanh đầu tiên dao động từ 0,44 s đến 2,98 s; hai mục chậm nhất là các thiết lập suy luận “High”, và một trong số đó, GPT-Realtime-2 (High) ở 2,33 s, đạt điểm chỉ số cao nhất là 77,2% (Artificial Analysis, Speech to Speech Index). Tốc độ và sự thông minh vẫn kéo theo hai hướng ngược nhau. Phụ đề trực tiếp cũng đối mặt với sự đánh đổi tương tự giữa tốc độ và độ chính xác, điều chúng tôi theo dõi trong thống kê độ trễ phụ đề thời gian thực.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Thời gian phản hồi của GPT-4o với đầu vào âm thanh, nhanh nhất so với trung bình | 232 ms so với 320 ms | OpenAI, Hello GPT-4o 2024 (tuyên bố của nhà cung cấp) |
| Độ trễ trung bình của chuỗi ChatGPT Voice Mode trước đây, GPT-3.5 so với GPT-4 | 2,8 s so với 5,4 s | OpenAI, Hello GPT-4o 2024 (tuyên bố của nhà cung cấp) |
| Độ trễ của Moshi, lý thuyết so với thực tế | 160 ms so với 200 ms | Kyutai, bài báo Moshi, arXiv 2024 |
| Thời gian nhận lượt lời sau khi người dùng ngừng nói (bộ dữ liệu hội thoại CANDOR), Moshi so với Gemini Live | 0,265 s so với 1,301 s | Lin et al., Full-Duplex-Bench, arXiv 2025 |
| Thời gian phản hồi sau khi người dùng ngắt lời, Moshi so với Gemini Live | 0,257 s so với 1,183 s | Lin et al., Full-Duplex-Bench, arXiv 2025 |
| Thời gian trung bình đến âm thanh đầu tiên, mô hình nhanh nhất trong chỉ số (Deepslate Opal) | 0,44 s | Artificial Analysis Speech to Speech Index, 23 tháng 6 năm 2026 |
| Thời gian trung bình đến âm thanh đầu tiên, GPT-Realtime-1.5 | 0,82 s | Artificial Analysis Speech to Speech Index, 23 tháng 6 năm 2026 |
| Thời gian trung bình đến âm thanh đầu tiên, Gemini 3.1 Flash Live Preview (High) | 2,98 s | Artificial Analysis Speech to Speech Index, 23 tháng 6 năm 2026 |
Ghi chú giá trị ngoại lệ: các số liệu của OpenAI là tuyên bố khi ra mắt trong thông báo mô hình, không phải phép đo độc lập, và dùng một thước đo khác với các dòng bảng xếp hạng trong cùng bảng, nên không nên so sánh trực tiếp hai loại này. Moshi nhanh nhưng không phải mô hình dành cho trung tâm liên lạc: nó giành lượt lời trong 98,5% các trường hợp ngừng giả lập, nghĩa là nó chen vào khi người dùng chỉ mới tạm dừng (Full-Duplex-Bench).
7. Độ Trễ Tác Động Thế Nào Đến Người Gọi và Cuộc Trò Chuyện
Tốc độ không phải chỉ số phô trương. Trong một nghiên cứu nghe có kiểm soát với 450 người nghe, các đoạn hội thoại giống hệt nhau được chỉnh để có khoảng trống trung bình 55,68 ms được đánh giá là kết nối hơn cùng các đoạn đó ở 557,14 ms, với mức kết nối F(2, 2,344.3) = 28.51, P < 0.001 (Templeton et al., PNAS 2022). Người nghe đọc nhịp độ như một tín hiệu xã hội, và một tác tử chậm gửi đi tín hiệu sai.
Riêng với các tác tử AI, một nghiên cứu với 54 người về tác tử ảo cho thấy mọi mức độ trễ đều làm giảm tốc độ cảm nhận, và các tác giả kết luận rằng độ trễ trên 4 giây làm giảm chất lượng trải nghiệm; các từ đệm nói tự nhiên cải thiện tốc độ phản hồi cảm nhận ở 4,0 s và 6,5 s, trong khi biểu tượng tải và âm thanh nhân tạo thì không (Maslych et al., ACM CUI 2025). Im lặng cũng làm thay đổi ý nghĩa: các nghiên cứu hội thoại liên hệ khoảng trống từ 700 ms trở lên với những câu trả lời không được ưa chuộng (các phản hồi như từ chối hoặc không đồng ý), nên một tác tử có quãng ngừng 1 giây có nguy cơ nghe như do dự ngay cả khi câu trả lời là đồng ý. Một so sánh các mô hình nền tảng âm thanh cho thấy im lặng chiếm 32,4% thời gian hội thoại với hệ thống xếp tầng so với 11,8% với Moshi (Arora et al., Talking Turns, arXiv 2503.01174).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Người dùng chọn tác tử có độ trễ thấp (1,5 s) là tác tử họ thích nhất | 57,41%, χ²(2, N = 54) = 14.12, p < 0.0001 | Maslych et al., ACM CUI 2025 |
| Người dùng chọn tác tử có độ trễ cao (6,5 s) là tác tử họ ít thích nhất | 61,11%, χ²(2, N = 54) = 19.0, p < 0.0001 | Maslych et al., ACM CUI 2025 |
| Thời gian phản hồi đo được của chính tác tử xếp tầng trong nghiên cứu trước khi thêm độ trễ | Trung bình 1,47 s | Maslych et al., ACM CUI 2025 |
| Độ dài khoảng trống gắn với những câu trả lời không được ưa chuộng (tiêu cực) trong hội thoại của con người | 700 ms trở lên | Levinson và Torreira, Frontiers in Psychology 2015 (tổng quan) |
| Tỷ lệ thời gian hội thoại ở trạng thái im lặng, hệ thống xếp tầng so với Moshi | 32,4% so với 11,8% | Arora et al., Talking Turns, arXiv 2025 |
| Độ trễ truyền dẫn thêm vào mà tại đó các bên đàm thoại bị đánh giá là kém chú ý, kém thân thiện và kém tự kỷ luật hơn so với không có độ trễ | 1,2 s | Schoenenberg, Raake và Koeppe, International Journal of Human-Computer Studies 2014 |
| Nhà phát triển AI giọng nói rất hài lòng với chất lượng hội thoại (khảo sát 40 người) | 2% | Deepgram, Introducing Flux 2025 (khảo sát của nhà cung cấp) |
| Nhà phát triển AI giọng nói báo cáo các vấn đề về dòng chảy hội thoại từ đáng chú ý đến nghiêm trọng (khảo sát 40 người) | 61% | Deepgram, Introducing Flux 2025 (khảo sát của nhà cung cấp) |
Ghi chú bối cảnh: phát hiện về độ trễ 1,2 s đến từ bản tóm tắt của chính tác giả chính của nghiên cứu (phys.org, tháng 5 năm 2014); dữ liệu gần nhất hiện có: Schoenenberg et al., 2014. Chúng tôi không tìm thấy bộ dữ liệu 2025 hoặc 2026 nào được bình duyệt gắn độ trễ tác tử đo được với tỷ lệ bỏ cuộc gọi thực tế, nên bằng chứng về sự hài lòng ở trên đến từ các nghiên cứu có kiểm soát chứ không phải nhật ký cuộc gọi thực tế.
Tổng Kết: Độ Trễ Tác Tử Giọng Nói AI Qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Khoảng trống trung bình giữa câu hỏi và câu trả lời, 10 ngôn ngữ | 208 ms | Stivers et al., PNAS 2009 |
| Các lần chuyển lượt lời ngắn hơn 500 ms | 70% đến 82% | Heldner và Edlund 2010, qua Frontiers in Psychology 2015 |
| Thời gian để bắt đầu nói một từ | Khoảng 600 ms | Levinson và Torreira, Frontiers in Psychology 2015 |
| Khoảng trống trung bình ở các đoạn được đánh giá kết nối hơn so với chính các đoạn đó được đánh giá kém kết nối hơn | 55,68 ms so với 557,14 ms | Templeton et al., PNAS 2022 |
| Độ trễ một chiều tối đa khi quy hoạch mạng | 400 ms | ITU-T G.114 (05/2003) |
| Tác tử xếp tầng, mục tiêu từ miệng đến tai so với giới hạn trên | 1.115 ms so với 1.400 ms | Twilio, Guide to Core Latency in AI Voice Agents 2025 |
| Tổng bảng phân rã giọng nói sang giọng nói tham chiếu | 1.293 ms | Hướng dẫn Voice AI and Voice Agents, Pipecat 2026 |
| Thời gian trung bình đến âm thanh đầu tiên của chuỗi nghiên cứu viễn thông | 678 ms | Ethiraj et al., NetoAI, arXiv 2025 |
| Tuyên bố phát hiện kết thúc lượt lời của Flux | Khoảng 260 ms | Tài liệu Deepgram Flux 2025 (tuyên bố của nhà cung cấp) |
| Tỷ lệ ngắt lời nhầm, mô hình kết thúc lượt lời cũ so với mới, 14 ngôn ngữ | 18,66% so với 11,34% | LiveKit, 12 tháng 12 năm 2025 |
| Độ trễ streaming đo được của ElevenLabs Flash v2.5 | 197 ms | Vapi Humanness Index, tháng 6 năm 2026 |
| Thời gian phản hồi âm thanh trung bình của GPT-4o | 320 ms | OpenAI, Hello GPT-4o 2024 (tuyên bố của nhà cung cấp) |
| Độ trễ thực tế của Moshi | 200 ms | Kyutai, bài báo Moshi, arXiv 2024 |
| Độ trễ nhận lượt lời, Gemini Live | 1,301 s | Lin et al., Full-Duplex-Bench, arXiv 2025 |
| Khoảng giá trị thời gian trung bình đến âm thanh đầu tiên trên toàn chỉ số | 0,44 s đến 2,98 s | Artificial Analysis Speech to Speech Index, 23 tháng 6 năm 2026 |
| Người dùng ít thích nhất tác tử 6,5 s | 61,11% | Maslych et al., ACM CUI 2025 |
| Thời gian phản hồi đo được của một tác tử xếp tầng nghiên cứu trước khi thêm độ trễ | 1,47 s | Maslych et al., ACM CUI 2025 |
| Tỷ lệ im lặng trong thời gian hội thoại, hệ thống xếp tầng | 32,4% | Arora et al., Talking Turns, arXiv 2025 |
Phương pháp luận và Nguồn
- Stivers et al., Universals and cultural variation in turn-taking in conversation, PNAS 2009.
- Levinson và Torreira, Timing in turn-taking and its implications for processing models of language, Frontiers in Psychology 2015 (cũng là nguồn của các số liệu Heldner và Edlund 2010 và Indefrey và Levelt 2004 mà bài tổng quan này đề cập).
- Templeton et al., Fast response times signal social connection in conversation, PNAS 2022.
- ITU-T, Recommendation G.114: One-way transmission time, tháng 5 năm 2003, đang có hiệu lực.
- Twilio, A Guide to Core Latency in AI Voice Agents (Cascaded Edition), 17 tháng 11 năm 2025.
- Pipecat, Voice AI and Voice Agents guide, tác giả chính Kwindla Hultman Kramer, bản cập nhật tháng 6 năm 2026.
- Ethiraj et al., NetoAI, Toward Low-Latency End-to-End Voice Agents for Telecommunications, arXiv, 5 tháng 8 năm 2025.
- Choudhary và Purwar, Sprinklr, i-LAVA: Insights on Low Latency Voice-2-Voice Architecture for Agents, arXiv, 25 tháng 9 năm 2025.
- Deepgram, Introducing Flux: Conversational Speech Recognition, 1 tháng 10 năm 2025, và tài liệu bắt đầu nhanh của Flux (các tuyên bố của nhà cung cấp và một khảo sát của nhà cung cấp).
- LiveKit, Improved end-of-turn model cuts voice AI interruptions 39%, 12 tháng 12 năm 2025 (phép đo chuẩn của nhà cung cấp).
- OpenAI, Realtime API voice activity detection guide và Hello GPT-4o, 2024 (các tuyên bố của nhà cung cấp).
- ElevenLabs, Latency documentation, 2026 (tuyên bố của nhà cung cấp).
- Vapi, Humanness Index, trang ElevenLabs Flash v2.5, kiểm tra độ trễ ngày 10 tháng 6 năm 2026.
- Kyutai, Moshi: a speech-text foundation model for real-time dialogue, arXiv 2024.
- Lin et al., Full-Duplex-Bench, arXiv 2025 (phiên bản 3, 16 tháng 8 năm 2025).
- Artificial Analysis, Announcing the Speech to Speech Index, 23 tháng 6 năm 2026, và bảng xếp hạng Speech to Speech trực tiếp.
- Maslych et al., Mitigating Response Delays in Free-Form Conversations with LLM-powered Intelligent Virtual Agents, ACM CUI 2025.
- Arora et al., Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, arXiv 2025.
- Schoenenberg, Raake và Koeppe, International Journal of Human-Computer Studies 2014, theo bản tóm tắt của tác giả chính trên phys.org.
- Lưu ý về dữ liệu: bảng xếp hạng trực tiếp thay đổi giữa các lần cập nhật; vào ngày 27 tháng 10 năm 2026 nó liệt kê GPT-Realtime-2 (High) ở thời gian đến âm thanh đầu tiên 1,14 s, so với 2,33 s trong thông báo ngày 23 tháng 6 năm 2026, và định nghĩa của nó (số giây để sinh token âm thanh đầu tiên trên tập Big Bench Audio) khác với khoảng trống lượt lời từ miệng đến tai hay độ trễ nhận lượt lời của Full-Duplex-Bench, vì vậy hãy so sánh các giá trị trong cùng một nguồn, không so sánh giữa các nguồn. Bảng của hướng dẫn Pipecat cộng lại thành 1.293 ms trong khi văn bản của nó nói khoảng 1.200 ms. Các mục tiêu thành phần trong hướng dẫn tác tử xếp tầng ở mục 3 (tổng 825 ms) không khớp với mục tiêu nền tảng 885 ms của nó. Các số liệu của nhà cung cấp (các hãng nhận dạng giọng nói, phát hiện lượt lời, tổng hợp giọng nói và mô hình thời gian thực) được gắn nhãn là tuyên bố của nhà cung cấp hoặc phép đo chuẩn do nhà cung cấp thực hiện. Các nghiên cứu luân phiên lượt lời năm 2009 và 2015, ấn bản 2003 của G.114 và nghiên cứu độ trễ năm 2014 đã cũ hơn ba năm nhưng vẫn là dữ liệu gần nhất hiện có cho các mốc chuẩn đó. Hiện chưa có bộ dữ liệu công khai, được bình duyệt nào gắn độ trễ tác tử đo được với tỷ lệ bỏ cuộc gọi thực tế.
- Cập nhật lần cuối: ngày 27 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần cập nhật tiếp theo dự kiến sẽ diễn ra khi Artificial Analysis công bố bản cập nhật Speech to Speech Index tiếp theo.