Trong 30 giờ hội thoại hai người được gán nhãn thủ công, người nghe bắt đầu nói trung vị 151 ms trước khi lượt lời hiện tại kết thúc, trong khi Amazon Lex V2 mặc định chờ 600 ms im lặng sau khi người gọi dừng rồi mới quyết định câu nói đã hoàn chỉnh. Khoảng chênh đó chính là toàn bộ bài toán phát hiện kết thúc lượt lời: con người dự đoán điểm kết thúc của một lượt, còn hầu hết máy móc thì chờ sự im lặng. Việc chờ có cái giá đo được theo cả hai hướng. Một robot dùng cách phát hiện kết thúc lượt dựa trên im lặng đã ngắt lời người dùng ở 16,6% số lượt của nó mà vẫn trả lời với độ trễ trung vị 2,7 s, và khi người dùng nói đè lên các mô hình giọng nói thương mại, thời gian các mô hình đó cần để ngừng nói dao động từ 0,23 s đến 2,25 s. Bài tổng hợp này tập trung vào chính quyết định về lượt lời; về độ trễ toàn bộ đường truyền từ micro đến âm thanh đầu tiên, xem thống kê độ trễ của tác tử giọng nói AI của chúng tôi. Chúng tôi tổng hợp dữ liệu từ benchmark TurnBench, nghiên cứu luân phiên lượt lời PNAS của Max Planck, các bài báo về endpointing của Amazon Science và Google Research, bài báo Moshi của Kyutai, các benchmark Full-Duplex-Bench và Talking Turns, cùng các nghiên cứu Voice Activity Projection đã qua bình duyệt.
Tóm tắt nhanh
- Người nghe bắt đầu nói trung vị 151 ms trước khi lượt lời của người kia kết thúc trong các lần chuyển lượt suôn sẻ (TurnBench, IEEE SLT 2026)
- 51% đến 55% các lần chuyển lượt trong ba kho hội thoại diễn ra dưới 200 ms (Heldner và Edlund 2010, được tổng quan trong Frontiers in Psychology 2015)
- Amazon Lex V2 mặc định chờ 600 ms im lặng trước khi coi một câu nói là đã xong (tài liệu AWS Lex V2)
- Nhận dạng giọng nói kết hợp endpointing giảm độ trễ endpoint trung vị của Google từ 390 ms xuống 270 ms (Bijwadia và cộng sự, Google, SLT 2022)
- Mô hình robot cơ sở dựa trên im lặng đã ngắt lời người dùng ở 16,6% lượt của hệ thống, so với 6,9% ở mô hình dự đoán (Skantze và Irfan, KTH, 2025)
- Mô hình luân phiên lượt lời huấn luyện trên tiếng Anh giảm xuống độ chính xác cân bằng 59,43% trên hội thoại tiếng Nhật (Inoue và cộng sự, LREC-COLING 2024)
- Khi người dùng ngắt lời, GPT-4o Realtime ngừng nói sau 0,23 s và Nova Sonic sau 2,25 s (Full-Duplex-Bench v1.5, 2025)
- Chỉ 17,4% lần người dùng ngắt lời kết thúc bằng việc người dùng giành quyền nói từ Moshi, so với 63,6% trong hội thoại giữa người với người (Arora và cộng sự, ICLR 2025)
- Thiết kế song công toàn phần của Moshi có độ trễ lý thuyết 160 ms và 200 ms trong thực tế (Kyutai, bài báo Moshi 2024)
- Một pipeline hội thoại xếp tầng tạo ra 0,0 s lời nói chồng lấn mỗi phút, so với 3,6 s trong các cuộc gọi điện thoại Fisher thật (Nguyen và cộng sự, Generative Spoken Dialogue Language Modeling 2022)
1. Chuẩn Mực Của Con Người: Các Lượt Lời Chồng Lấn Nhiều Hơn Là Chờ Đợi
Bức tranh quen thuộc về hội thoại, một người nói, dừng, rồi người kia trả lời, sai theo cách quan trọng đối với phần mềm. Trong TurnBench, một benchmark năm 2026 xây dựng từ 30 giờ hội thoại tay đôi (hai người) được gán nhãn thủ công, người nghe bắt đầu nói trung vị 151 ms trước khi lượt lời hiện tại kết thúc, và khi tính cả các lần ngắt lời giành quyền nói thì độ lệch trung vị đạt 281 ms trước điểm kết thúc (TurnBench, Jiang và cộng sự, IEEE SLT 2026). “Chuyển giao quyền nói” ở đây đơn giản là thời điểm quyền được nói chuyển từ người này sang người kia. Một bộ phát hiện chờ sự im lặng thì muộn ngay từ thiết kế, trước cả khi bất kỳ xử lý nào bắt đầu.
Thời điểm cũng mang ý nghĩa. Nghiên cứu PNAS với 10 ngôn ngữ cho thấy các phản hồi không trả lời câu hỏi (ví dụ “tôi không biết”) đến muộn hơn 131,78 ms so với câu trả lời thật, và các lời xác nhận đến sớm hơn 206,87 ms so với lời phủ nhận trong mô hình đa biến (Stivers và cộng sự, PNAS 2009). Con người nghe những độ trễ đó như tín hiệu. Một tác tử giọng nói luôn chờ cùng một khoảng im lặng cố định trước khi trả lời đang gửi đi một tín hiệu mà nó không hề có ý định gửi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ lệch trung vị khi người nghe bắt đầu nói, chuyển lượt suôn sẻ (âm = trước khi lượt kết thúc) | -151 ms | TurnBench, Jiang và cộng sự, IEEE SLT 2026 |
| Độ lệch phản hồi phổ biến nhất (mốt) sau câu hỏi có/không, gộp 10 ngôn ngữ | 0 ms (mốt theo từng ngôn ngữ từ 0 đến +200 ms) | Stivers và cộng sự, PNAS 2009 |
| Độ trễ thêm khi phản hồi không trả lời câu hỏi, mô hình đa biến | +131,78 ms (KTC 95% từ 59,34 đến 204,23) | Stivers và cộng sự, PNAS 2009 |
| Chênh lệch độ trễ giữa lời xác nhận và lời phủ nhận, mô hình đa biến | -206,87 ms (KTC 95% từ -268,61 đến -145,12) | Stivers và cộng sự, PNAS 2009 |
| Độ lệch phản hồi trung bình trong các phản hồi được người gán nhãn đánh giá là đúng lúc, tiếng Nhật so với tiếng Đan Mạch | 36 ms so với 203 ms | Stivers và cộng sự, PNAS 2009 |
| Tỷ lệ các lần chuyển lượt nhanh hơn 200 ms, ba kho dữ liệu | 51% đến 55% | Heldner và Edlund 2010, được tổng quan trong Levinson và Torreira, Frontiers in Psychology 2015 |
| Tỷ lệ tín hiệu Switchboard mà cả hai người cùng nói một lúc | 3,8% | Levinson và Torreira, Frontiers in Psychology 2015 |
Ghi chú bối cảnh: bức tranh về chồng lấn phụ thuộc vào cách đo. Lời nói chồng lấn chỉ chiếm 3,8% âm thanh Switchboard, nhưng Heldner và Edlund tìm thấy chồng lấn trong khoảng 40% các lần chuyển lượt, vì phần lớn chồng lấn đều ngắn (Levinson và Torreira, Frontiers in Psychology 2015). Dữ liệu mới nhất hiện có cho các số liệu xuyên ngôn ngữ: Stivers và cộng sự, 2009, và Heldner và Edlund, 2010. Nhịp độ luân phiên lượt lời của con người thay đổi rất chậm, vì vậy tuổi đời của các nghiên cứu này ít quan trọng hơn so với benchmark sản phẩm.
2. Máy Móc Chờ Bao Lâu: Thời Gian Chờ Im Lặng và Độ Trễ Endpoint
Hầu hết các hệ thống đang vận hành vẫn quyết định một lượt đã kết thúc bằng bộ đếm thời gian. Amazon Lex V2 mặc định chờ 600 ms im lặng sau khi người gọi ngừng nói rồi mới coi câu nói là đã xong, chờ 4.000 ms để người gọi bắt đầu nói, và cắt bất kỳ câu nói đơn lẻ nào ở mốc 55.000 ms (AWS, Configuring timeouts for capturing user input with a Lex V2 bot). Các bài báo nghiên cứu mô tả những thiết lập còn dài hơn: các tác giả Voice Activity Projection cho biết các hệ thống đối thoại nói thường dùng thời gian chờ im lặng khoảng 1 hoặc 2 giây.
Biên giới của nghiên cứu là cắt bớt từng mili giây ở thời điểm hệ thống chốt quyết định. Mô hình kết hợp của Google, dùng chung các tầng giữa nhận dạng giọng nói và endpointer (thành phần quyết định người dùng đã xong), giảm độ trễ endpoint trung vị từ 390 ms xuống 270 ms và độ trễ phân vị thứ 90 từ 740 ms xuống 570 ms, với tỷ lệ lỗi từ giữ ở 5,8% (Bijwadia và cộng sự, Google, Unified End-to-End Speech Recognition and Endpointing, SLT 2022). Chốt nhanh hơn chỉ có ích nếu bản chép lời đúng, một chủ đề được đề cập trong thống kê ảo giác của nhận dạng giọng nói của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Thời gian chờ im lặng mặc định sau khi người gọi ngừng nói, Amazon Lex V2 | 600 ms | Tài liệu AWS Lex V2 |
| Độ trễ im lặng mặc định trước khi kết thúc lượt chỉ dựa vào VAD, LiveKit Agents (mặc định của nhà cung cấp) | 500 ms | Blog LiveKit, ngày 20 tháng 12 năm 2024 (thiết lập riêng của nhà cung cấp) |
| Thời gian chờ im lặng thông thường trong các hệ thống đối thoại nói | Khoảng 1 hoặc 2 giây | Inoue và cộng sự, Đại học Kyoto, IWSDS 2024 |
| Độ trễ endpoint trung vị / phân vị thứ 90, mô hình nhận dạng và endpointing tách riêng (tìm kiếm giọng nói Google, khoảng 14.000 câu nói) | 390 ms / 740 ms | Bijwadia và cộng sự, Google, SLT 2022 |
| Độ trễ endpoint trung vị / phân vị thứ 90, mô hình kết hợp | 270 ms / 570 ms (thấp hơn 120 ms và 170 ms, tức 30,8% và 23,0%) | Bijwadia và cộng sự, Google, SLT 2022 |
| Độ trễ endpoint ở phân vị thứ 50 / 90 / 99, mô hình cơ sở Alexa trên các truy vấn giao dịch | 300 / 570 / 1.110 ms | Raju và cộng sự, Amazon, Two-Pass Endpoint Detection 2024 |
Ghi chú bối cảnh: điều đáng nói là độ phân tán giữa các phân vị. Trung vị 300 ms trông gần với nhịp độ của con người, nhưng 1% truy vấn giao dịch Alexa chậm nhất đã chờ 1.110 ms trở lên chỉ riêng cho quyết định endpoint, trước khi có bất kỳ câu trả lời nào được tạo ra (Raju và cộng sự, Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024). Dữ liệu mới nhất hiện có cho các số liệu của Google: 2022.
3. Cắt Lời và Trả Lời Muộn: Sự Đánh Đổi Của Endpointing
Mỗi endpointer đều đánh đổi hai thất bại với nhau: cắt ngang người dùng giữa chừng ý nghĩ (cắt lời nhầm) hoặc để lại một khoảng im lặng chết sau khi người dùng đã xong. Phép đo trực tiếp nhất mà chúng tôi tìm được đến từ một nghiên cứu 39 người tham gia với đầu robot Furhat. Với mô hình cơ sở tiêu chuẩn dựa trên im lặng, robot đã ngắt lời người dùng ở 16,6% số lượt của nó mà thời gian phản hồi trung vị vẫn là 2,7 s; một mô hình dự đoán kết hợp TurnGPT và Voice Activity Projection giảm số lần ngắt lời xuống 6,9% và phản hồi trung vị xuống 1,5 s, cả hai chênh lệch đều ở mức p < 0,001 (Skantze và Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025). Thiết kế dựa trên im lặng thua trên cả hai trục cùng lúc.
Sửa một phía thường phải trả giá ở phía kia. “Trọng tài” lượt thứ hai của Amazon, kiểm tra lại endpointer đầu tiên trước khi đóng micro, giảm endpointing sớm (dừng trước khi người dùng nói xong) 16,34% trên các truy vấn giao dịch, nhưng đẩy độ trễ phân vị thứ 99 từ 1.110 ms lên 1.320 ms. Các bộ phát hiện thô nhất thất bại theo hướng ngược lại: các bộ kích hoạt theo mức âm lượng đơn giản đã kích hoạt trong hơn một nửa số thời điểm mà lượt lời thực ra chưa kết thúc (xem dòng dương tính giả bên dưới). Các bộ kích hoạt đó phản ứng với âm thanh chứ không phải ý nghĩa, nên chất lượng âm thanh đến được chúng rất quan trọng, điều này liên quan đến thống kê khử nhiễu bằng mạng nơ-ron của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Các lượt của hệ thống đã ngắt lời người dùng, mô hình cơ sở dựa trên im lặng so với mô hình TurnGPT cộng VAP | 16,6% so với 6,9% | Skantze và Irfan, KTH, 2025 |
| Thời gian phản hồi trung vị của hệ thống, mô hình cơ sở dựa trên im lặng so với mô hình TurnGPT cộng VAP | 2,7 s so với 1,5 s | Skantze và Irfan, KTH, 2025 |
| Người tham gia thích mô hình cơ sở dựa trên im lặng / không có ưu tiên | 9 trên 39 / 3 trên 39 | Skantze và Irfan, KTH, 2025 |
| Câu nói mà endpointer ngừng lắng nghe quá sớm, benchmark SLURP, mô hình cơ sở so với có trọng tài | 2,39% so với 2,19% (giảm tương đối 8,37%) | Raju và cộng sự, Amazon, 2024 |
| Mức giảm tương đối của endpointing sớm trên truy vấn giao dịch / độ trễ phân vị thứ 99 trước so với sau | 16,34% / 1.110 ms so với 1.320 ms | Raju và cộng sự, Amazon, 2024 |
| Độ chuẩn xác (precision) khi dự đoán điểm kết thúc lượt thật, bộ phát hiện âm học so với mô hình đầu cuối (độ phủ 97,3% so với 97,5%) | 67,3% so với 84,7% | Chang và cộng sự, Google, Interspeech 2022 |
| Tỷ lệ dương tính giả trên TurnBench, bộ phát hiện năng lượng đơn giản so với VAD phía máy chủ của OpenAI Realtime | 0,632 so với 0,525 | Bảng xếp hạng TurnBench, xem ngày 31 tháng 10 năm 2026 |
| Mức giảm các lần ngắt lời ngoài ý muốn, bộ phát hiện lượt lời transformer cộng VAD so với chỉ dùng VAD | 85% | Blog LiveKit, ngày 20 tháng 12 năm 2024 (tuyên bố riêng của nhà cung cấp, không công bố bộ kiểm thử) |
Ghi chú bối cảnh: mô hình cơ sở của robot dựa vào một bộ phát hiện hết lời nói của Google không có tài liệu mà các tác giả suy đoán là dựa trên ngưỡng, và họ nêu ngưỡng 1 s, nên hãy đọc đó là một hệ thống dựa trên im lặng chứ không phải một thiết lập bộ đếm thời gian chính xác. Nghiên cứu kết thúc lượt của Google dùng lời nói kiểm thử không trôi chảy (ngắt quãng ngẫu nhiên, ngắt quãng có âm đệm như “ờ”, từ kéo dài và cụm từ lặp lại), tức là những trường hợp mà bài báo cho biết endpointer thông thường sẽ cắt lời người dùng (Chang và cộng sự, Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022). Bộ kiểm thử hội thoại tự nhiên của nó chỉ có 200 câu nói từ 10 người nói, nên hãy coi các số liệu độ chuẩn xác chỉ mang tính định hướng.
4. Dự Đoán Điểm Kết Thúc Của Một Lượt Lời: VAP, TurnGPT và Bảng Xếp Hạng
Các mô hình dự đoán lắng nghe câu nói đang diễn ra thế nào, chứ không chỉ xem căn phòng đã im lặng hay chưa. TurnGPT, một mô hình văn bản, đạt độ chính xác cân bằng 0,823 trên hội thoại nói tự phát, so với 0,748 của mô hình cơ sở LSTM (Ekstedt và Skantze, TurnGPT, Findings of EMNLP 2020). Độ chính xác cân bằng lấy trung bình hiệu suất trên “chuyển lượt” và “giữ lượt”, nên 0,5 là mức may rủi. Voice Activity Projection (VAP) hoạt động trên chính âm thanh và dự đoán 2 giây tiếp theo xem ai sẽ nói.
Ngôn ngữ là biến ẩn. Một mô hình VAP huấn luyện trên tiếng Anh giảm xuống độ chính xác cân bằng 59,43% trên tiếng Nhật, so với 74,20% ở mô hình huấn luyện trên tiếng Nhật, và các lần chuyển lượt chiếm 42,9% số thời điểm chuyển-hoặc-giữ trong dữ liệu tiếng Nhật so với 9,9% trong tiếng Anh (Inoue và cộng sự, Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024). Một bộ phát hiện lượt lời được tinh chỉnh trên các cuộc gọi tiếng Anh không phải là một thành phần trung lập trong sản phẩm đa ngôn ngữ.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ chính xác cân bằng khi dự đoán chuyển lượt trong hội thoại nói tự phát, TurnGPT so với mô hình cơ sở LSTM | 0,823 so với 0,748 | Ekstedt và Skantze, KTH, Findings of EMNLP 2020 |
| Độ chính xác cân bằng chuyển lượt so với giữ lượt của VAP, huấn luyện và kiểm thử trên cùng một ngôn ngữ: tiếng Anh / tiếng Quan Thoại / tiếng Nhật | 79,59% / 84,49% / 74,20% | Inoue và cộng sự, Đại học Kyoto, LREC-COLING 2024 |
| VAP huấn luyện trên tiếng Anh, kiểm thử trên tiếng Nhật | 59,43% | Inoue và cộng sự, Đại học Kyoto, LREC-COLING 2024 |
| Tỷ lệ các sự kiện chuyển-hoặc-giữ là chuyển lượt, dữ liệu kiểm thử tiếng Anh so với tiếng Nhật | 9,9% so với 42,9% | Inoue và cộng sự, Đại học Kyoto, LREC-COLING 2024 |
| VAP trên CPU, ngữ cảnh âm thanh 1 s so với 20 s, dữ liệu tiếng Nhật: hệ số thời gian thực (dưới 1 = nhanh hơn thời gian thực) | 0,73 so với 13,69 | Inoue và cộng sự, Đại học Kyoto, IWSDS 2024 |
| Voice Activity Projection trên TurnBench: độ phủ / tỷ lệ dương tính giả / độ trễ | 0,845 / 0,055 / 368 ms | Bảng xếp hạng TurnBench, xem ngày 31 tháng 10 năm 2026 |
| Smart Turn v3 so với Kyutai Semantic VAD trên TurnBench: độ phủ / tỷ lệ dương tính giả / độ trễ | 0,752 / 0,047 / 1.017 ms so với 0,773 / 0,059 / 1.007 ms | Bảng xếp hạng TurnBench, xem ngày 31 tháng 10 năm 2026 |
| Gemini 3.1 Live so với VAD ngữ nghĩa của OpenAI Realtime trên TurnBench: độ phủ / tỷ lệ dương tính giả / độ trễ | 0,657 / 0,022 / 1.234 ms so với 0,303 / 0,018 / 793 ms | Bảng xếp hạng TurnBench, xem ngày 31 tháng 10 năm 2026 |
Ghi chú bối cảnh: các tỷ lệ chuyển lượt đến từ những kho dữ liệu khác nhau (cuộc gọi điện thoại Switchboard so với một tác vụ đại lý du lịch tiếng Nhật), nên khoảng chênh phản ánh cả tác vụ lẫn ngôn ngữ. Kết quả thời gian thực quan trọng cho việc triển khai: với ngữ cảnh 1 giây, VAP chạy ở 14,61 ms mỗi khung trên CPU Intel Xeon và đạt độ chính xác cân bằng 76,16%, cao hơn một chút so với 74,20% đo được với ngữ cảnh 20 giây (Inoue và cộng sự, Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024). Bảng xếp hạng TurnBench loại các hệ thống có tỷ lệ dương tính giả trên 0,15, và hai hệ thống thận trọng nhất trong bảng giữ cảnh báo giả thấp nhất nhưng lại bỏ lỡ nhiều điểm kết thúc lượt thật nhất. Dữ liệu mới nhất hiện có cho TurnGPT: 2020.
5. Barge-In: Chuyện Gì Xảy Ra Khi Người Dùng Nói Đè Lên Tác Tử
Barge-in là bài toán ngược lại: tác tử đang nói và người dùng bắt đầu nói. Dừng nhanh mới chỉ là một nửa công việc. Trên Full-Duplex-Bench v1.5, GPT-4o Realtime ngừng nói 0,23 s sau khi người dùng ngắt lời và đáp ứng nội dung người dùng nói trong 78% trường hợp, trong khi Nova Sonic mất 2,25 s để dừng và bỏ qua lần ngắt lời để tiếp tục câu trả lời trước đó trong 71% trường hợp (Lin và cộng sự, Full-Duplex-Bench v1.5, arXiv 2025). Các đội ngũ trung tâm liên lạc đánh giá những mô hình này, như đã bàn trong thống kê tự động hóa trung tâm liên lạc bằng tác tử giọng nói của chúng tôi, đang lựa chọn giữa hai hành vi rất khác nhau.
Lỗi ngược lại là nhường lời trước một tín hiệu phản hồi (backchannel), những tiếng “ừm” hay “đúng rồi” ngắn mà người nghe nói ra để cho thấy mình đang theo dõi. GPT-4o Realtime ngừng sau 0,21 s ngay cả với những tín hiệu đó, điều mà các tác giả đọc là dừng quá hăng hái. Nhường ngay lập tức cũng không phải chuẩn mực của con người: một người bị ngắt lời vẫn tiếp tục nói trung vị 1,48 s trước khi nhường quyền nói, nên thời gian dừng thấp nhất không mặc nhiên là mục tiêu đúng. Moshi nằm ở đầu xa nhất của thang đo đó, với chỉ 17,4% lần người dùng ngắt lời kết thúc bằng việc người dùng giành quyền nói.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Người dùng ngắt lời tác tử, GPT-4o Realtime: tỷ lệ đáp ứng nội dung người dùng nói / tỷ lệ tiếp tục câu trả lời trước đó / thời gian để ngừng nói | 0,78 / 0,10 / 0,23 s | Lin và cộng sự, Full-Duplex-Bench v1.5, 2025 |
| Người dùng ngắt lời tác tử, điểm cuối Gemini 2.0 Flash Live: tỷ lệ đáp ứng nội dung người dùng nói / tỷ lệ tiếp tục câu trả lời trước đó / thời gian để ngừng nói | 0,33 / 0,55 / 2,20 s | Lin và cộng sự, Full-Duplex-Bench v1.5, 2025 |
| Người dùng ngắt lời tác tử, Nova Sonic: tỷ lệ đáp ứng nội dung người dùng nói / tỷ lệ tiếp tục câu trả lời trước đó / thời gian để ngừng nói | 0,24 / 0,71 / 2,25 s | Lin và cộng sự, Full-Duplex-Bench v1.5, 2025 |
| Người dùng chỉ phát tín hiệu phản hồi (“ừm”): thời gian dừng của GPT-4o Realtime so với tỷ lệ Nova Sonic tiếp tục câu trả lời trước đó | 0,21 s so với 0,98 | Lin và cộng sự, Full-Duplex-Bench v1.5, 2025 |
| Các lần người dùng ngắt lời kết thúc bằng việc người dùng giành quyền nói, theo bên bị ngắt lời: Moshi / hệ thống xếp tầng / người nói là con người | 17,4% / 59,4% / 63,6% | Arora và cộng sự, Talking Turns, ICLR 2025 |
| Các quyết định của Moshi là ngắt lời người dùng dương tính giả | 2,09% tổng số quyết định | Arora và cộng sự, Talking Turns, ICLR 2025 |
| Thời gian trung vị một người bị ngắt lời vẫn tiếp tục nói trước khi nhường quyền nói | 1,48 s | TurnBench, Jiang và cộng sự, IEEE SLT 2026 |
| Mặc định barge-in (cho phép ngắt lời) đối với các lời nhắc của Amazon Lex V2 | Bật (true) | Tài liệu AWS Lex V2 |
Ghi chú bối cảnh: nghiên cứu người dùng Talking Turns thu thập khoảng 4 giờ hội thoại người-AI cho mỗi hệ thống với 11 người tham gia, và các lần người dùng ngắt lời chỉ chiếm 0,2% (Moshi) và 0,1% (xếp tầng) số mẫu được chấm điểm, nên các tỷ lệ phần trăm này dựa trên số lượng nhỏ, đặc biệt là của hệ thống xếp tầng (Arora và cộng sự, Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025). Full-Duplex-Bench v1.5 dùng 200 lần ngắt lời tổng hợp, không phải người gọi thật. Chúng tôi không tìm thấy bộ dữ liệu công khai sơ cấp nào về tần suất người gọi trung tâm liên lạc ngắt lời các tác tử giọng nói đang vận hành.
6. Mô Hình Song Công Toàn Phần: Vừa Nghe Vừa Nói
Các mô hình song công toàn phần bỏ hẳn quyết định về lượt lời: chúng nghe và nói trên các luồng âm thanh song song, nhờ đó chồng lấn và tín hiệu phản hồi có thể xảy ra một cách tự nhiên. Moshi của Kyutai báo cáo độ trễ lý thuyết 160 ms và 200 ms trong thực tế, và các tác giả lưu ý rằng lời nói chồng lấn chiếm 10% đến 20% thời gian nói trong hội thoại thật (Défossez và cộng sự, Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024). Mô hình cơ sở xếp tầng trong đánh giá dGSLM không tạo ra điều đó, với số lần ngắt quãng bằng không và số lần chồng lấn bằng không trên mỗi phút hội thoại được tạo (Nguyen và cộng sự, Generative Spoken Dialogue Language Modeling, 2022).
Tốc độ vẫn chưa trở thành phán đoán. Trên Full-Duplex-Bench, Moshi đạt tỷ lệ giành lượt 0,980 trong các khoảng ngừng của người dùng ở bộ Candor, so với 0,310 của Gemini Live; với thước đo này thấp hơn là tốt hơn, vì giành quyền nói khi người dùng chỉ đang ngừng một chút là cắt lời (Lin và cộng sự, Full-Duplex-Bench, ASRU 2025). Các mô hình song công toàn phần đã khắc phục vấn đề im lặng và thừa hưởng vấn đề ngắt lời.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ trễ phản hồi lý thuyết / thực tế của Moshi | 160 ms / 200 ms | Défossez và cộng sự, Kyutai, 2024 |
| Dữ liệu tiền huấn luyện âm thanh của Moshi / tinh chỉnh bằng hội thoại điện thoại Fisher | 7 triệu giờ / 2.000 giờ | Défossez và cộng sự, Kyutai, 2024 |
| Lời nói chồng lấn trong hội thoại thật, như được trích dẫn trong bài báo Moshi | 10% đến 20% thời gian nói | Défossez và cộng sự, Kyutai, 2024 (trích dẫn Cetin và Shriberg 2006) |
| Chồng lấn mỗi phút, hội thoại Fisher thật so với hệ thống hội thoại xếp tầng | 3,6 s so với 0,0 s | Nguyen và cộng sự, dGSLM, 2022 |
| Khoảng hở giữa các người nói mỗi phút, hội thoại Fisher thật so với hệ thống xếp tầng | 7,5 so với 14,9 | Nguyen và cộng sự, dGSLM, 2022 |
| Khoảng hở / chồng lấn tích lũy, Moshi ở nhiệt độ lấy mẫu 1,0 so với hội thoại thật (cùng giao thức dGSLM) | 4,5 s / 4,1 s so với 4,2 s / 3,3 s | Défossez và cộng sự, Kyutai, 2024 |
| Tỷ lệ thời gian hội thoại nằm trong các khoảng hở im lặng, Moshi so với hệ thống xếp tầng (nghiên cứu người dùng) | 11,8% so với 32,4% | Arora và cộng sự, Talking Turns, ICLR 2025 |
| Tỷ lệ giành lượt trong các khoảng ngừng của người dùng, bộ Candor (thấp hơn là tốt hơn): Moshi / dGSLM / Gemini Live | 0,980 / 0,935 / 0,310 | Lin và cộng sự, Full-Duplex-Bench, 2025 |
Ghi chú bối cảnh: thống kê lượt lời của Moshi dao động theo nhiệt độ lấy mẫu. Ở nhiệt độ 0,8, chồng lấn tích lũy của nó giảm xuống 1,2 s và các khoảng hở tăng lên 12,5 s, nên một con số “chồng lấn của Moshi” duy nhất có thể được trích dẫn theo cả hai hướng. Dữ liệu mới nhất hiện có cho dGSLM: 2022.
Tổng kết: Phát Hiện Kết Thúc Lượt Lời và Barge-In Trong AI Hội Thoại Qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Thời điểm người nghe bắt đầu nói trong chuyển lượt suôn sẻ (trước khi lượt kết thúc) | Sớm trung vị 151 ms | TurnBench, IEEE SLT 2026 |
| Các lần chuyển lượt nhanh hơn 200 ms | 51% đến 55% | Heldner và Edlund 2010, qua Frontiers in Psychology 2015 |
| Độ trễ phản hồi khi câu đáp không trả lời câu hỏi | +131,78 ms | Stivers và cộng sự, PNAS 2009 |
| Độ lệch trung bình của các phản hồi được người gán nhãn đánh giá là đúng lúc, tiếng Nhật so với tiếng Đan Mạch | 36 ms so với 203 ms | Stivers và cộng sự, PNAS 2009 |
| Thời gian chờ im lặng mặc định của Amazon Lex V2 trước khi kết thúc câu nói | 600 ms | Tài liệu AWS Lex V2 |
| Độ trễ endpoint trung vị của Google, mô hình tách riêng so với kết hợp | 390 ms so với 270 ms | Bijwadia và cộng sự, Google, SLT 2022 |
| Các lượt của robot đã ngắt lời người dùng, mô hình cơ sở dựa trên im lặng so với mô hình dự đoán | 16,6% so với 6,9% | Skantze và Irfan, KTH, 2025 |
| Thời gian phản hồi trung vị của robot, mô hình cơ sở dựa trên im lặng so với mô hình dự đoán | 2,7 s so với 1,5 s | Skantze và Irfan, KTH, 2025 |
| Độ chuẩn xác khi dự đoán điểm kết thúc lượt thật, bộ phát hiện âm học so với mô hình đầu cuối | 67,3% so với 84,7% | Chang và cộng sự, Google, Interspeech 2022 |
| Độ chính xác của VAP, mô hình huấn luyện trên tiếng Anh áp dụng cho tiếng Nhật so với mô hình huấn luyện trên tiếng Nhật | 59,43% so với 74,20% | Inoue và cộng sự, LREC-COLING 2024 |
| GPT-4o Realtime so với Nova Sonic, thời gian dừng sau khi người dùng ngắt lời | 0,23 s so với 2,25 s | Full-Duplex-Bench v1.5, 2025 |
| Các lần người dùng ngắt lời kết thúc bằng việc người dùng giành quyền nói, Moshi so với người nói là con người | 17,4% so với 63,6% | Arora và cộng sự, ICLR 2025 |
| Độ trễ lý thuyết / thực tế của Moshi | 160 ms / 200 ms | Kyutai, 2024 |
| Chồng lấn mỗi phút, cuộc gọi Fisher thật so với hệ thống xếp tầng | 3,6 s so với 0,0 s | Nguyen và cộng sự, dGSLM, 2022 |
| Tỷ lệ khoảng hở im lặng trong hội thoại, Moshi so với hệ thống xếp tầng | 11,8% so với 32,4% | Arora và cộng sự, ICLR 2025 |
| Tỷ lệ giành lượt của Moshi trong các khoảng ngừng của người dùng, bộ Candor | 0,980 | Full-Duplex-Bench, 2025 |
Phương pháp luận và Nguồn
- Jiang và cộng sự, TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue, IEEE SLT 2026 và bảng xếp hạng TurnBench trực tiếp: thống kê nhịp độ của con người cùng độ phủ, tỷ lệ dương tính giả và độ trễ của hệ thống.
- Stivers và cộng sự, Universals and cultural variation in turn-taking in conversation, PNAS 2009: 10 ngôn ngữ, 101 cuộc hội thoại, câu hỏi có/không.
- Levinson và Torreira, Timing in turn-taking and its implications for processing models of language, Frontiers in Psychology 2015: phân tích Switchboard và tổng quan về Heldner và Edlund (Journal of Phonetics 2010).
- AWS, Configuring timeouts for capturing user input with a Lex V2 bot: các thiết lập mặc định về im lặng, bắt đầu nói và barge-in.
- Bijwadia và cộng sự, Google, Unified End-to-End Speech Recognition and Endpointing for Fast and Efficient Speech Systems, SLT 2022.
- Chang và cộng sự, Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022.
- Raju và cộng sự, Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024.
- Skantze và Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025.
- Ekstedt và Skantze, TurnGPT, Findings of EMNLP 2020.
- Inoue và cộng sự, Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024 và Inoue và cộng sự, Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024.
- Lin và cộng sự, Full-Duplex-Bench, ASRU 2025 và Lin và cộng sự, Full-Duplex-Bench v1.5, 2025 (phiên bản 3, ngày 28 tháng 1 năm 2026).
- Arora và cộng sự, Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025.
- Défossez và cộng sự, Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024.
- Nguyen và cộng sự, Generative Spoken Dialogue Language Modeling (dGSLM), 2022, đăng trên TACL 2023.
- LiveKit, Using a transformer to improve end of turn detection, ngày 20 tháng 12 năm 2024: các tuyên bố của nhà cung cấp, được ghi nhãn như vậy.
- Lưu ý về dữ liệu: bài báo Moshi mô tả thời gian phản hồi trung bình 230 ms trên 10 ngôn ngữ, trong khi nghiên cứu PNAS báo cáo mức trung bình 208 ms, nên các trung bình xuyên ngôn ngữ khác nhau tùy theo nguồn. Mức độ phổ biến của chồng lấn cũng thay đổi theo phương pháp: khoảng 30% lần chuyển giao quyền nói trong phân tích Switchboard của Levinson và Torreira so với khoảng 40% các lần chuyển lượt ở Heldner và Edlund. Bản tóm tắt hội nghị của Google liệt kê mức giảm trung vị và phân vị thứ 90 là 130 ms (33,3%) và 160 ms (22,2%), trong khi các bảng arXiv được dùng ở đây cho 120 ms (30,8%) và 170 ms (23,0%). Bảng xếp hạng TurnBench hoạt động trực tiếp và nhận bài nộp từ bên ngoài, nên thứ hạng sẽ thay đổi; các số liệu ở trên được đọc vào ngày 31 tháng 10 năm 2026, và chúng tôi đã loại các mục bên ngoài tự nộp, trong đó chín mục xếp trên Voice Activity Projection về độ phủ. Số liệu Full-Duplex-Bench v1.5 lấy từ arXiv phiên bản 3. Chúng tôi không tìm thấy dữ liệu công khai sơ cấp nào về tần suất barge-in ở trung tâm liên lạc.
Cập nhật lần cuối: ngày 31 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi kỷ yếu IEEE SLT 2026 công bố bài báo TurnBench bản cuối.