ในบทสนทนาสองคนความยาว 30 ชั่วโมงที่ติดป้ายกำกับด้วยมือ ผู้ฟังเริ่มพูดก่อนตาพูดปัจจุบันจบโดยมัธยฐาน 151 ms ขณะที่ Amazon Lex V2 รอความเงียบตามค่าเริ่มต้น 600 ms หลังผู้โทรหยุดพูด ก่อนจะตัดสินว่าประโยคสมบูรณ์แล้ว ช่องว่างนี้คือปัญหาทั้งหมดของการตรวจจับจุดสิ้นสุดตาพูด คือมนุษย์คาดการณ์จุดจบของตาพูด ส่วนเครื่องจักรส่วนใหญ่รอความเงียบ การรอมีต้นทุนที่วัดได้ทั้งสองทิศทาง หุ่นยนต์ที่ใช้การตรวจจับจุดสิ้นสุดตาพูดแบบอิงความเงียบพูดแทรกผู้ใช้ใน 16.6% ของตาพูดของมัน แต่ก็ยังตอบช้าด้วยค่ามัธยฐาน 2.7 s และเมื่อผู้ใช้พูดทับโมเดลเสียงเชิงพาณิชย์ เวลาที่โมเดลเหล่านั้นต้องใช้เพื่อหยุดพูดอยู่ระหว่าง 0.23 s ถึง 2.25 s สรุปนี้เน้นที่การตัดสินใจเรื่องตาพูดโดยตรง ส่วนความหน่วงของทั้งสายตั้งแต่ไมโครโฟนจนถึงเสียงแรก ดูสถิติความหน่วงของเอเจนต์เสียง AIของเรา เรารวบรวมข้อมูลจากเบนช์มาร์ก TurnBench การศึกษาการผลัดตาพูด PNAS ของ Max Planck งานวิจัย การตรวจจับจุดสิ้นสุดการพูด ของ Amazon Science และ Google Research งานวิจัย Moshi ของ Kyutai เบนช์มาร์ก Full-Duplex-Bench และ Talking Turns และงานวิจัย Voice Activity Projection ที่ผ่านการทบทวนโดยผู้เชี่ยวชาญ
สรุปโดยย่อ
- ผู้ฟังเริ่มพูดก่อนตาพูดของอีกฝ่ายจบโดยมัธยฐาน 151 ms ในการส่งต่อตาพูดที่ราบรื่น (TurnBench, IEEE SLT 2026)
- 51% ถึง 55% ของการเปลี่ยนตาพูดในคลังบทสนทนาสามชุดใช้เวลาไม่ถึง 200 ms (Heldner และ Edlund 2010, ทบทวนใน Frontiers in Psychology 2015)
- Amazon Lex V2 รอความเงียบตามค่าเริ่มต้น 600 ms ก่อนถือว่าประโยคที่พูดจบแล้ว (เอกสาร AWS Lex V2)
- การรู้จำเสียงพูดและ การตรวจจับจุดสิ้นสุดการพูด แบบรวมช่วยลดความหน่วง จุดสิ้นสุดการพูด มัธยฐานของ Google จาก 390 ms เหลือ 270 ms (Bijwadia และคณะ, Google, SLT 2022)
- โมเดลพื้นฐานหุ่นยนต์ที่อิงความเงียบพูดแทรกผู้ใช้ใน 16.6% ของตาพูดของระบบ เทียบกับ 6.9% สำหรับโมเดลเชิงพยากรณ์ (Skantze และ Irfan, KTH, 2025)
- โมเดลผลัดตาพูดที่ฝึกด้วยภาษาอังกฤษลดลงเหลือความถูกต้องแบบสมดุล 59.43% บนบทสนทนาภาษาญี่ปุ่น (Inoue และคณะ, LREC-COLING 2024)
- เมื่อผู้ใช้พูดแทรก GPT-4o Realtime หยุดพูดใน 0.23 s และ Nova Sonic ใน 2.25 s (Full-Duplex-Bench v1.5, 2025)
- มีเพียง 17.4% ของการที่ผู้ใช้พูดแทรกที่จบลงด้วยการที่ผู้ใช้ชิงสิทธิ์พูดจาก Moshi เทียบกับ 63.6% ในบทสนทนาของมนุษย์ (Arora และคณะ, ICLR 2025)
- การออกแบบฟูลดูเพล็กซ์ของ Moshi มีความหน่วงเชิงทฤษฎี 160 ms และ 200 ms ในทางปฏิบัติ (Kyutai, งานวิจัย Moshi 2024)
- ไปป์ไลน์สนทนาแบบต่อเรียงเป็นขั้นสร้างเสียงพูดซ้อนทับ 0.0 s ต่อนาที เทียบกับ 3.6 s ในสายโทรศัพท์ Fisher จริง (Nguyen และคณะ, Generative Spoken Dialogue Language Modeling 2022)
1. เกณฑ์เปรียบเทียบของมนุษย์: ตาพูดซ้อนทับกันมากกว่าที่รอกัน
ภาพมาตรฐานของการสนทนา คือคนหนึ่งพูด หยุด แล้วอีกคนตอบ ผิดในแบบที่สำคัญต่อซอฟต์แวร์ ใน TurnBench เบนช์มาร์กปี 2026 ที่สร้างจากบทสนทนาสองคนความยาว 30 ชั่วโมงที่ติดป้ายกำกับด้วยมือ ผู้ฟังเริ่มพูดก่อนตาพูดปัจจุบันจบโดยมัธยฐาน 151 ms และเมื่อรวมการพูดแทรกที่ชิงสิทธิ์พูด ค่าส่วนต่างมัธยฐานไปถึง 281 ms ก่อนจุดจบ (TurnBench, Jiang และคณะ, IEEE SLT 2026) “การโอนสิทธิ์พูด” ในที่นี้หมายถึงช่วงเวลาที่สิทธิ์ในการพูดส่งจากคนหนึ่งไปอีกคนหนึ่ง ตัวตรวจจับที่รอความเงียบจึงช้าตั้งแต่ในการออกแบบ ก่อนที่การประมวลผลใด ๆ จะเริ่มด้วยซ้ำ
จังหวะเวลาก็สื่อความหมายเช่นกัน การศึกษา PNAS 10 ภาษาพบว่าการตอบที่ไม่ได้ตอบคำถาม (เช่น “ไม่รู้”) มาช้ากว่าคำตอบจริง 131.78 ms และการยืนยันมาเร็วกว่าการปฏิเสธ 206.87 ms ในโมเดลหลายตัวแปร (Stivers และคณะ, PNAS 2009) มนุษย์ตีความความล่าช้าเหล่านี้เป็นสัญญาณ เอเจนต์เสียงที่รอความเงียบคงที่เท่าเดิมทุกครั้งก่อนตอบ กำลังส่งสัญญาณที่มันไม่ได้ตั้งใจ
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ส่วนต่างมัธยฐานเมื่อผู้ฟังเริ่มพูด การส่งต่อตาพูดที่ราบรื่น (ค่าลบ = ก่อนตาพูดจบ) | -151 ms | TurnBench, Jiang และคณะ, IEEE SLT 2026 |
| ส่วนต่างการตอบที่พบบ่อยที่สุด (ฐานนิยม) หลังคำถามใช่/ไม่ใช่ รวม 10 ภาษา | 0 ms (ฐานนิยมรายภาษา 0 ถึง +200 ms) | Stivers และคณะ, PNAS 2009 |
| ความล่าช้าเพิ่มเติมเมื่อการตอบไม่ได้ตอบคำถาม โมเดลหลายตัวแปร | +131.78 ms (ช่วงความเชื่อมั่น 95% 59.34 ถึง 204.23) | Stivers และคณะ, PNAS 2009 |
| ความต่างของความล่าช้าระหว่างการยืนยันกับการปฏิเสธ โมเดลหลายตัวแปร | -206.87 ms (ช่วงความเชื่อมั่น 95% -268.61 ถึง -145.12) | Stivers และคณะ, PNAS 2009 |
| ส่วนต่างการตอบเฉลี่ยในการตอบที่ผู้ติดป้ายกำกับตัดสินว่าทันเวลา ภาษาญี่ปุ่นเทียบกับภาษาเดนมาร์ก | 36 ms เทียบกับ 203 ms | Stivers และคณะ, PNAS 2009 |
| สัดส่วนการเปลี่ยนตาพูดที่เร็วกว่า 200 ms คลังข้อมูลสามชุด | 51% ถึง 55% | Heldner และ Edlund 2010, ทบทวนใน Levinson และ Torreira, Frontiers in Psychology 2015 |
| สัดส่วนของสัญญาณ Switchboard ที่ผู้พูดทั้งสองพูดพร้อมกัน | 3.8% | Levinson และ Torreira, Frontiers in Psychology 2015 |
หมายเหตุบริบท: ภาพของการพูดซ้อนทับขึ้นอยู่กับวิธีวัด เสียงพูดซ้อนทับคิดเป็นเพียง 3.8% ของเสียง Switchboard แต่ Heldner และ Edlund พบการซ้อนทับในราว 40% ของการเปลี่ยนตาพูด เพราะการซ้อนทับส่วนใหญ่สั้น (Levinson และ Torreira, Frontiers in Psychology 2015) ข้อมูลล่าสุดที่มีสำหรับตัวเลขข้ามภาษา: Stivers และคณะ, 2009 และ Heldner และ Edlund, 2010 จังหวะการผลัดตาพูดของมนุษย์เปลี่ยนแปลงช้า อายุของการศึกษาเหล่านี้จึงสำคัญน้อยกว่าเบนช์มาร์กของผลิตภัณฑ์
2. เครื่องรอนานแค่ไหน: เวลารอความเงียบและความหน่วง จุดสิ้นสุดการพูด
ระบบการผลิตส่วนใหญ่ยังตัดสินว่าตาพูดจบแล้วด้วยตัวจับเวลา Amazon Lex V2 รอความเงียบตามค่าเริ่มต้น 600 ms หลังผู้โทรหยุดพูด ก่อนถือว่าประโยคจบแล้ว รอ 4,000 ms เพื่อให้ผู้โทรเริ่มพูดเลย และตัดประโยคเดียวที่ 55,000 ms (AWS, Configuring timeouts for capturing user input with a Lex V2 bot) งานวิจัยบางชิ้นอธิบายการตั้งค่าที่ยาวกว่านั้นอีก: ผู้เขียน Voice Activity Projection ระบุว่าระบบสนทนาด้วยเสียงมักใช้เวลารอความเงียบราว 1 หรือ 2 วินาที
ชายแดนของงานวิจัยคือการลดมิลลิวินาทีจากช่วงที่ระบบตัดสินใจ โมเดลแบบรวมของ Google ที่ใช้เลเยอร์ร่วมกันระหว่างการรู้จำเสียงพูดกับตัวตรวจจับจุดสิ้นสุดการพูด (ส่วนประกอบที่ตัดสินว่าผู้ใช้พูดจบแล้ว) ลดความหน่วง จุดสิ้นสุดการพูด มัธยฐานจาก 390 ms เป็น 270 ms และความหน่วงที่เปอร์เซ็นไทล์ที่ 90 จาก 740 ms เป็น 570 ms โดยอัตราความผิดพลาดของคำคงที่ที่ 5.8% (Bijwadia และคณะ, Google, Unified End-to-End Speech Recognition and Endpointing, SLT 2022) การตัดสินใจที่เร็วขึ้นช่วยได้เมื่อถอดความถูกต้องเท่านั้น ซึ่งเป็นประเด็นที่ครอบคลุมในสถิติอาการหลอนของการรู้จำเสียงพูดของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เวลารอความเงียบตามค่าเริ่มต้นหลังผู้โทรหยุดพูด Amazon Lex V2 | 600 ms | เอกสาร AWS Lex V2 |
| ความหน่วงความเงียบตามค่าเริ่มต้นก่อนจบตาพูดด้วย VAD อย่างเดียว LiveKit Agents (ค่าเริ่มต้นของผู้ให้บริการ) | 500 ms | บล็อก LiveKit, 20 ธันวาคม 2024 (การตั้งค่าของผู้ให้บริการเอง) |
| เวลารอความเงียบที่ใช้กันทั่วไปในระบบสนทนาด้วยเสียง | ราว 1 หรือ 2 วินาที | Inoue และคณะ, มหาวิทยาลัยเกียวโต, IWSDS 2024 |
| ความหน่วง จุดสิ้นสุดการพูด มัธยฐาน / เปอร์เซ็นไทล์ที่ 90 โมเดลการรู้จำและ การตรวจจับจุดสิ้นสุดการพูด แยกกัน (การค้นหาด้วยเสียงของ Google ราว 14,000 ประโยค) | 390 ms / 740 ms | Bijwadia และคณะ, Google, SLT 2022 |
| ความหน่วง จุดสิ้นสุดการพูด มัธยฐาน / เปอร์เซ็นไทล์ที่ 90 โมเดลแบบรวม | 270 ms / 570 ms (ต่ำลง 120 ms และ 170 ms หรือ 30.8% และ 23.0%) | Bijwadia และคณะ, Google, SLT 2022 |
| ความหน่วง จุดสิ้นสุดการพูด ที่เปอร์เซ็นไทล์ที่ 50 / 90 / 99 โมเดลพื้นฐานของ Alexa บนคำสั่งเชิงธุรกรรม | 300 / 570 / 1,110 ms | Raju และคณะ, Amazon, Two-Pass Endpoint Detection 2024 |
หมายเหตุบริบท: เรื่องสำคัญคือการกระจายตัวระหว่างเปอร์เซ็นไทล์ ค่ามัธยฐาน 300 ms ดูใกล้เคียงจังหวะของมนุษย์ แต่คำสั่งเชิงธุรกรรมของ Alexa ที่ช้าที่สุด 1% รอ 1,110 ms หรือมากกว่าเฉพาะการตัดสินใจ จุดสิ้นสุดการพูด ก่อนที่จะสร้างคำตอบใด ๆ (Raju และคณะ, Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024) ข้อมูลล่าสุดที่มีสำหรับตัวเลขของ Google: 2022
3. การตัดบทกับการตอบช้า: ข้อแลกเปลี่ยนของ การตรวจจับจุดสิ้นสุดการพูด
ตัวตรวจจับจุดสิ้นสุดการพูด ทุกตัวต้องแลกความล้มเหลวสองแบบเข้าหากัน คือตัดบทผู้ใช้กลางความคิด (การตัดบทผิดพลาด) หรือปล่อยให้เงียบสนิทหลังผู้ใช้พูดจบ การวัดที่ตรงที่สุดที่เราพบมาจากการศึกษาผู้เข้าร่วม 39 คนกับหัวหุ่นยนต์ Furhat ด้วยโมเดลพื้นฐานมาตรฐานที่อิงความเงียบ หุ่นยนต์พูดแทรกผู้ใช้ใน 16.6% ของตาพูดของมัน และยังมีเวลาตอบมัธยฐาน 2.7 s โมเดลเชิงพยากรณ์ที่ผสม TurnGPT กับ Voice Activity Projection ลดการพูดแทรกเหลือ 6.9% และเวลาตอบมัธยฐานเหลือ 1.5 s โดยทั้งสองส่วนต่างอยู่ที่ p < 0.001 (Skantze และ Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025) การออกแบบที่อิงความเงียบแพ้ทั้งสองแกนพร้อมกัน
การแก้ด้านหนึ่งมักต้องแลกกับอีกด้าน “ตัวตัดสิน” ขั้นที่สองของ Amazon ซึ่งตรวจสอบตัวตรวจจับจุดสิ้นสุดการพูด ตัวแรกซ้ำก่อนปิดไมโครโฟน ลด การตรวจจับจุดสิ้นสุดการพูด ก่อนเวลา (หยุดก่อนที่ผู้ใช้พูดจบ) ลง 16.34% บนคำสั่งเชิงธุรกรรม แต่ดันความหน่วงที่เปอร์เซ็นไทล์ที่ 99 จาก 1,110 ms ขึ้นเป็น 1,320 ms ตัวตรวจจับที่หยาบที่สุดล้มเหลวไปอีกทาง: ตัวกระตุ้นระดับเสียงแบบง่ายทำงานในมากกว่าครึ่งของช่วงเวลาที่ตาพูดยังไม่จบจริง (ดูแถวผลบวกเทียมด้านล่าง) ตัวกระตุ้นเหล่านี้ตอบสนองต่อเสียงไม่ใช่ความหมาย เสียงที่ไปถึงมันจึงสำคัญ ซึ่งเชื่อมโยงกับสถิติการลดเสียงรบกวนด้วยโครงข่ายประสาทของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ตาพูดของระบบที่พูดแทรกผู้ใช้ โมเดลพื้นฐานที่อิงความเงียบเทียบกับโมเดล TurnGPT บวก VAP | 16.6% เทียบกับ 6.9% | Skantze และ Irfan, KTH, 2025 |
| เวลาตอบมัธยฐานของระบบ โมเดลพื้นฐานที่อิงความเงียบเทียบกับโมเดล TurnGPT บวก VAP | 2.7 s เทียบกับ 1.5 s | Skantze และ Irfan, KTH, 2025 |
| ผู้เข้าร่วมที่ชอบโมเดลพื้นฐานที่อิงความเงียบ / ไม่มีความชอบ | 9 จาก 39 / 3 จาก 39 | Skantze และ Irfan, KTH, 2025 |
| ประโยคที่ตัวตรวจจับจุดสิ้นสุดการพูด หยุดฟังเร็วเกินไป เบนช์มาร์ก SLURP โมเดลพื้นฐานเทียบกับแบบมีตัวตัดสิน | 2.39% เทียบกับ 2.19% (ลดลงสัมพัทธ์ 8.37%) | Raju และคณะ, Amazon, 2024 |
| การลดลงสัมพัทธ์ของ การตรวจจับจุดสิ้นสุดการพูด ก่อนเวลาบนคำสั่งเชิงธุรกรรม / ความหน่วงที่เปอร์เซ็นไทล์ที่ 99 ก่อนเทียบกับหลัง | 16.34% / 1,110 ms เทียบกับ 1,320 ms | Raju และคณะ, Amazon, 2024 |
| ความแม่นยำเมื่อพยากรณ์จุดจบตาพูดที่แท้จริง ตัวตรวจจับเชิงเสียงเทียบกับโมเดลแบบครบวงจร (ค่าเรียกคืน 97.3% เทียบกับ 97.5%) | 67.3% เทียบกับ 84.7% | Chang และคณะ, Google, Interspeech 2022 |
| อัตราผลบวกเทียมบน TurnBench ตัวตรวจจับพลังงานแบบง่ายเทียบกับ VAD ฝั่งเซิร์ฟเวอร์ของ OpenAI Realtime | 0.632 เทียบกับ 0.525 | ตารางอันดับ TurnBench, ดูเมื่อ 31 ตุลาคม 2026 |
| การลดลงของการพูดแทรกโดยไม่ตั้งใจ ตัวตรวจจับตาพูดแบบทรานส์ฟอร์เมอร์บวก VAD เทียบกับ VAD อย่างเดียว | 85% | บล็อก LiveKit, 20 ธันวาคม 2024 (คำอ้างของผู้ให้บริการเอง ไม่เปิดเผยชุดทดสอบ) |
หมายเหตุบริบท: โมเดลพื้นฐานของหุ่นยนต์พึ่งตัวตรวจจับจุดจบการพูดของ Google ที่ไม่มีเอกสารอธิบาย ซึ่งผู้เขียนอนุมานว่าอิงเกณฑ์ และพวกเขาอ้างเกณฑ์ 1 s จึงควรอ่านว่าเป็นระบบที่อิงความเงียบ ไม่ใช่การตั้งค่าตัวจับเวลาที่แม่นยำ การศึกษาจุดจบตาพูดของ Google ใช้เสียงพูดทดสอบที่ไม่ลื่นไหล (การหยุดแบบสุ่ม การหยุดที่มีเสียงเติม เช่น “เอ่อ” คำที่ลากเสียงยาว และวลีที่พูดซ้ำ) ซึ่งเป็นกรณีที่งานวิจัยระบุว่าตัวตรวจจับจุดสิ้นสุดการพูด แบบดั้งเดิมตัดบทผู้ใช้ (Chang และคณะ, Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022) ชุดทดสอบบทสนทนาธรรมชาติของงานนี้มีเพียง 200 ประโยคจากผู้พูด 10 คน ดังนั้นควรใช้ตัวเลขความแม่นยำเป็นเพียงแนวโน้ม
4. การพยากรณ์จุดจบของตาพูด: VAP, TurnGPT และตารางอันดับ
โมเดลเชิงพยากรณ์ฟังว่าประโยคดำเนินไปอย่างไร ไม่ใช่แค่ว่าห้องเงียบลงหรือยัง TurnGPT โมเดลข้อความ ได้ความถูกต้องแบบสมดุล 0.823 บนบทสนทนาด้วยเสียงแบบเป็นธรรมชาติ เทียบกับ 0.748 สำหรับโมเดลพื้นฐาน LSTM (Ekstedt และ Skantze, TurnGPT, Findings of EMNLP 2020) ความถูกต้องแบบสมดุลเฉลี่ยประสิทธิภาพบน “การเปลี่ยนตาพูด” และ “การคงตาพูด” ดังนั้น 0.5 คือระดับการเดาสุ่ม Voice Activity Projection (VAP) ทำงานกับตัวเสียงโดยตรงและพยากรณ์ 2 วินาทีถัดไปว่าใครจะพูด
ภาษาคือตัวแปรที่ซ่อนอยู่ โมเดล VAP ที่ฝึกด้วยภาษาอังกฤษลดลงเหลือความถูกต้องแบบสมดุล 59.43% บนภาษาญี่ปุ่น เทียบกับ 74.20% สำหรับโมเดลที่ฝึกด้วยภาษาญี่ปุ่น และการเปลี่ยนตาพูดคิดเป็น 42.9% ของช่วงเวลาเปลี่ยนหรือคงในข้อมูลภาษาญี่ปุ่น เทียบกับ 9.9% ในภาษาอังกฤษ (Inoue และคณะ, Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024) ตัวตรวจจับตาพูดที่ปรับจูนด้วยสายภาษาอังกฤษไม่ใช่ส่วนประกอบที่เป็นกลางในผลิตภัณฑ์หลายภาษา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความถูกต้องแบบสมดุลในการพยากรณ์การเปลี่ยนตาพูดในบทสนทนาด้วยเสียงแบบเป็นธรรมชาติ TurnGPT เทียบกับโมเดลพื้นฐาน LSTM | 0.823 เทียบกับ 0.748 | Ekstedt และ Skantze, KTH, Findings of EMNLP 2020 |
| ความถูกต้องแบบสมดุลของ VAP ระหว่างเปลี่ยนกับคงตาพูด ฝึกและทดสอบด้วยภาษาเดียวกัน: อังกฤษ / จีนกลาง / ญี่ปุ่น | 79.59% / 84.49% / 74.20% | Inoue และคณะ, มหาวิทยาลัยเกียวโต, LREC-COLING 2024 |
| VAP ฝึกด้วยภาษาอังกฤษ ทดสอบกับภาษาญี่ปุ่น | 59.43% | Inoue และคณะ, มหาวิทยาลัยเกียวโต, LREC-COLING 2024 |
| สัดส่วนเหตุการณ์เปลี่ยนหรือคงที่เป็นการเปลี่ยนตาพูด ข้อมูลทดสอบภาษาอังกฤษเทียบกับภาษาญี่ปุ่น | 9.9% เทียบกับ 42.9% | Inoue และคณะ, มหาวิทยาลัยเกียวโต, LREC-COLING 2024 |
| VAP บน CPU บริบทเสียง 1 s เทียบกับ 20 s ข้อมูลภาษาญี่ปุ่น: ปัจจัยเวลาจริง (ต่ำกว่า 1 = เร็วกว่าเวลาจริง) | 0.73 เทียบกับ 13.69 | Inoue และคณะ, มหาวิทยาลัยเกียวโต, IWSDS 2024 |
| Voice Activity Projection บน TurnBench: ค่าเรียกคืน / อัตราผลบวกเทียม / ความหน่วง | 0.845 / 0.055 / 368 ms | ตารางอันดับ TurnBench, ดูเมื่อ 31 ตุลาคม 2026 |
| Smart Turn v3 เทียบกับ Kyutai Semantic VAD บน TurnBench: ค่าเรียกคืน / อัตราผลบวกเทียม / ความหน่วง | 0.752 / 0.047 / 1,017 ms เทียบกับ 0.773 / 0.059 / 1,007 ms | ตารางอันดับ TurnBench, ดูเมื่อ 31 ตุลาคม 2026 |
| Gemini 3.1 Live เทียบกับ VAD เชิงความหมายของ OpenAI Realtime บน TurnBench: ค่าเรียกคืน / อัตราผลบวกเทียม / ความหน่วง | 0.657 / 0.022 / 1,234 ms เทียบกับ 0.303 / 0.018 / 793 ms | ตารางอันดับ TurnBench, ดูเมื่อ 31 ตุลาคม 2026 |
หมายเหตุบริบท: สัดส่วนการเปลี่ยนตาพูดมาจากคลังข้อมูลที่ต่างกัน (สายโทรศัพท์ Switchboard เทียบกับงานของเอเจนซีท่องเที่ยวญี่ปุ่น) ส่วนต่างจึงสะท้อนทั้งงานและภาษา ผลลัพธ์แบบเรียลไทม์สำคัญต่อการนำไปใช้จริง: ด้วยบริบท 1 วินาที VAP ทำงานที่ 14.61 ms ต่อเฟรมบน CPU Intel Xeon และได้ความถูกต้องแบบสมดุล 76.16% สูงกว่า 74.20% ที่วัดด้วยบริบท 20 วินาทีเล็กน้อย (Inoue และคณะ, Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024) ตารางอันดับ TurnBench ตัดสิทธิ์ระบบที่มีอัตราผลบวกเทียมสูงกว่า 0.15 และสองระบบที่ระมัดระวังที่สุดในตารางรักษาสัญญาณเตือนผิดให้ต่ำที่สุด แต่พลาดจุดจบตาพูดจริงมากที่สุด ข้อมูลล่าสุดที่มีสำหรับ TurnGPT: 2020
5. Barge-In: เกิดอะไรขึ้นเมื่อผู้ใช้พูดทับเอเจนต์
การพูดแทรก คือปัญหาแบบกลับด้าน: เอเจนต์กำลังพูดและผู้ใช้เริ่มพูด การหยุดให้เร็วเป็นเพียงครึ่งหนึ่งของงาน บน Full-Duplex-Bench v1.5 GPT-4o Realtime หยุดพูด 0.23 s หลังผู้ใช้พูดแทรก และตอบสนองต่อสิ่งที่ผู้ใช้พูดใน 78% ของครั้ง ขณะที่ Nova Sonic ใช้เวลา 2.25 s กว่าจะหยุด และเพิกเฉยต่อการพูดแทรกเพื่อพูดคำตอบเดิมต่อใน 71% ของครั้ง (Lin และคณะ, Full-Duplex-Bench v1.5, arXiv 2025) ทีมคอลเซ็นเตอร์ที่ประเมินโมเดลเหล่านี้ ซึ่งกล่าวถึงในสถิติการทำคอลเซ็นเตอร์อัตโนมัติด้วยเอเจนต์เสียงของเรา กำลังเลือกระหว่างพฤติกรรมสองแบบที่ต่างกันมาก
ข้อผิดพลาดด้านตรงข้ามคือการยอมหยุดให้กับเสียงตอบรับระหว่างฟัง (backchannel) คือคำสั้น ๆ เช่น “อืม” หรือ “ใช่” ที่ผู้ฟังพูดเพื่อแสดงว่าตามอยู่ GPT-4o Realtime หยุดภายใน 0.21 s แม้กับสัญญาณเหล่านี้ ซึ่งผู้เขียนตีความว่าเป็นการหยุดที่ไวเกินไป การยอมทันทีก็ไม่ใช่บรรทัดฐานของมนุษย์เช่นกัน: คนที่ถูกพูดแทรกจะพูดต่อโดยมัธยฐาน 1.48 s ก่อนยอมสละสิทธิ์พูด ดังนั้นเวลาหยุดที่ต่ำที่สุดจึงไม่ใช่เป้าหมายที่ถูกต้องโดยอัตโนมัติ Moshi อยู่ที่ปลายสุดของสเกลนั้น โดยมีเพียง 17.4% ของการที่ผู้ใช้พูดแทรกที่จบลงด้วยการที่ผู้ใช้ชิงสิทธิ์พูด
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ผู้ใช้พูดแทรกเอเจนต์ GPT-4o Realtime: อัตราการตอบสนองต่อสิ่งที่ผู้ใช้พูด / อัตราการพูดคำตอบเดิมต่อ / เวลาที่ใช้หยุดพูด | 0.78 / 0.10 / 0.23 s | Lin และคณะ, Full-Duplex-Bench v1.5, 2025 |
| ผู้ใช้พูดแทรกเอเจนต์ ปลายทาง Gemini 2.0 Flash Live: อัตราการตอบสนองต่อสิ่งที่ผู้ใช้พูด / อัตราการพูดคำตอบเดิมต่อ / เวลาที่ใช้หยุดพูด | 0.33 / 0.55 / 2.20 s | Lin และคณะ, Full-Duplex-Bench v1.5, 2025 |
| ผู้ใช้พูดแทรกเอเจนต์ Nova Sonic: อัตราการตอบสนองต่อสิ่งที่ผู้ใช้พูด / อัตราการพูดคำตอบเดิมต่อ / เวลาที่ใช้หยุดพูด | 0.24 / 0.71 / 2.25 s | Lin และคณะ, Full-Duplex-Bench v1.5, 2025 |
| ผู้ใช้ส่งเสียงตอบรับเท่านั้น (“อืม”): เวลาหยุดของ GPT-4o Realtime เทียบกับอัตราที่ Nova Sonic พูดคำตอบเดิมต่อ | 0.21 s เทียบกับ 0.98 | Lin และคณะ, Full-Duplex-Bench v1.5, 2025 |
| การที่ผู้ใช้พูดแทรกแล้วจบลงด้วยการที่ผู้ใช้ชิงสิทธิ์พูด จำแนกตามฝ่ายที่ถูกพูดแทรก: Moshi / ระบบแบบต่อเรียงเป็นขั้น / ผู้พูดที่เป็นมนุษย์ | 17.4% / 59.4% / 63.6% | Arora และคณะ, Talking Turns, ICLR 2025 |
| การตัดสินใจของ Moshi ที่เป็นการพูดแทรกผู้ใช้แบบผลบวกเทียม | 2.09% ของการตัดสินใจทั้งหมด | Arora และคณะ, Talking Turns, ICLR 2025 |
| เวลามัธยฐานที่มนุษย์ซึ่งถูกพูดแทรกพูดต่อก่อนสละสิทธิ์พูด | 1.48 s | TurnBench, Jiang และคณะ, IEEE SLT 2026 |
| ค่าเริ่มต้นของการพูดแทรก (อนุญาตให้พูดแทรก) สำหรับพรอมต์ของ Amazon Lex V2 | เปิด (true) | เอกสาร AWS Lex V2 |
หมายเหตุบริบท: การศึกษาผู้ใช้ของ Talking Turns เก็บบทสนทนามนุษย์กับ AI ราว 4 ชั่วโมงต่อระบบ กับผู้เข้าร่วม 11 คน และการที่ผู้ใช้พูดแทรกคิดเป็นเพียง 0.2% (Moshi) และ 0.1% (แบบต่อเรียงเป็นขั้น) ของกรณีที่ให้คะแนน ดังนั้นเปอร์เซ็นต์เหล่านี้อิงจำนวนน้อย โดยเฉพาะแบบต่อเรียงเป็นขั้น (Arora และคณะ, Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025) Full-Duplex-Bench v1.5 ใช้การพูดแทรกสังเคราะห์ 200 ครั้ง ไม่ใช่ผู้โทรจริง เราไม่พบชุดข้อมูลปฐมภูมิสาธารณะเกี่ยวกับความถี่ที่ผู้โทรคอลเซ็นเตอร์พูดแทรกเอเจนต์เสียงที่ใช้งานจริง
6. โมเดลฟูลดูเพล็กซ์: ฟังและพูดพร้อมกัน
โมเดลฟูลดูเพล็กซ์ตัดการตัดสินใจเรื่องตาพูดทิ้งไปทั้งหมด: พวกมันฟังและพูดบนสตรีมเสียงที่ขนานกัน การซ้อนทับและเสียงตอบรับระหว่างฟังจึงเกิดขึ้นได้ตามธรรมชาติ Moshi ของ Kyutai รายงานความหน่วงเชิงทฤษฎี 160 ms และ 200 ms ในทางปฏิบัติ และผู้เขียนระบุว่าเสียงพูดซ้อนทับคิดเป็น 10% ถึง 20% ของเวลาพูดในบทสนทนาจริง (Défossez และคณะ, Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024) โมเดลพื้นฐานแบบต่อเรียงเป็นขั้นในการประเมิน dGSLM ไม่สร้างสิ่งเหล่านี้เลย โดยมีการหยุดเป็นศูนย์และการซ้อนทับเป็นศูนย์ต่อนาทีของบทสนทนาที่สร้างขึ้น (Nguyen และคณะ, Generative Spoken Dialogue Language Modeling, 2022)
ความเร็วยังไม่กลายเป็นวิจารณญาณ บน Full-Duplex-Bench Moshi ได้อัตราการแย่งตาพูด 0.980 ระหว่างที่ผู้ใช้หยุดชั่วครู่ในชุด Candor เทียบกับ 0.310 สำหรับ Gemini Live ในตัวชี้วัดนี้ค่าต่ำกว่าดีกว่า เพราะการชิงสิทธิ์พูดขณะที่ผู้ใช้เพียงหยุดชั่วครู่คือการตัดบท (Lin และคณะ, Full-Duplex-Bench, ASRU 2025) โมเดลฟูลดูเพล็กซ์แก้ปัญหาความเงียบได้ และรับช่วงปัญหาการพูดแทรกมาแทน
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความหน่วงในการตอบของ Moshi เชิงทฤษฎี / ในทางปฏิบัติ | 160 ms / 200 ms | Défossez และคณะ, Kyutai, 2024 |
| ข้อมูลฝึกล่วงหน้าด้านเสียงของ Moshi / ข้อมูลปรับละเอียดจากบทสนทนาทางโทรศัพท์ Fisher | 7 ล้านชั่วโมง / 2,000 ชั่วโมง | Défossez และคณะ, Kyutai, 2024 |
| เสียงพูดซ้อนทับในบทสนทนาจริง ตามที่อ้างในงานวิจัย Moshi | 10% ถึง 20% ของเวลาพูด | Défossez และคณะ, Kyutai, 2024 (อ้าง Cetin และ Shriberg 2006) |
| การซ้อนทับต่อนาที บทสนทนา Fisher จริงเทียบกับระบบสนทนาแบบต่อเรียงเป็นขั้น | 3.6 s เทียบกับ 0.0 s | Nguyen และคณะ, dGSLM, 2022 |
| ช่องว่างระหว่างผู้พูดต่อนาที บทสนทนา Fisher จริงเทียบกับระบบแบบต่อเรียงเป็นขั้น | 7.5 เทียบกับ 14.9 | Nguyen และคณะ, dGSLM, 2022 |
| ช่องว่าง / การซ้อนทับสะสม Moshi ที่อุณหภูมิการสุ่มตัวอย่าง 1.0 เทียบกับบทสนทนาจริง (โพรโทคอล dGSLM เดียวกัน) | 4.5 s / 4.1 s เทียบกับ 4.2 s / 3.3 s | Défossez และคณะ, Kyutai, 2024 |
| สัดส่วนเวลาสนทนาที่อยู่ในช่องว่างเงียบ Moshi เทียบกับระบบแบบต่อเรียงเป็นขั้น (การศึกษาผู้ใช้) | 11.8% เทียบกับ 32.4% | Arora และคณะ, Talking Turns, ICLR 2025 |
| อัตราการแย่งตาพูดระหว่างที่ผู้ใช้หยุดชั่วครู่ ชุด Candor (ต่ำกว่าดีกว่า): Moshi / dGSLM / Gemini Live | 0.980 / 0.935 / 0.310 | Lin และคณะ, Full-Duplex-Bench, 2025 |
หมายเหตุบริบท: สถิติตาพูดของ Moshi แกว่งไปตามอุณหภูมิการสุ่มตัวอย่าง ที่อุณหภูมิ 0.8 การซ้อนทับสะสมของมันลดลงเหลือ 1.2 s และช่องว่างเพิ่มเป็น 12.5 s ดังนั้นตัวเลข “การซ้อนทับของ Moshi” ตัวเดียวจึงอ้างได้ทั้งสองทาง ข้อมูลล่าสุดที่มีสำหรับ dGSLM: 2022
สรุป: การตรวจจับจุดสิ้นสุดตาพูดและ Barge-In ของ AI สนทนาในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เวลาที่ผู้ฟังเริ่มพูดในการส่งต่อตาพูดที่ราบรื่น (ก่อนตาพูดจบ) | เร็วกว่าโดยมัธยฐาน 151 ms | TurnBench, IEEE SLT 2026 |
| การเปลี่ยนตาพูดที่เร็วกว่า 200 ms | 51% ถึง 55% | Heldner และ Edlund 2010, ผ่าน Frontiers in Psychology 2015 |
| ความล่าช้าในการตอบเมื่อคำตอบไม่ได้ตอบคำถาม | +131.78 ms | Stivers และคณะ, PNAS 2009 |
| ส่วนต่างเฉลี่ยของการตอบที่ผู้ติดป้ายกำกับตัดสินว่าทันเวลา ภาษาญี่ปุ่นเทียบกับภาษาเดนมาร์ก | 36 ms เทียบกับ 203 ms | Stivers และคณะ, PNAS 2009 |
| เวลารอความเงียบตามค่าเริ่มต้นของ Amazon Lex V2 ก่อนจบประโยค | 600 ms | เอกสาร AWS Lex V2 |
| ความหน่วง จุดสิ้นสุดการพูด มัธยฐานของ Google โมเดลแยกกันเทียบกับโมเดลแบบรวม | 390 ms เทียบกับ 270 ms | Bijwadia และคณะ, Google, SLT 2022 |
| ตาพูดของหุ่นยนต์ที่พูดแทรกผู้ใช้ โมเดลพื้นฐานที่อิงความเงียบเทียบกับโมเดลเชิงพยากรณ์ | 16.6% เทียบกับ 6.9% | Skantze และ Irfan, KTH, 2025 |
| เวลาตอบมัธยฐานของหุ่นยนต์ โมเดลพื้นฐานที่อิงความเงียบเทียบกับโมเดลเชิงพยากรณ์ | 2.7 s เทียบกับ 1.5 s | Skantze และ Irfan, KTH, 2025 |
| ความแม่นยำในการพยากรณ์จุดจบตาพูดที่แท้จริง ตัวตรวจจับเชิงเสียงเทียบกับโมเดลแบบครบวงจร | 67.3% เทียบกับ 84.7% | Chang และคณะ, Google, Interspeech 2022 |
| ความถูกต้องของ VAP โมเดลที่ฝึกด้วยภาษาอังกฤษบนภาษาญี่ปุ่นเทียบกับที่ฝึกด้วยภาษาญี่ปุ่น | 59.43% เทียบกับ 74.20% | Inoue และคณะ, LREC-COLING 2024 |
| GPT-4o Realtime เทียบกับ Nova Sonic เวลาหยุดหลังผู้ใช้พูดแทรก | 0.23 s เทียบกับ 2.25 s | Full-Duplex-Bench v1.5, 2025 |
| การที่ผู้ใช้พูดแทรกแล้วจบลงด้วยการที่ผู้ใช้ชิงสิทธิ์พูด Moshi เทียบกับผู้พูดที่เป็นมนุษย์ | 17.4% เทียบกับ 63.6% | Arora และคณะ, ICLR 2025 |
| ความหน่วงของ Moshi เชิงทฤษฎี / ในทางปฏิบัติ | 160 ms / 200 ms | Kyutai, 2024 |
| การซ้อนทับต่อนาที สาย Fisher จริงเทียบกับระบบแบบต่อเรียงเป็นขั้น | 3.6 s เทียบกับ 0.0 s | Nguyen และคณะ, dGSLM, 2022 |
| สัดส่วนช่องว่างเงียบในบทสนทนา Moshi เทียบกับระบบแบบต่อเรียงเป็นขั้น | 11.8% เทียบกับ 32.4% | Arora และคณะ, ICLR 2025 |
| อัตราการแย่งตาพูดของ Moshi ระหว่างที่ผู้ใช้หยุดชั่วครู่ ชุด Candor | 0.980 | Full-Duplex-Bench, 2025 |
ระเบียบวิธีและแหล่งที่มา
- Jiang และคณะ, TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue, IEEE SLT 2026 และตารางอันดับ TurnBenchที่อัปเดตสด: สถิติจังหวะเวลาของมนุษย์ รวมถึงค่าเรียกคืน อัตราผลบวกเทียม และความหน่วงของระบบ
- Stivers และคณะ, Universals and cultural variation in turn-taking in conversation, PNAS 2009: 10 ภาษา 101 บทสนทนา คำถามใช่/ไม่ใช่
- Levinson และ Torreira, Timing in turn-taking and its implications for processing models of language, Frontiers in Psychology 2015: การวิเคราะห์ Switchboard และการทบทวนงานของ Heldner และ Edlund (Journal of Phonetics 2010)
- AWS, Configuring timeouts for capturing user input with a Lex V2 bot: การตั้งค่าเริ่มต้นด้านความเงียบ การเริ่มพูด และ การพูดแทรก
- Bijwadia และคณะ, Google, Unified End-to-End Speech Recognition and Endpointing for Fast and Efficient Speech Systems, SLT 2022
- Chang และคณะ, Google, Turn-Taking Prediction for Natural Conversational Speech, Interspeech 2022
- Raju และคณะ, Amazon, Two-Pass Endpoint Detection for Speech Recognition, 2024
- Skantze และ Irfan, KTH, Applying General Turn-taking Models to Conversational Human-Robot Interaction, 2025
- Ekstedt และ Skantze, TurnGPT, Findings of EMNLP 2020
- Inoue และคณะ, Multilingual Turn-taking Prediction Using Voice Activity Projection, LREC-COLING 2024 และ Inoue และคณะ, Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection, IWSDS 2024
- Lin และคณะ, Full-Duplex-Bench, ASRU 2025 และ Lin และคณะ, Full-Duplex-Bench v1.5, 2025 (เวอร์ชัน 3, 28 มกราคม 2026)
- Arora และคณะ, Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics, ICLR 2025
- Défossez และคณะ, Kyutai, Moshi: a speech-text foundation model for real-time dialogue, 2024
- Nguyen และคณะ, Generative Spoken Dialogue Language Modeling (dGSLM), 2022, ตีพิมพ์ใน TACL 2023
- LiveKit, Using a transformer to improve end of turn detection, 20 ธันวาคม 2024: คำอ้างของผู้ให้บริการ ระบุไว้ตามนั้น
- ข้อสังเกตเกี่ยวกับข้อมูล: งานวิจัย Moshi อธิบายเวลาตอบเฉลี่ย 230 ms ใน 10 ภาษา ขณะที่การศึกษา PNAS รายงานค่าเฉลี่ย 208 ms ค่าเฉลี่ยข้ามภาษาจึงต่างกันไปตามแหล่งที่มา ความแพร่หลายของการซ้อนทับก็แปรตามวิธีการเช่นกัน: ราว 30% ของการโอนสิทธิ์พูดในการวิเคราะห์ Switchboard ของ Levinson และ Torreira เทียบกับราว 40% ของการเปลี่ยนตาพูดใน Heldner และ Edlund บทคัดย่อการประชุมของ Google ระบุการลดลงของค่ามัธยฐานและเปอร์เซ็นไทล์ที่ 90 ไว้ที่ 130 ms (33.3%) และ 160 ms (22.2%) ขณะที่ตาราง arXiv ที่ใช้ในที่นี้ให้ 120 ms (30.8%) และ 170 ms (23.0%) ตารางอันดับ TurnBench อัปเดตสดและรับผลงานที่ส่งจากภายนอก อันดับจึงจะเปลี่ยนไป ตัวเลขข้างต้นอ่านเมื่อวันที่ 31 ตุลาคม 2026 และเราไม่นับรายการภายนอกที่ส่งเอง ซึ่งเก้ารายการอยู่เหนือ Voice Activity Projection ด้านค่าเรียกคืน ตัวเลขของ Full-Duplex-Bench v1.5 มาจาก arXiv เวอร์ชัน 3 เราไม่พบข้อมูลสาธารณะปฐมภูมิเกี่ยวกับความถี่ของ การพูดแทรก ในคอลเซ็นเตอร์
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อเอกสารประชุม IEEE SLT 2026 เผยแพร่งานวิจัย TurnBench ฉบับสุดท้าย