เมื่อให้คน 172 คนแยกเสียงจริงออกจากเสียงที่ AI สร้างขึ้น พวกเขาตอบถูกเพียง 53.95% ซึ่งแทบไม่ต่างจากการโยนเหรียญ ขณะที่ผู้เข้าร่วมกลุ่มเดียวกันจัดประเภทใบหน้าได้ถูกต้อง 65.48% (Ivory และคณะ, Scientific Reports 2026, อยู่ระหว่างตีพิมพ์) เสียงโคลนของบุคคลจริงหลอกผู้ฟังได้แม้ในเรื่องตัวตน ความแม่นยำในการจับคู่ลดจาก 86.98% สำหรับเสียงธรรมชาติเหลือ 68.94% สำหรับดีปเฟก (Roswandowitz และคณะ, Communications Biology 2024) จากผู้เข้าร่วม 1,212 คนและชุดข้อมูลดีปเฟกที่ใช้กันอย่างแพร่หลายสามชุด ความแม่นยำของมนุษย์เฉลี่ย 73% (Warren และคณะ, ACM CCS 2024) แต่หุบเขาแห่งความน่าขนลุกแบบคลาสสิก คือการที่ความรู้สึกสบายใจตกลงเมื่อสิ่งหนึ่งเกือบเหมือนมนุษย์แต่ยังไม่เหมือนเต็มที่ แทบไม่ปรากฏเลยกับเสียงพูดสังเคราะห์เพียงอย่างเดียว เรารวบรวมข้อมูลจาก PLOS One, Scientific Reports, Communications Biology, eNeuro, ISCA Archive, Frontiers, ACM CCS, i-Perception และแบบสำรวจของอุตสาหกรรมสองชิ้นในปี 2026 สำหรับเกณฑ์วัดจากการทดสอบการฟังเบื้องหลังเทคโนโลยีแปลงข้อความเป็นเสียงพูดยุคใหม่ ดูสถิติความเป็นธรรมชาติของเสียงพูดสังเคราะห์และ MOSของเรา และสำหรับข้อผิดพลาดด้านระดับเสียงและการเน้นเสียงที่ยังทำให้เสียงสังเคราะห์ถูกจับได้ ดูสถิติข้อผิดพลาดด้านน้ำเสียงของ TTS แบบนิวรัลของเรา
สรุปโดยย่อ
- ผู้ฟังจัดประเภทเสียงจริงและเสียงสังเคราะห์ได้ถูกต้อง 53.95% เทียบกับ 65.48% สำหรับใบหน้า (Ivory และคณะ, Scientific Reports 2026)
- ความมั่นใจไม่สอดคล้องกับความแม่นยำสำหรับเสียง: AUROC 0.48 โดย 0.5 หมายถึงไม่มีการหยั่งรู้ใด ๆ (Ivory และคณะ, Scientific Reports 2026)
- เสียงโคลนถูกจัดว่าเป็นมนุษย์ที่ 0.70 การบันทึกเสียงจริงที่ 0.72 และเสียง AI ทั่วไปที่ 0.39 (Lavan และคณะ, PLOS One 2025)
- ความแม่นยำเฉลี่ยของมนุษย์บนชุดข้อมูลดีปเฟกสามชุดอยู่ที่ 73% จากผู้เข้าร่วม 1,212 คน (Warren และคณะ, ACM CCS 2024)
- การจับคู่ตัวตนลดจาก 86.98% สำหรับเสียงธรรมชาติเหลือ 68.94% สำหรับดีปเฟก (Roswandowitz และคณะ, Communications Biology 2024)
- ยิ่งเสียง TTS เหมือนมนุษย์มาก ยิ่งถูกประเมินว่าน่าฟังมาก: r(203) = 0.48, p < 0.001 (Ross, Corley และ Lai, Speech Prosody 2024)
- การจับคู่ใบหน้ากับเสียงที่ไม่สอดคล้องกันถูกประเมินว่าน่าขนลุกกว่าการจับคู่ที่สอดคล้องกัน t(47) = 6.042, p < 0.001 (Mitchell และคณะ, i-Perception 2011)
- เสียงมนุษย์ยกความน่าชอบของตัวละครเสมือนจริงเป็น 3.75 เทียบกับ 2.99 สำหรับเสียงหุ่นยนต์ (Choi และคณะ, IEEE ISMAR-Adjunct 2023)
- หลังรู้ว่าเสียงบรรยายที่ได้ยินเป็น AI ผู้ฟังวิทยุร้อยละ 25 รู้สึกดีขึ้นและร้อยละ 20 รู้สึกแย่ลง (Crowd React Media 2026)
- การทำให้คุ้นเคยด้วยตัวอย่างเพิ่มการตรวจจับดีปเฟกเฉลี่ยเพียง 3.84% (Mai และคณะ, PLOS ONE 2023)
- ผู้ใหญ่ร้อยละ 67 ในสหรัฐฯ สหราชอาณาจักร และภูมิภาค DACH กังวลว่าเสียงของตนจะถูกโคลน (Malwarebytes 2026, แบบสำรวจของผู้ให้บริการ)
1. การตรวจจับ: ผู้ฟังแยกเสียง AI ออกจากเสียงมนุษย์ได้บ่อยแค่ไหน
ประเด็นหลักไม่ใช่ว่าคนพลาด แต่คือความพลาดนั้นเฉพาะเจาะจงกับการได้ยิน ผู้เข้าร่วมกลุ่มเดียวกันที่ทำได้ดีกว่าระดับความบังเอิญอย่างสบายกับใบหน้า ได้คะแนน 53.95% กับเสียง (ช่วงความเชื่อมั่น 95% = [52.64, 55.27]) ในการศึกษาที่ลงทะเบียนล่วงหน้าของ Lancaster University ซึ่งทดสอบทั้งสองประสาทสัมผัสเคียงกัน (Ivory และคณะ, Scientific Reports, อยู่ระหว่างตีพิมพ์) การเก่งในการจับใบหน้าปลอมไม่ได้บอกอะไรเลยเกี่ยวกับการเก่งในการจับเสียงปลอม ผู้เขียนไม่พบความสามารถในการตรวจจับทั่วไปที่ข้ามประสาทสัมผัส
รูปแบบของงานเปลี่ยนตัวเลขได้มากกว่าทักษะของผู้ฟัง เมื่อนักวิจัยจาก UCL เปิดคลิปทีละคลิป ผู้ฟัง 529 คนตอบถูก 70.35% แต่เมื่อฟังคลิปจริงและคลิปดีปเฟกพร้อมกัน ก็จับของปลอมได้ใน 85.59% ของการทดลอง (Mai และคณะ, PLOS ONE 2023) ชีวิตจริงแทบไม่มีคลิปให้เปรียบเทียบ อายุของชุดข้อมูลก็สำคัญเช่นกัน ในการศึกษาผู้เข้าร่วม 1,212 คนของ University of Florida ความแม่นยำอยู่ระหว่าง 65% บนชุด Wavefake ถึง 81% บน FakeAVCeleb
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เสียงจริงและเสียงสังเคราะห์ที่จัดประเภทได้ถูกต้อง (ผู้เข้าร่วม 172 คน เสียงจริง 40 เสียงและเสียงสังเคราะห์ 40 เสียง) | 53.95% (ช่วงความเชื่อมั่น 95% = [52.64, 55.27]) | Ivory และคณะ, Scientific Reports 2026 (อยู่ระหว่างตีพิมพ์) |
| ใบหน้าจริงและใบหน้าที่ AI สร้างขึ้นที่ผู้เข้าร่วมกลุ่มเดียวกันจัดประเภทได้ถูกต้อง | 65.48% (ช่วงความเชื่อมั่น 95% = [63.75, 67.21]) | Ivory และคณะ, Scientific Reports 2026 (อยู่ระหว่างตีพิมพ์) |
| การจัดประเภทที่ถูกต้องเมื่อตัดสินทีละคลิป (n = 529 ภาษาอังกฤษและภาษาจีนกลาง) | 70.35% | Mai และคณะ, PLOS ONE 2023 |
| ดีปเฟกที่จับได้เมื่อฟังคู่กับคลิปจริง (งานสองคลิป) | 85.59% ของการทดลอง | Mai และคณะ, PLOS ONE 2023 |
| ความแม่นยำเฉลี่ยของมนุษย์บนชุดข้อมูลดีปเฟกสามชุด (ผู้เข้าร่วม 1,212 คน) | 73% | Warren และคณะ, ACM CCS 2024 |
| ความแม่นยำเฉลี่ยบนชุดข้อมูลที่ยากที่สุด (Wavefake) เทียบกับง่ายที่สุด (FakeAVCeleb) | 65% เทียบกับ 81% | Warren และคณะ, ACM CCS 2024 |
| เสียงโคลน AI ที่ระบุได้ถูกต้องว่าเป็น AI (กลุ่มตัวอย่าง Prolific 604 คนจากสองการศึกษา) | ประมาณ 60% | Barrington, Cooper และ Farid, Scientific Reports 2025 |
| ความไวของผู้ฟัง (ดี-ไพรม์) ในการแยกเสียง AI ทั่วไปออกจากเสียงมนุษย์ เทียบกับการแยกเสียงโคลนออกจากเสียงมนุษย์ (n = 50) | 2.93 เทียบกับ 0.13 | Lavan และคณะ, PLOS One 2025 |
หมายเหตุบริบท: ดี-ไพรม์ (d’) คือคะแนนความไวจากทฤษฎีการตรวจจับสัญญาณ ซึ่งค่า 0 หมายความว่าผู้ฟังไม่สามารถแยกสองประเภทออกจากกันได้เลย ดีปเฟกในงานของ Mai และคณะมาจากอัลกอริทึมที่ค่อนข้างเก่า ตามที่ผู้เขียนระบุไว้ ข้อมูลล่าสุดเท่าที่มีสำหรับการเปรียบเทียบแบบหนึ่งคลิปกับสองคลิป: Mai และคณะ, PLOS ONE 2023
2. เสียงโคลน: เมื่อสำเนาถูกมองว่าเป็นตัวจริง
เสียง AI ทั่วไปยังฟังดูเหมือนผลิตภัณฑ์ แต่เสียงโคลนของบุคคลหนึ่ง ๆ ไม่ใช่ และตรงนี้เองที่การได้ยินของมนุษย์ยอมแพ้ นักวิจัยของ Queen Mary University of London สร้างเสียงโคลนจากการบันทึกเสียงประมาณ 4 นาทีต่อผู้พูดด้วยเครื่องมือโคลนเสียงเชิงพาณิชย์ และ ผู้ฟังจัดเสียงโคลนเหล่านั้นว่าเป็นมนุษย์ในอัตรา 0.70 เทียบกับ 0.72 สำหรับการบันทึกเสียงจริง (Lavan และคณะ, PLOS One 2025) คำตัดสินของผู้เขียนแม่นยำ เสียงโคลนฟังดูสมจริง แต่ยังไม่ถึงขั้น ‘สมจริงเกินจริง’ แบบที่ใบหน้า AI อาจดูจริงยิ่งกว่าใบหน้าจริง การติดตามว่าเสียงโคลนต้องการเสียงต้นแบบน้อยเพียงใดในตอนนี้อยู่ในสถิติเสียงอ้างอิงสำหรับการโคลนเสียงแบบซีโรช็อตของเรา
ตัวตนคือการทดสอบที่สอง และเสียงโคลนผ่านได้เกือบทุกครั้ง ในการศึกษาของ UC Berkeley ผู้เข้าร่วมตัดสินว่าเสียง AI มีตัวตนเดียวกับต้นฉบับจริงประมาณ 80% ของเวลา (Barrington, Cooper และ Farid, arXiv v2 ตีพิมพ์ในScientific Reports 2025) ในการศึกษาสแกนสมองของ University of Zurich ที่ใช้ประโยคภาษาเยอรมันสองคำ (สิ่งเร้าในการศึกษามี ‘Er fällt’ ซึ่งในภาษาเยอรมันแปลว่า ‘เขาล้ม’) การจับคู่ตัวตนลดจาก 86.98% สำหรับเสียงธรรมชาติเหลือ 68.94% สำหรับดีปเฟก (Roswandowitz และคณะ, Communications Biology 2024)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| สัดส่วนเสียงที่ถูกจัดว่า ‘มนุษย์’: เสียงโคลน เทียบกับการบันทึกเสียงมนุษย์จริง เทียบกับเสียง AI ทั่วไป (การทดลองที่ 2 n = 50 ผู้ใหญ่ชาวอังกฤษ) | 0.70 เทียบกับ 0.72 เทียบกับ 0.39 | Lavan และคณะ, PLOS One 2025 |
| คะแนนความสมจริงเฉลี่ย: เสียง AI ทั่วไป เทียบกับเสียงโคลน เทียบกับการบันทึกเสียงมนุษย์จริง | 47.4 เทียบกับ 63.0 เทียบกับ 63.8 | Lavan และคณะ, PLOS One 2025 |
| เสียงโคลน AI ที่ถูกตัดสินว่ามีตัวตนเดียวกับผู้พูดจริง | ประมาณ 80% ของเวลา | Barrington, Cooper และ Farid, Scientific Reports 2025 |
| สหสัมพันธ์ระหว่างความยาวคลิปกับความแม่นยำของการตัดสินความเป็นธรรมชาติ | Spearman ρ = 0.245 | Barrington, Cooper และ Farid, Scientific Reports 2025 |
| ความแม่นยำในการจับคู่ตัวตน: คู่เสียงธรรมชาติ เทียบกับดีปเฟกที่จับคู่กับเสียงธรรมชาติ (n = 25) | 86.98% เทียบกับ 68.94% | Roswandowitz และคณะ, Communications Biology 2024 |
| การทดลองดีปเฟก: การพลาด เทียบกับสัญญาณเตือนผิดพลาด | 28.64% เทียบกับ 29.86% | Roswandowitz และคณะ, Communications Biology 2024 |
หมายเหตุบริบท: ทีม Queen Mary ทำการทดลองสามครั้ง ครั้งละผู้เข้าร่วมชาวอังกฤษ 50 คน อายุ 18 ถึง 65 ปี และสรรหาผ่าน Prolific ในการศึกษาของ Zurich การพลาดหมายถึงดีปเฟกถูกยอมรับว่าเป็นผู้พูดจริง และสัญญาณเตือนผิดพลาดหมายถึงตัวตนที่ถูกต้องถูกปฏิเสธ อัตราที่เกือบเท่ากันแสดงว่าผู้ฟังเดาทั้งสองทิศทางแทนที่จะเอนเอียงไปทางเดียว
3. มีหุบเขาแห่งความน่าขนลุกสำหรับเสียงหรือไม่?
หุบเขาแห่งความน่าขนลุกด้านภาพทำนายว่าความสบายใจจะตกลงก่อนที่ใบหน้าเทียมจะกลายเป็นมนุษย์เต็มตัว สำหรับเสียงพูดสังเคราะห์ ข้อมูลส่วนใหญ่ชี้ไปอีกทาง ยิ่งใกล้มนุษย์ยิ่งดี ในการศึกษาของ Frontiers in Neurorobotics ผู้ใหญ่ 95 คนประเมินเสียงสังเคราะห์สองเสียง (IBM Watson และหุ่นยนต์ Sophia) กับเสียงมนุษย์หนึ่งเสียง และความเหมือนมนุษย์ที่สูงขึ้นทำนายความน่าขนลุกที่ต่ำลงสำหรับทั้งสองเสียงสังเคราะห์ ทีมจาก Edinburgh พบว่า ความเหมือนมนุษย์และความน่าฟังมีสหสัมพันธ์เชิงบวก r(203) = 0.48, p < 0.001 แต่ไม่มีเสียง TTS ใดไปถึงความเหมือนมนุษย์ 50% จึงไม่เคยทดสอบส่วนบนสุดของเส้นโค้ง ซึ่งเป็นจุดที่หุบเขาจะอยู่ (Ross, Corley และ Lai, Speech Prosody 2024)
เมื่อหุบเขาปรากฏขึ้น สาเหตุมาจากความเบี่ยงเบนมากกว่าความเป็นของเทียม Diel และ Lewis พบหุบเขาแห่งความน่าขนลุกด้านเสียงที่เกิดจากเสียงที่ผิดเพี้ยนและเสียงผิดปกติทางพยาธิวิทยา และสรุปว่า “เสียงสังเคราะห์หลุดพ้นจากหุบเขานี้ได้สำเร็จ” (Computers in Human Behavior Reports 2024) สำหรับใครก็ตามที่เลือกเสียงด้วยเครื่องมือสร้างเสียง AI นี่คือกฎที่ใช้ได้จริง การพูดที่ผิดปกติ ตึงเครียด หรือสะดุดมีความเสี่ยงมากกว่าการพูดที่เป็นเสียงสังเคราะห์อย่างตรงไปตรงมา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คะแนนความเหมือนมนุษย์: เสียง TTS ที่เหมือนมนุษย์มากที่สุด (ช่วงระดับเสียงเกินจริง) เทียบกับการบันทึกเสียงมนุษย์ (ผู้ฟัง 205 คน) | 46.1 เทียบกับ 71.5 | Ross, Corley และ Lai, Speech Prosody 2024 |
| คะแนนความน่าขนลุก: เสียง TTS เดียวกันเทียบกับการบันทึกเสียงมนุษย์ | 40.4 เทียบกับ 28.9 | Ross, Corley และ Lai, Speech Prosody 2024 |
| สหสัมพันธ์ระหว่างความเหมือนมนุษย์กับความน่าฟัง | r(203) = 0.48, p < 0.001 | Ross, Corley และ Lai, Speech Prosody 2024 |
| ความเหมือนมนุษย์ที่ทำนายความน่าขนลุกสำหรับเสียงสังเคราะห์สองเสียง (ผู้ใหญ่ 95 คน) | β = −0.64 และ β = −0.66, p < 0.001 | Kühne, Fischer และ Zhou, Frontiers in Neurorobotics 2020 |
| จำนวนเสียงในการศึกษาความน่าชอบเทียบกับความเหมือนมนุษย์ (ผู้ฟัง 25 คน): เสียงผู้ชายภาษาเยอรมันจาก 5 แนวทางการสังเคราะห์บวกกลุ่มควบคุมที่เป็นมนุษย์ | 13 | Baird และคณะ, Interspeech 2018 |
| ผู้เข้าร่วมในสองการทดลองที่ระบุหุบเขาแห่งความน่าขนลุกด้านเสียงในเสียงที่เบี่ยงเบน | n = 50 และ n = 35 | Diel และ Lewis, Computers in Human Behavior Reports 2024 |
| ผู้เข้าร่วมในการศึกษาผู้ช่วยเสียงที่รูปลักษณ์เหมือนมนุษย์ทำให้ความน่าขนลุกเพิ่มขึ้น | 34 | Zhao, Chen และ Zhao, Human Factors and Ergonomics in Manufacturing 2026 |
| จำนวนครั้งที่ได้ยินก่อนที่ความชอบเสียงมนุษย์ที่ไม่คุ้นเคยจะเพิ่มขึ้น (ประโยคที่พูด นักศึกษามหาวิทยาลัย 238 คน) | 8 | Mavromati, Erdinch และ Paterson, ฉบับก่อนตีพิมพ์ PsyArXiv 2025 |
หมายเหตุบริบท: Baird และคณะพบว่าความน่าชอบเพิ่มขึ้นตามความเหมือนมนุษย์ ซึ่งตรงข้ามกับหุบเขาแห่งความน่าขนลุกด้านภาพ (Interspeech 2018) ข้อมูลล่าสุดเท่าที่มีสำหรับการเปรียบเทียบข้ามรุ่นของการสังเคราะห์นี้ และการศึกษาของ Kühne และคณะมาจากปี 2020 ในการศึกษาผู้ช่วยเสียง ความน่าขนลุกมาจากรูปลักษณ์ที่เหมือนมนุษย์ ไม่ใช่จากเสียง ฉบับก่อนตีพิมพ์ของ Mavromati และเพื่อนร่วมงานทดสอบเสียงมนุษย์จริง เสียงที่ได้ยิน 2 หรือ 5 ครั้งถูกชอบน้อยกว่าเสียงที่ไม่เคยได้ยิน เป็นรูปตัว ‘U’ กลับหัวที่ผู้เขียนเรียกว่าหุบเขาแห่งความน่าขนลุกของเสียงที่ ‘คุ้นเคยแต่แปลกหน้า’
4. ใบหน้ากับเสียงที่ไม่สอดคล้องกัน: จุดที่หุบเขาปรากฏจริง
หากเสียงเพียงอย่างเดียวแทบไม่ตกลงไปในหุบเขา การผสมผสานก็ตกได้ การทดสอบรากฐานจับคู่ตัวหุ่นยนต์หรือตัวมนุษย์กับเสียงที่สอดคล้องหรือไม่สอดคล้องกัน และ การจับคู่ที่ไม่สอดคล้องกันสองแบบถูกประเมินว่าน่าขนลุกกว่าการจับคู่ที่สอดคล้องกันสองแบบ t(47) = 6.042, p < 0.001 (Mitchell และคณะ, i-Perception 2011) ตัวมนุษย์ที่มีเสียงสังเคราะห์น่าขนลุกที่สุดในสี่เงื่อนไข บทเรียนด้านการออกแบบที่ผู้เขียนสรุปไว้ยังคงใช้ได้ ทำให้ความสมจริงแบบมนุษย์ของใบหน้าเท่ากับของเสียง
งานใหม่กว่าแสดงว่าเสียงมักครอบงำความประทับใจ ในการศึกษาความจริงเสมือน เสียงมนุษย์เพิ่มความน่าชอบและความรู้สึกปลอดภัยของตัวละคร ขณะที่รูปลักษณ์เองไม่มีผลอย่างมีนัยสำคัญต่อความน่าชอบ (Choi และคณะ, IEEE ISMAR-Adjunct 2023) กับหัวหุ่นยนต์ Furhat การตั้งค่าใบหน้ากับเสียงเปลี่ยนความอบอุ่นของความประทับใจแรก แต่ผลนั้นไม่มีนัยสำคัญอีกต่อไปหลังผู้เข้าร่วมได้โต้ตอบกับหุ่นยนต์ (Huang และ Moore, Frontiers in Robotics and AI 2024)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คะแนนความน่าขนลุก: ตัวมนุษย์ที่มีเสียงสังเคราะห์ เทียบกับตัวมนุษย์ที่มีเสียงมนุษย์ (ผู้เข้าร่วมที่เกิดในสหรัฐฯ 48 คน) | M = 0.19 เทียบกับ M = −1.10 | Mitchell และคณะ, i-Perception 2011 |
| คะแนนความน่าขนลุก: ตัวหุ่นยนต์ที่มีเสียงมนุษย์ เทียบกับตัวหุ่นยนต์ที่มีเสียงสังเคราะห์ | M = −0.10 เทียบกับ M = −0.60 | Mitchell และคณะ, i-Perception 2011 |
| การจับคู่ใบหน้ากับเสียงที่ไม่สอดคล้องกัน เทียบกับที่สอดคล้องกัน (การทดสอบที แบบจับคู่) | t(47) = 6.042, p < 0.001 | Mitchell และคณะ, i-Perception 2011 |
| ความน่าชอบของตัวละครเสมือนจริง: เสียงมนุษย์ เทียบกับเสียงหุ่นยนต์ (ผู้เข้าร่วม 21 คน) | 3.75 เทียบกับ 2.99 | Choi และคณะ, IEEE ISMAR-Adjunct 2023 |
| ความเหมือนมนุษย์ที่รับรู้ (การทำให้เป็นมนุษย์) ของตัวละครเสมือนจริง: เสียงมนุษย์ เทียบกับเสียงหุ่นยนต์ | 3.18 เทียบกับ 2.58 | Choi และคณะ, IEEE ISMAR-Adjunct 2023 |
| ความอบอุ่นของความประทับใจแรก: การตั้งค่าใบหน้าและเสียงแบบเด็ก เทียบกับแบบผู้ใหญ่ เทียบกับแบบหุ่นยนต์ (ผู้เข้าร่วม 52 คน 156 ตัวอย่าง) | 3.37 เทียบกับ 2.60 เทียบกับ 2.06 | Huang และ Moore, Frontiers in Robotics and AI 2024 |
| ผลของการตั้งค่าใบหน้าและเสียงต่อความอบอุ่นก่อนการโต้ตอบ | F(2,147) = 16.75, p < 0.001 | Huang และ Moore, Frontiers in Robotics and AI 2024 |
หมายเหตุบริบท: ในการศึกษา Furhat ผู้เข้าร่วมบางคนอธิบายการตั้งค่าแบบเด็กว่าไม่สอดคล้องกัน (‘เสียงที่เหมือนเด็กมากกว่าแต่รูปลักษณ์ที่เหมือนเด็กน้อยกว่า’) การทดลองตัวแทนเสมือนจริงแบบ 2x2 โดยAlimardani และคณะ (IVA 2024)พบว่าความไม่สอดคล้องกันของเสียงกับรูปลักษณ์เปลี่ยนการรับรู้การทำให้เป็นมนุษย์ แต่ไม่ได้เปลี่ยนความถี่ที่ผู้คนทำตามคำแนะนำของตัวแทน การศึกษาของ Mitchell และคณะมาจากปี 2011 และเป็นข้อมูลล่าสุดเท่าที่มีสำหรับการออกแบบใบหน้ากับเสียงแบบนี้โดยตรง
5. ลักษณะทางสังคมและผลของการเปิดเผย
ผู้ฟังไม่ได้ตัดสินเพียงว่าเสียงนั้นจริงหรือไม่ แต่ยังอ่านบุคลิกจากเสียงนั้น และเสียงสังเคราะห์ถูกอ่านต่างออกไป ในการทดลองด้านลักษณะของ Queen Mary เสียง AI ทั่วไปถูกประเมินว่ามีอำนาจเหนือกว่าและน่าเชื่อถือกว่าเสียงมนุษย์เล็กน้อย ทีม Zurich พบตรงข้ามสำหรับดีปเฟกของตน ซึ่งผู้เข้าร่วมประเมินว่า “เป็นธรรมชาติ น่าชอบ และน่าเชื่อถือน้อยกว่าเสียงธรรมชาติอย่างมีนัยสำคัญ” (Roswandowitz และคณะ, Communications Biology 2024) คุณภาพของสิ่งเร้าเป็นตัวกำหนดว่าลักษณะเหล่านั้นจะไปทางใด
ในการทดสอบแบบปกปิดที่ใกล้เคียงสื่อจริงมากขึ้น คุณภาพไม่ใช่ปัญหาอีกต่อไปและการเปิดเผยเข้ามามีบทบาทแทน หลังการเปิดเผย ผู้ฟังที่ได้ยินเสียงบรรยายของมนุษย์ร้อยละ 48 รู้สึกดีขึ้น เทียบกับร้อยละ 25 ของผู้ที่ได้ยินเสียง AI (Crowd React Media AI Voiceover Study 2026) ก่อนที่ใครจะได้รับการบอกกล่าวใด ๆ สองเสียงนี้ได้คะแนนเกือบเท่ากัน การพูดแบบราบเรียบเป็นจุดอ่อนอีกประการ ผู้ใช้ประมาณ 68% ในเงื่อนไขไร้อารมณ์วิจารณ์น้ำเสียงของตัวแทนสนทนา (Cihodaru-Ștefanache และ Podina, Frontiers in Psychology 2025)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คะแนนความมีอำนาจเหนือ: เสียง AI ทั่วไป เทียบกับเสียงมนุษย์ (n = 50) | 58.1 เทียบกับ 40.4 (p < 0.001) | Lavan และคณะ, PLOS One 2025 |
| คะแนนความน่าเชื่อถือ: เสียง AI ทั่วไป เทียบกับเสียงมนุษย์ | 57.9 เทียบกับ 53.8 (p = 0.002) | Lavan และคณะ, PLOS One 2025 |
| ความน่าสนใจโดยรวมของคลิปแรก: เสียงบรรยาย AI เทียบกับเสียงบรรยายมนุษย์ (ผู้ฟังวิทยุสหรัฐฯ 1,326 คน อายุ 18 ถึง 45 ปี) | 61% เทียบกับ 60% | Crowd React Media AI Voiceover Study 2026 |
| เสียงบรรยายที่ถูกประเมินว่า ‘ตลก’: เสียงมนุษย์ เทียบกับเสียง AI (ช่องว่างเดียวที่มีนัยสำคัญ) | 33% เทียบกับ 26% | Crowd React Media AI Voiceover Study 2026 |
| หลังการเปิดเผย ผู้ฟังเสียง AI: รู้สึกดีขึ้น เทียบกับรู้สึกแย่ลง | 25% เทียบกับ 20% | Crowd React Media AI Voiceover Study 2026 |
| หลังการเปิดเผย ผู้ฟังเสียงมนุษย์: รู้สึกดีขึ้น เทียบกับรู้สึกแย่ลง | 48% เทียบกับ 4% | Crowd React Media AI Voiceover Study 2026 |
| ผู้ใช้ในเงื่อนไขไร้อารมณ์ที่วิจารณ์น้ำเสียงของตัวแทนสนทนา | ประมาณ 68% | Cihodaru-Ștefanache และ Podina, Frontiers in Psychology 2025 |
หมายเหตุบริบท: การทบทวนใน Frontiers in Psychology คัดกรองจนเหลือ 29 การศึกษาเกี่ยวกับตัวแทนสนทนาที่มีร่างกาย (ตัวละครแอนิเมชันบนหน้าจอที่พูดคุยกับผู้ใช้) และประเมินว่าส่วนใหญ่มีคุณภาพเชิงระเบียบวิธีอ่อนหรือปานกลาง การทดสอบทางวิทยุดำเนินการโดยฝ่ายวิจัยตลาดของ Harker Bos Group และตรวจสอบนัยสำคัญด้วยการทดสอบ z สองสัดส่วนที่ความเชื่อมั่น 95% ผู้ฟังไม่ได้รับแจ้งว่าได้ยินเสียงใดจนกว่าจะให้คะแนนเสร็จ
6. การฝึก ความมั่นใจ และสมองที่รับฟัง
การฝึกระยะสั้นแทบไม่ช่วย และผู้ฟังบอกไม่ได้ว่าตนเองผิดเมื่อใด สำหรับเสียง การหยั่งรู้เชิงอภิปัญญาที่วัดเป็น AUROC อยู่ที่ 0.48 ต่ำกว่า 0.5 เล็กน้อย ซึ่งหมายความว่าความมั่นใจไม่มีข้อมูลใด ๆ เกี่ยวกับความแม่นยำ เทียบกับ 0.59 สำหรับใบหน้าในการศึกษาของ Lancaster เดียวกัน (ดูส่วนที่ 1) การทำให้คุ้นเคยกับตัวอย่างดีปเฟกแทบไม่ขยับความแม่นยำ (ดูตาราง) เมื่อผู้ฟังไม่แน่ใจ ทีม University of Florida พบว่าพวกเขาเอนเอียงไปเชื่อว่าเสียงนั้นเป็นมนุษย์ (Warren และคณะ, ACM CCS 2024) ซึ่งเป็นอคติที่การฉ้อโกงด้วยการโคลนเสียงอาศัยพอดี ดูสถิติการฉ้อโกงครอบครัวด้วยการโคลนเสียงของเรา
อย่างไรก็ตาม สมองบันทึกได้มากกว่าที่ผู้ฟังรายงาน หลังการฝึก 12 นาที เจ้าของภาษาจีนกลาง 30 คนแสดงความแตกต่างของสัญญาณประสาทระหว่างเสียงพูดมนุษย์กับเสียงพูด AI ที่ประมาณ 55, 210 และ 455 มิลลิวินาที แต่การแยกแยะเชิงพฤติกรรมของพวกเขาไม่ดีขึ้นอย่างมีนัยสำคัญ (Yang และคณะ, eNeuro 2026) ในการศึกษา fMRI ของ Zurich เปลือกสมองส่วนการได้ยินติดตามความแตกต่างทางเสียงระหว่างเสียงดีปเฟกกับเสียงธรรมชาติ ขณะที่นิวเคลียสแอคคัมเบนส์ ซึ่งเป็นส่วนหนึ่งของระบบรางวัล ทำงานน้อยลงเมื่อเปรียบเทียบดีปเฟกกับเสียงธรรมชาติ (Roswandowitz และคณะ, Communications Biology 2024)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| การหยั่งรู้เชิงอภิปัญญา (AUROC) สำหรับเสียงเทียบกับใบหน้า โดย 0.5 หมายถึงไม่มีการหยั่งรู้ | 0.48 เทียบกับ 0.59 | Ivory และคณะ, Scientific Reports 2026 (อยู่ระหว่างตีพิมพ์) |
| การตรวจจับที่เพิ่มขึ้นจากการทำให้คุ้นเคยด้วยตัวอย่างดีปเฟก | เฉลี่ย 3.84% | Mai และคณะ, PLOS ONE 2023 |
| ความไว (ดี-ไพรม์) ต่อเสียงพูดมนุษย์ก่อนเทียบกับหลังการฝึก 12 นาที (ผู้เข้าร่วม 30 คน) | 0.383 เทียบกับ 0.536 | Yang และคณะ, eNeuro 2026 |
| ความไว (ดี-ไพรม์) ต่อเสียงโคลน AI ที่ปรับแต่งละเอียดก่อนเทียบกับหลังการฝึกเดียวกัน | 0.266 เทียบกับ 0.341 | Yang และคณะ, eNeuro 2026 |
| ผลหลักของการฝึกต่อความไว | F(1,29) = 3.918, p = 0.057 | Yang และคณะ, eNeuro 2026 |
| เวลาแฝงของการแยกแยะทางประสาทระหว่างเสียงพูดมนุษย์กับเสียงพูด AI หลังการฝึก | ประมาณ 55 ms, 210 ms และ 455 ms | Yang และคณะ, eNeuro 2026 |
| ผู้ใหญ่ที่กังวลว่าเสียงของตนจะถูกโคลน (ผู้ใหญ่ 1,500 คนในสหรัฐฯ สหราชอาณาจักร ออสเตรีย เยอรมนี และสวิตเซอร์แลนด์) | 67% | Malwarebytes AI Scams Report 2026 (แบบสำรวจของผู้ให้บริการ) |
| ผู้ใหญ่ที่ได้รับสายด้วยเสียงโคลนจากคนที่รู้จักใน 12 เดือนที่ผ่านมา | 16% | Malwarebytes AI Scams Report 2026 (แบบสำรวจของผู้ให้บริการ) |
หมายเหตุบริบท: AUROC (พื้นที่ใต้เส้นโค้งลักษณะเฉพาะการทำงานของตัวรับ) ในที่นี้วัดว่าความมั่นใจของผู้ฟังสูงกว่าในคำตอบที่ถูกเทียบกับคำตอบที่ผิดหรือไม่ ประโยคใน eNeuro มาจากการทดสอบการรับรู้เสียงพูดภาษาจีนกลาง และเสียง AI สร้างด้วยแบบจำลองโคลนเสียงโอเพนซอร์ส แบบสำรวจของ Malwarebytesดำเนินการออนไลน์ตั้งแต่ 1 มีนาคมถึง 17 มีนาคม 2026 โดยที่ปรึกษาด้านการวิจัยอิสระ เป็นแบบสำรวจของผู้ให้บริการด้านความปลอดภัยเอง จึงควรถือเป็นบริบท ไม่ใช่การวัดการรับรู้
สรุป: หุบเขาแห่งความน่าขนลุกในเสียงสังเคราะห์ในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เสียงจริงและเสียงสังเคราะห์ที่จัดประเภทได้ถูกต้อง | 53.95% | Ivory และคณะ, Scientific Reports 2026 (อยู่ระหว่างตีพิมพ์) |
| ความแม่นยำเฉลี่ยของมนุษย์บนชุดข้อมูลดีปเฟกสามชุด (ผู้เข้าร่วม 1,212 คน) | 73% | Warren และคณะ, ACM CCS 2024 |
| ความแม่นยำเฉลี่ยบนชุดข้อมูลดีปเฟกที่ยากที่สุดเทียบกับง่ายที่สุด | 65% เทียบกับ 81% | Warren และคณะ, ACM CCS 2024 |
| การตรวจจับดีปเฟก: ทีละคลิป เทียบกับฟังคู่กับคลิปจริง | 70.35% เทียบกับ 85.59% | Mai และคณะ, PLOS ONE 2023 |
| เสียงโคลน AI ที่ถูกตัดสินว่ามีตัวตนเดียวกับผู้พูดจริง | ประมาณ 80% | Barrington, Cooper และ Farid, Scientific Reports 2025 |
| สัดส่วนที่ถูกจัดว่า ‘มนุษย์’: เสียงโคลน เทียบกับการบันทึกเสียงจริง เทียบกับเสียง AI ทั่วไป | 0.70 เทียบกับ 0.72 เทียบกับ 0.39 | Lavan และคณะ, PLOS One 2025 |
| การจับคู่ตัวตน: เสียงธรรมชาติ เทียบกับดีปเฟก | 86.98% เทียบกับ 68.94% | Roswandowitz และคณะ, Communications Biology 2024 |
| สหสัมพันธ์ระหว่างความเหมือนมนุษย์กับความน่าฟังสำหรับเสียง TTS | r(203) = 0.48, p < 0.001 | Ross, Corley และ Lai, Speech Prosody 2024 |
| ความเหมือนมนุษย์: เสียง TTS ที่เหมือนมนุษย์มากที่สุด เทียบกับการบันทึกเสียงมนุษย์ | 46.1 เทียบกับ 71.5 | Ross, Corley และ Lai, Speech Prosody 2024 |
| ความน่าขนลุก: เสียง TTS ที่เหมือนมนุษย์มากที่สุด เทียบกับการบันทึกเสียงมนุษย์ | 40.4 เทียบกับ 28.9 | Ross, Corley และ Lai, Speech Prosody 2024 |
| ความเหมือนมนุษย์ที่ทำนายความน่าขนลุกสำหรับเสียงสังเคราะห์สองเสียง | β = −0.64 และ β = −0.66 | Kühne, Fischer และ Zhou, Frontiers in Neurorobotics 2020 |
| การจับคู่ใบหน้ากับเสียงที่ไม่สอดคล้องกัน เทียบกับที่สอดคล้องกัน | t(47) = 6.042, p < 0.001 | Mitchell และคณะ, i-Perception 2011 |
| ความน่าขนลุก: ตัวมนุษย์ที่มีเสียงสังเคราะห์ เทียบกับตัวมนุษย์ที่มีเสียงมนุษย์ | M = 0.19 เทียบกับ M = −1.10 | Mitchell และคณะ, i-Perception 2011 |
| ความน่าชอบของตัวละครเสมือนจริง: เสียงมนุษย์ เทียบกับเสียงหุ่นยนต์ | 3.75 เทียบกับ 2.99 | Choi และคณะ, IEEE ISMAR-Adjunct 2023 |
| ความอบอุ่นของความประทับใจแรก: การตั้งค่าแบบเด็ก เทียบกับแบบผู้ใหญ่ เทียบกับแบบหุ่นยนต์ | 3.37 เทียบกับ 2.60 เทียบกับ 2.06 | Huang และ Moore, Frontiers in Robotics and AI 2024 |
| ความน่าสนใจโดยรวม: เสียงบรรยาย AI เทียบกับเสียงบรรยายมนุษย์ | 61% เทียบกับ 60% | Crowd React Media AI Voiceover Study 2026 |
| ผู้ใช้ที่วิจารณ์น้ำเสียงของตัวแทนสนทนาที่ไร้อารมณ์ | ประมาณ 68% | Cihodaru-Ștefanache และ Podina, Frontiers in Psychology 2025 |
| ผลของการฝึก 12 นาทีต่อความไวต่อเสียงพูด AI | F(1,29) = 3.918, p = 0.057 | Yang และคณะ, eNeuro 2026 |
ระเบียบวิธีและแหล่งที่มา
- Ivory, McGettigan, Nuttall และ Nightingale, “Human Detection of AI-Generated Faces and Voices is Not Domain-General”, Scientific Reports 2026, อยู่ระหว่างตีพิมพ์, ที่เก็บข้อมูลของ Lancaster University
- Lavan และคณะ, “Voice clones sound realistic but not (yet) hyperrealistic”, PLOS One 2025, PubMed Central
- Barrington, Cooper และ Farid, “People are poorly equipped to detect AI-powered voice clones”, Scientific Reports 2025, PubMed Central และ arXiv v2
- Mai, Bray, Davies และ Griffin, “Warning: Humans cannot reliably detect speech deepfakes”, PLOS ONE 2023, PLOS ONE
- Warren และคณะ, “Better Be Computer or I’m Dumb: A Large-Scale Evaluation of Humans as Audio Deepfake Detectors”, ACM CCS 2024, ไฟล์ PDF ของ University of Florida
- Roswandowitz และคณะ, “Cortical-striatal brain network distinguishes deepfake from real speaker identity”, Communications Biology 2024, PubMed Central
- Yang, Jiang, Bai, Ni และ Teng, “Short-Term Perceptual Training Modulates Neural Responses to Deepfake Speech but Does Not Improve Behavioral Discrimination”, eNeuro 2026, PubMed Central
- Ross, Corley และ Lai, “Is there an uncanny valley for speech? Investigating listeners’ evaluations of realistic TTS voices”, Speech Prosody 2024, ISCA Archive
- Kühne, Fischer และ Zhou, “The Human Takes It All: Humanlike Synthesized Voices Are Perceived as Less Eerie and More Likable”, Frontiers in Neurorobotics 2020, Frontiers
- Baird และคณะ, “The Perception and Analysis of the Likeability and Human Likeness of Synthesized Speech”, Interspeech 2018, ISCA Archive
- Diel และ Lewis, “Deviation from typical organic voices best explains a vocal uncanny valley”, Computers in Human Behavior Reports 2024, ScienceDirect
- Zhao, Chen และ Zhao, “Does the Uncanny Valley Effect Exist When Voice Assistants Have Minds and Human-Like Appearances?”, Human Factors and Ergonomics in Manufacturing and Service Industries 2026, Wiley ผ่าน DOI
- Mavromati, Erdinch และ Paterson, “The uncanny valley of familiarly unfamiliar voices”, ฉบับก่อนตีพิมพ์ PsyArXiv 2025, OSF
- Mitchell และคณะ, “A Mismatch in the Human Realism of Face and Voice Produces an Uncanny Valley”, i-Perception 2011, PubMed Central
- Choi, Koilias, Volonte, Kao และ Mousas, “Exploring the Appearance and Voice Mismatch of Virtual Characters”, IEEE ISMAR-Adjunct 2023, PDF
- Huang และ Moore, “Freedom comes at a cost?: An exploratory study on affordances’ impact on users’ perception of a social robot”, Frontiers in Robotics and AI 2024, Frontiers
- Alimardani, de Roode, Vaitonyte และ Louwerse, “Effect of a Virtual Agent’s Appearance and Voice on Uncanny Valley and Trust in Human-Agent Collaboration”, IVA 2024, ACM ผ่าน DOI
- Cihodaru-Ștefanache และ Podina, “The uncanny valley effect in embodied conversational agents: a critical systematic review”, Frontiers in Psychology 2025, Frontiers
- Crowd React Media (Harker Bos Group), AI Voiceover Study 2026, Crowd React Media และได้รับการนำเสนอโดย Radio Ink ด้วย
- Malwarebytes, AI Scams Report 2026 (แบบสำรวจของผู้ให้บริการกับผู้ใหญ่ 1,500 คน), Malwarebytes
- ข้อสังเกตเกี่ยวกับข้อมูล: การศึกษาใบหน้าและเสียงของ Lancaster อ้างอิงจากฉบับที่ได้รับการยอมรับในที่เก็บข้อมูลของมหาวิทยาลัย ตัวเลขจึงอาจเปลี่ยนเล็กน้อยในฉบับวารสารฉบับสุดท้าย การศึกษาเสียงโคลนของ UC Berkeley พิมพ์เปอร์เซ็นต์หลักเป็นรูปภาพในฉบับวารสาร ตัวเลขประมาณ 80% และประมาณ 60% จึงนำมาจากข้อความ arXiv v2 ซึ่งตรงกับบทคัดย่อที่เผยแพร่ ค่าพื้นฐานของ Queen Mary เปลี่ยนไปในแต่ละการทดลอง (ผู้ฟังจัดเสียงมนุษย์ว่า ‘มนุษย์’ ร้อยละ 81 ในการทดลองที่ 1a ร้อยละ 62 ในการทดลองที่ 1b และร้อยละ 72 ในการทดลองที่ 2) จึงควรเปรียบเทียบเสียงโคลนกับเสียงมนุษย์ภายในการทดลองเดียวกันเท่านั้น ไม่เปรียบเทียบข้ามการทดลอง ตัวเลข 73% สองค่าจากการศึกษาของ UCL (2023) และ University of Florida (2024) วัดงานและชุดข้อมูลที่ต่างกัน และไม่ใช่การทำซ้ำของกันและกัน การทดสอบแบบปกปิดทางวิทยุไม่พบความแตกต่างที่มีนัยสำคัญทางสถิติในความถี่ที่ระบุสองเสียงได้ และสัดส่วนการระบุที่แน่นอนปรากฏเฉพาะในแผนภูมิ ไม่มีการทดสอบที่เผยแพร่ในที่นี้ที่ไปถึงเสียง TTS ที่ถูกประเมินว่าเหมือนมนุษย์เต็มที่ ส่วนบนสุดของเส้นโค้งหุบเขาแห่งความน่าขนลุกด้านเสียงจึงยังไม่ได้รับการทดสอบ คะแนนความเป็นธรรมชาติอ้างอิง (MOS และ CMOS) ตั้งใจเว้นไว้ให้สรุป MOS ของเรา
อัปเดตล่าสุด: 8 พฤศจิกายน 2026 เราจะอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการปรับปรุงครั้งถัดไปจะเกิดขึ้นเมื่อฉบับสุดท้ายของการศึกษาการตรวจจับใบหน้าและเสียงของ Lancaster ได้รับการตีพิมพ์ใน Scientific Reports