สถิติหุบเขาแห่งความน่าขนลุกในเสียงสังเคราะห์ (2026): ข้อมูลกว่า 40 จุดเกี่ยวกับการตรวจจับ ความน่าขนลุก และใบหน้ากับเสียงที่ไม่สอดคล้องกัน

สถิติหุบเขาแห่งความน่าขนลุกของเสียงสังเคราะห์ปี 2026: ผู้ฟังแยกเสียงจริงออกจากเสียง AI ได้ถูกต้องเพียง 53.95% พร้อมข้อมูลความน่าขนลุกและเสียงโคลน

เมื่อให้คน 172 คนแยกเสียงจริงออกจากเสียงที่ AI สร้างขึ้น พวกเขาตอบถูกเพียง 53.95% ซึ่งแทบไม่ต่างจากการโยนเหรียญ ขณะที่ผู้เข้าร่วมกลุ่มเดียวกันจัดประเภทใบหน้าได้ถูกต้อง 65.48% (Ivory และคณะ, Scientific Reports 2026, อยู่ระหว่างตีพิมพ์) เสียงโคลนของบุคคลจริงหลอกผู้ฟังได้แม้ในเรื่องตัวตน ความแม่นยำในการจับคู่ลดจาก 86.98% สำหรับเสียงธรรมชาติเหลือ 68.94% สำหรับดีปเฟก (Roswandowitz และคณะ, Communications Biology 2024) จากผู้เข้าร่วม 1,212 คนและชุดข้อมูลดีปเฟกที่ใช้กันอย่างแพร่หลายสามชุด ความแม่นยำของมนุษย์เฉลี่ย 73% (Warren และคณะ, ACM CCS 2024) แต่หุบเขาแห่งความน่าขนลุกแบบคลาสสิก คือการที่ความรู้สึกสบายใจตกลงเมื่อสิ่งหนึ่งเกือบเหมือนมนุษย์แต่ยังไม่เหมือนเต็มที่ แทบไม่ปรากฏเลยกับเสียงพูดสังเคราะห์เพียงอย่างเดียว เรารวบรวมข้อมูลจาก PLOS One, Scientific Reports, Communications Biology, eNeuro, ISCA Archive, Frontiers, ACM CCS, i-Perception และแบบสำรวจของอุตสาหกรรมสองชิ้นในปี 2026 สำหรับเกณฑ์วัดจากการทดสอบการฟังเบื้องหลังเทคโนโลยีแปลงข้อความเป็นเสียงพูดยุคใหม่ ดูสถิติความเป็นธรรมชาติของเสียงพูดสังเคราะห์และ MOSของเรา และสำหรับข้อผิดพลาดด้านระดับเสียงและการเน้นเสียงที่ยังทำให้เสียงสังเคราะห์ถูกจับได้ ดูสถิติข้อผิดพลาดด้านน้ำเสียงของ TTS แบบนิวรัลของเรา

สรุปโดยย่อ

  • ผู้ฟังจัดประเภทเสียงจริงและเสียงสังเคราะห์ได้ถูกต้อง 53.95% เทียบกับ 65.48% สำหรับใบหน้า (Ivory และคณะ, Scientific Reports 2026)
  • ความมั่นใจไม่สอดคล้องกับความแม่นยำสำหรับเสียง: AUROC 0.48 โดย 0.5 หมายถึงไม่มีการหยั่งรู้ใด ๆ (Ivory และคณะ, Scientific Reports 2026)
  • เสียงโคลนถูกจัดว่าเป็นมนุษย์ที่ 0.70 การบันทึกเสียงจริงที่ 0.72 และเสียง AI ทั่วไปที่ 0.39 (Lavan และคณะ, PLOS One 2025)
  • ความแม่นยำเฉลี่ยของมนุษย์บนชุดข้อมูลดีปเฟกสามชุดอยู่ที่ 73% จากผู้เข้าร่วม 1,212 คน (Warren และคณะ, ACM CCS 2024)
  • การจับคู่ตัวตนลดจาก 86.98% สำหรับเสียงธรรมชาติเหลือ 68.94% สำหรับดีปเฟก (Roswandowitz และคณะ, Communications Biology 2024)
  • ยิ่งเสียง TTS เหมือนมนุษย์มาก ยิ่งถูกประเมินว่าน่าฟังมาก: r(203) = 0.48, p < 0.001 (Ross, Corley และ Lai, Speech Prosody 2024)
  • การจับคู่ใบหน้ากับเสียงที่ไม่สอดคล้องกันถูกประเมินว่าน่าขนลุกกว่าการจับคู่ที่สอดคล้องกัน t(47) = 6.042, p < 0.001 (Mitchell และคณะ, i-Perception 2011)
  • เสียงมนุษย์ยกความน่าชอบของตัวละครเสมือนจริงเป็น 3.75 เทียบกับ 2.99 สำหรับเสียงหุ่นยนต์ (Choi และคณะ, IEEE ISMAR-Adjunct 2023)
  • หลังรู้ว่าเสียงบรรยายที่ได้ยินเป็น AI ผู้ฟังวิทยุร้อยละ 25 รู้สึกดีขึ้นและร้อยละ 20 รู้สึกแย่ลง (Crowd React Media 2026)
  • การทำให้คุ้นเคยด้วยตัวอย่างเพิ่มการตรวจจับดีปเฟกเฉลี่ยเพียง 3.84% (Mai และคณะ, PLOS ONE 2023)
  • ผู้ใหญ่ร้อยละ 67 ในสหรัฐฯ สหราชอาณาจักร และภูมิภาค DACH กังวลว่าเสียงของตนจะถูกโคลน (Malwarebytes 2026, แบบสำรวจของผู้ให้บริการ)

1. การตรวจจับ: ผู้ฟังแยกเสียง AI ออกจากเสียงมนุษย์ได้บ่อยแค่ไหน

ประเด็นหลักไม่ใช่ว่าคนพลาด แต่คือความพลาดนั้นเฉพาะเจาะจงกับการได้ยิน ผู้เข้าร่วมกลุ่มเดียวกันที่ทำได้ดีกว่าระดับความบังเอิญอย่างสบายกับใบหน้า ได้คะแนน 53.95% กับเสียง (ช่วงความเชื่อมั่น 95% = [52.64, 55.27]) ในการศึกษาที่ลงทะเบียนล่วงหน้าของ Lancaster University ซึ่งทดสอบทั้งสองประสาทสัมผัสเคียงกัน (Ivory และคณะ, Scientific Reports, อยู่ระหว่างตีพิมพ์) การเก่งในการจับใบหน้าปลอมไม่ได้บอกอะไรเลยเกี่ยวกับการเก่งในการจับเสียงปลอม ผู้เขียนไม่พบความสามารถในการตรวจจับทั่วไปที่ข้ามประสาทสัมผัส

รูปแบบของงานเปลี่ยนตัวเลขได้มากกว่าทักษะของผู้ฟัง เมื่อนักวิจัยจาก UCL เปิดคลิปทีละคลิป ผู้ฟัง 529 คนตอบถูก 70.35% แต่เมื่อฟังคลิปจริงและคลิปดีปเฟกพร้อมกัน ก็จับของปลอมได้ใน 85.59% ของการทดลอง (Mai และคณะ, PLOS ONE 2023) ชีวิตจริงแทบไม่มีคลิปให้เปรียบเทียบ อายุของชุดข้อมูลก็สำคัญเช่นกัน ในการศึกษาผู้เข้าร่วม 1,212 คนของ University of Florida ความแม่นยำอยู่ระหว่าง 65% บนชุด Wavefake ถึง 81% บน FakeAVCeleb

ตัวชี้วัดค่าแหล่งที่มา
เสียงจริงและเสียงสังเคราะห์ที่จัดประเภทได้ถูกต้อง (ผู้เข้าร่วม 172 คน เสียงจริง 40 เสียงและเสียงสังเคราะห์ 40 เสียง)53.95% (ช่วงความเชื่อมั่น 95% = [52.64, 55.27])Ivory และคณะ, Scientific Reports 2026 (อยู่ระหว่างตีพิมพ์)
ใบหน้าจริงและใบหน้าที่ AI สร้างขึ้นที่ผู้เข้าร่วมกลุ่มเดียวกันจัดประเภทได้ถูกต้อง65.48% (ช่วงความเชื่อมั่น 95% = [63.75, 67.21])Ivory และคณะ, Scientific Reports 2026 (อยู่ระหว่างตีพิมพ์)
การจัดประเภทที่ถูกต้องเมื่อตัดสินทีละคลิป (n = 529 ภาษาอังกฤษและภาษาจีนกลาง)70.35%Mai และคณะ, PLOS ONE 2023
ดีปเฟกที่จับได้เมื่อฟังคู่กับคลิปจริง (งานสองคลิป)85.59% ของการทดลองMai และคณะ, PLOS ONE 2023
ความแม่นยำเฉลี่ยของมนุษย์บนชุดข้อมูลดีปเฟกสามชุด (ผู้เข้าร่วม 1,212 คน)73%Warren และคณะ, ACM CCS 2024
ความแม่นยำเฉลี่ยบนชุดข้อมูลที่ยากที่สุด (Wavefake) เทียบกับง่ายที่สุด (FakeAVCeleb)65% เทียบกับ 81%Warren และคณะ, ACM CCS 2024
เสียงโคลน AI ที่ระบุได้ถูกต้องว่าเป็น AI (กลุ่มตัวอย่าง Prolific 604 คนจากสองการศึกษา)ประมาณ 60%Barrington, Cooper และ Farid, Scientific Reports 2025
ความไวของผู้ฟัง (ดี-ไพรม์) ในการแยกเสียง AI ทั่วไปออกจากเสียงมนุษย์ เทียบกับการแยกเสียงโคลนออกจากเสียงมนุษย์ (n = 50)2.93 เทียบกับ 0.13Lavan และคณะ, PLOS One 2025

หมายเหตุบริบท: ดี-ไพรม์ (d’) คือคะแนนความไวจากทฤษฎีการตรวจจับสัญญาณ ซึ่งค่า 0 หมายความว่าผู้ฟังไม่สามารถแยกสองประเภทออกจากกันได้เลย ดีปเฟกในงานของ Mai และคณะมาจากอัลกอริทึมที่ค่อนข้างเก่า ตามที่ผู้เขียนระบุไว้ ข้อมูลล่าสุดเท่าที่มีสำหรับการเปรียบเทียบแบบหนึ่งคลิปกับสองคลิป: Mai และคณะ, PLOS ONE 2023

2. เสียงโคลน: เมื่อสำเนาถูกมองว่าเป็นตัวจริง

เสียง AI ทั่วไปยังฟังดูเหมือนผลิตภัณฑ์ แต่เสียงโคลนของบุคคลหนึ่ง ๆ ไม่ใช่ และตรงนี้เองที่การได้ยินของมนุษย์ยอมแพ้ นักวิจัยของ Queen Mary University of London สร้างเสียงโคลนจากการบันทึกเสียงประมาณ 4 นาทีต่อผู้พูดด้วยเครื่องมือโคลนเสียงเชิงพาณิชย์ และ ผู้ฟังจัดเสียงโคลนเหล่านั้นว่าเป็นมนุษย์ในอัตรา 0.70 เทียบกับ 0.72 สำหรับการบันทึกเสียงจริง (Lavan และคณะ, PLOS One 2025) คำตัดสินของผู้เขียนแม่นยำ เสียงโคลนฟังดูสมจริง แต่ยังไม่ถึงขั้น ‘สมจริงเกินจริง’ แบบที่ใบหน้า AI อาจดูจริงยิ่งกว่าใบหน้าจริง การติดตามว่าเสียงโคลนต้องการเสียงต้นแบบน้อยเพียงใดในตอนนี้อยู่ในสถิติเสียงอ้างอิงสำหรับการโคลนเสียงแบบซีโรช็อตของเรา

ตัวตนคือการทดสอบที่สอง และเสียงโคลนผ่านได้เกือบทุกครั้ง ในการศึกษาของ UC Berkeley ผู้เข้าร่วมตัดสินว่าเสียง AI มีตัวตนเดียวกับต้นฉบับจริงประมาณ 80% ของเวลา (Barrington, Cooper และ Farid, arXiv v2 ตีพิมพ์ในScientific Reports 2025) ในการศึกษาสแกนสมองของ University of Zurich ที่ใช้ประโยคภาษาเยอรมันสองคำ (สิ่งเร้าในการศึกษามี ‘Er fällt’ ซึ่งในภาษาเยอรมันแปลว่า ‘เขาล้ม’) การจับคู่ตัวตนลดจาก 86.98% สำหรับเสียงธรรมชาติเหลือ 68.94% สำหรับดีปเฟก (Roswandowitz และคณะ, Communications Biology 2024)

ตัวชี้วัดค่าแหล่งที่มา
สัดส่วนเสียงที่ถูกจัดว่า ‘มนุษย์’: เสียงโคลน เทียบกับการบันทึกเสียงมนุษย์จริง เทียบกับเสียง AI ทั่วไป (การทดลองที่ 2 n = 50 ผู้ใหญ่ชาวอังกฤษ)0.70 เทียบกับ 0.72 เทียบกับ 0.39Lavan และคณะ, PLOS One 2025
คะแนนความสมจริงเฉลี่ย: เสียง AI ทั่วไป เทียบกับเสียงโคลน เทียบกับการบันทึกเสียงมนุษย์จริง47.4 เทียบกับ 63.0 เทียบกับ 63.8Lavan และคณะ, PLOS One 2025
เสียงโคลน AI ที่ถูกตัดสินว่ามีตัวตนเดียวกับผู้พูดจริงประมาณ 80% ของเวลาBarrington, Cooper และ Farid, Scientific Reports 2025
สหสัมพันธ์ระหว่างความยาวคลิปกับความแม่นยำของการตัดสินความเป็นธรรมชาติSpearman ρ = 0.245Barrington, Cooper และ Farid, Scientific Reports 2025
ความแม่นยำในการจับคู่ตัวตน: คู่เสียงธรรมชาติ เทียบกับดีปเฟกที่จับคู่กับเสียงธรรมชาติ (n = 25)86.98% เทียบกับ 68.94%Roswandowitz และคณะ, Communications Biology 2024
การทดลองดีปเฟก: การพลาด เทียบกับสัญญาณเตือนผิดพลาด28.64% เทียบกับ 29.86%Roswandowitz และคณะ, Communications Biology 2024

หมายเหตุบริบท: ทีม Queen Mary ทำการทดลองสามครั้ง ครั้งละผู้เข้าร่วมชาวอังกฤษ 50 คน อายุ 18 ถึง 65 ปี และสรรหาผ่าน Prolific ในการศึกษาของ Zurich การพลาดหมายถึงดีปเฟกถูกยอมรับว่าเป็นผู้พูดจริง และสัญญาณเตือนผิดพลาดหมายถึงตัวตนที่ถูกต้องถูกปฏิเสธ อัตราที่เกือบเท่ากันแสดงว่าผู้ฟังเดาทั้งสองทิศทางแทนที่จะเอนเอียงไปทางเดียว

3. มีหุบเขาแห่งความน่าขนลุกสำหรับเสียงหรือไม่?

หุบเขาแห่งความน่าขนลุกด้านภาพทำนายว่าความสบายใจจะตกลงก่อนที่ใบหน้าเทียมจะกลายเป็นมนุษย์เต็มตัว สำหรับเสียงพูดสังเคราะห์ ข้อมูลส่วนใหญ่ชี้ไปอีกทาง ยิ่งใกล้มนุษย์ยิ่งดี ในการศึกษาของ Frontiers in Neurorobotics ผู้ใหญ่ 95 คนประเมินเสียงสังเคราะห์สองเสียง (IBM Watson และหุ่นยนต์ Sophia) กับเสียงมนุษย์หนึ่งเสียง และความเหมือนมนุษย์ที่สูงขึ้นทำนายความน่าขนลุกที่ต่ำลงสำหรับทั้งสองเสียงสังเคราะห์ ทีมจาก Edinburgh พบว่า ความเหมือนมนุษย์และความน่าฟังมีสหสัมพันธ์เชิงบวก r(203) = 0.48, p < 0.001 แต่ไม่มีเสียง TTS ใดไปถึงความเหมือนมนุษย์ 50% จึงไม่เคยทดสอบส่วนบนสุดของเส้นโค้ง ซึ่งเป็นจุดที่หุบเขาจะอยู่ (Ross, Corley และ Lai, Speech Prosody 2024)

เมื่อหุบเขาปรากฏขึ้น สาเหตุมาจากความเบี่ยงเบนมากกว่าความเป็นของเทียม Diel และ Lewis พบหุบเขาแห่งความน่าขนลุกด้านเสียงที่เกิดจากเสียงที่ผิดเพี้ยนและเสียงผิดปกติทางพยาธิวิทยา และสรุปว่า “เสียงสังเคราะห์หลุดพ้นจากหุบเขานี้ได้สำเร็จ” (Computers in Human Behavior Reports 2024) สำหรับใครก็ตามที่เลือกเสียงด้วยเครื่องมือสร้างเสียง AI นี่คือกฎที่ใช้ได้จริง การพูดที่ผิดปกติ ตึงเครียด หรือสะดุดมีความเสี่ยงมากกว่าการพูดที่เป็นเสียงสังเคราะห์อย่างตรงไปตรงมา

ตัวชี้วัดค่าแหล่งที่มา
คะแนนความเหมือนมนุษย์: เสียง TTS ที่เหมือนมนุษย์มากที่สุด (ช่วงระดับเสียงเกินจริง) เทียบกับการบันทึกเสียงมนุษย์ (ผู้ฟัง 205 คน)46.1 เทียบกับ 71.5Ross, Corley และ Lai, Speech Prosody 2024
คะแนนความน่าขนลุก: เสียง TTS เดียวกันเทียบกับการบันทึกเสียงมนุษย์40.4 เทียบกับ 28.9Ross, Corley และ Lai, Speech Prosody 2024
สหสัมพันธ์ระหว่างความเหมือนมนุษย์กับความน่าฟังr(203) = 0.48, p < 0.001Ross, Corley และ Lai, Speech Prosody 2024
ความเหมือนมนุษย์ที่ทำนายความน่าขนลุกสำหรับเสียงสังเคราะห์สองเสียง (ผู้ใหญ่ 95 คน)β = −0.64 และ β = −0.66, p < 0.001Kühne, Fischer และ Zhou, Frontiers in Neurorobotics 2020
จำนวนเสียงในการศึกษาความน่าชอบเทียบกับความเหมือนมนุษย์ (ผู้ฟัง 25 คน): เสียงผู้ชายภาษาเยอรมันจาก 5 แนวทางการสังเคราะห์บวกกลุ่มควบคุมที่เป็นมนุษย์13Baird และคณะ, Interspeech 2018
ผู้เข้าร่วมในสองการทดลองที่ระบุหุบเขาแห่งความน่าขนลุกด้านเสียงในเสียงที่เบี่ยงเบนn = 50 และ n = 35Diel และ Lewis, Computers in Human Behavior Reports 2024
ผู้เข้าร่วมในการศึกษาผู้ช่วยเสียงที่รูปลักษณ์เหมือนมนุษย์ทำให้ความน่าขนลุกเพิ่มขึ้น34Zhao, Chen และ Zhao, Human Factors and Ergonomics in Manufacturing 2026
จำนวนครั้งที่ได้ยินก่อนที่ความชอบเสียงมนุษย์ที่ไม่คุ้นเคยจะเพิ่มขึ้น (ประโยคที่พูด นักศึกษามหาวิทยาลัย 238 คน)8Mavromati, Erdinch และ Paterson, ฉบับก่อนตีพิมพ์ PsyArXiv 2025

หมายเหตุบริบท: Baird และคณะพบว่าความน่าชอบเพิ่มขึ้นตามความเหมือนมนุษย์ ซึ่งตรงข้ามกับหุบเขาแห่งความน่าขนลุกด้านภาพ (Interspeech 2018) ข้อมูลล่าสุดเท่าที่มีสำหรับการเปรียบเทียบข้ามรุ่นของการสังเคราะห์นี้ และการศึกษาของ Kühne และคณะมาจากปี 2020 ในการศึกษาผู้ช่วยเสียง ความน่าขนลุกมาจากรูปลักษณ์ที่เหมือนมนุษย์ ไม่ใช่จากเสียง ฉบับก่อนตีพิมพ์ของ Mavromati และเพื่อนร่วมงานทดสอบเสียงมนุษย์จริง เสียงที่ได้ยิน 2 หรือ 5 ครั้งถูกชอบน้อยกว่าเสียงที่ไม่เคยได้ยิน เป็นรูปตัว ‘U’ กลับหัวที่ผู้เขียนเรียกว่าหุบเขาแห่งความน่าขนลุกของเสียงที่ ‘คุ้นเคยแต่แปลกหน้า’

4. ใบหน้ากับเสียงที่ไม่สอดคล้องกัน: จุดที่หุบเขาปรากฏจริง

หากเสียงเพียงอย่างเดียวแทบไม่ตกลงไปในหุบเขา การผสมผสานก็ตกได้ การทดสอบรากฐานจับคู่ตัวหุ่นยนต์หรือตัวมนุษย์กับเสียงที่สอดคล้องหรือไม่สอดคล้องกัน และ การจับคู่ที่ไม่สอดคล้องกันสองแบบถูกประเมินว่าน่าขนลุกกว่าการจับคู่ที่สอดคล้องกันสองแบบ t(47) = 6.042, p < 0.001 (Mitchell และคณะ, i-Perception 2011) ตัวมนุษย์ที่มีเสียงสังเคราะห์น่าขนลุกที่สุดในสี่เงื่อนไข บทเรียนด้านการออกแบบที่ผู้เขียนสรุปไว้ยังคงใช้ได้ ทำให้ความสมจริงแบบมนุษย์ของใบหน้าเท่ากับของเสียง

งานใหม่กว่าแสดงว่าเสียงมักครอบงำความประทับใจ ในการศึกษาความจริงเสมือน เสียงมนุษย์เพิ่มความน่าชอบและความรู้สึกปลอดภัยของตัวละคร ขณะที่รูปลักษณ์เองไม่มีผลอย่างมีนัยสำคัญต่อความน่าชอบ (Choi และคณะ, IEEE ISMAR-Adjunct 2023) กับหัวหุ่นยนต์ Furhat การตั้งค่าใบหน้ากับเสียงเปลี่ยนความอบอุ่นของความประทับใจแรก แต่ผลนั้นไม่มีนัยสำคัญอีกต่อไปหลังผู้เข้าร่วมได้โต้ตอบกับหุ่นยนต์ (Huang และ Moore, Frontiers in Robotics and AI 2024)

ตัวชี้วัดค่าแหล่งที่มา
คะแนนความน่าขนลุก: ตัวมนุษย์ที่มีเสียงสังเคราะห์ เทียบกับตัวมนุษย์ที่มีเสียงมนุษย์ (ผู้เข้าร่วมที่เกิดในสหรัฐฯ 48 คน)M = 0.19 เทียบกับ M = −1.10Mitchell และคณะ, i-Perception 2011
คะแนนความน่าขนลุก: ตัวหุ่นยนต์ที่มีเสียงมนุษย์ เทียบกับตัวหุ่นยนต์ที่มีเสียงสังเคราะห์M = −0.10 เทียบกับ M = −0.60Mitchell และคณะ, i-Perception 2011
การจับคู่ใบหน้ากับเสียงที่ไม่สอดคล้องกัน เทียบกับที่สอดคล้องกัน (การทดสอบที แบบจับคู่)t(47) = 6.042, p < 0.001Mitchell และคณะ, i-Perception 2011
ความน่าชอบของตัวละครเสมือนจริง: เสียงมนุษย์ เทียบกับเสียงหุ่นยนต์ (ผู้เข้าร่วม 21 คน)3.75 เทียบกับ 2.99Choi และคณะ, IEEE ISMAR-Adjunct 2023
ความเหมือนมนุษย์ที่รับรู้ (การทำให้เป็นมนุษย์) ของตัวละครเสมือนจริง: เสียงมนุษย์ เทียบกับเสียงหุ่นยนต์3.18 เทียบกับ 2.58Choi และคณะ, IEEE ISMAR-Adjunct 2023
ความอบอุ่นของความประทับใจแรก: การตั้งค่าใบหน้าและเสียงแบบเด็ก เทียบกับแบบผู้ใหญ่ เทียบกับแบบหุ่นยนต์ (ผู้เข้าร่วม 52 คน 156 ตัวอย่าง)3.37 เทียบกับ 2.60 เทียบกับ 2.06Huang และ Moore, Frontiers in Robotics and AI 2024
ผลของการตั้งค่าใบหน้าและเสียงต่อความอบอุ่นก่อนการโต้ตอบF(2,147) = 16.75, p < 0.001Huang และ Moore, Frontiers in Robotics and AI 2024

หมายเหตุบริบท: ในการศึกษา Furhat ผู้เข้าร่วมบางคนอธิบายการตั้งค่าแบบเด็กว่าไม่สอดคล้องกัน (‘เสียงที่เหมือนเด็กมากกว่าแต่รูปลักษณ์ที่เหมือนเด็กน้อยกว่า’) การทดลองตัวแทนเสมือนจริงแบบ 2x2 โดยAlimardani และคณะ (IVA 2024)พบว่าความไม่สอดคล้องกันของเสียงกับรูปลักษณ์เปลี่ยนการรับรู้การทำให้เป็นมนุษย์ แต่ไม่ได้เปลี่ยนความถี่ที่ผู้คนทำตามคำแนะนำของตัวแทน การศึกษาของ Mitchell และคณะมาจากปี 2011 และเป็นข้อมูลล่าสุดเท่าที่มีสำหรับการออกแบบใบหน้ากับเสียงแบบนี้โดยตรง

5. ลักษณะทางสังคมและผลของการเปิดเผย

ผู้ฟังไม่ได้ตัดสินเพียงว่าเสียงนั้นจริงหรือไม่ แต่ยังอ่านบุคลิกจากเสียงนั้น และเสียงสังเคราะห์ถูกอ่านต่างออกไป ในการทดลองด้านลักษณะของ Queen Mary เสียง AI ทั่วไปถูกประเมินว่ามีอำนาจเหนือกว่าและน่าเชื่อถือกว่าเสียงมนุษย์เล็กน้อย ทีม Zurich พบตรงข้ามสำหรับดีปเฟกของตน ซึ่งผู้เข้าร่วมประเมินว่า “เป็นธรรมชาติ น่าชอบ และน่าเชื่อถือน้อยกว่าเสียงธรรมชาติอย่างมีนัยสำคัญ” (Roswandowitz และคณะ, Communications Biology 2024) คุณภาพของสิ่งเร้าเป็นตัวกำหนดว่าลักษณะเหล่านั้นจะไปทางใด

ในการทดสอบแบบปกปิดที่ใกล้เคียงสื่อจริงมากขึ้น คุณภาพไม่ใช่ปัญหาอีกต่อไปและการเปิดเผยเข้ามามีบทบาทแทน หลังการเปิดเผย ผู้ฟังที่ได้ยินเสียงบรรยายของมนุษย์ร้อยละ 48 รู้สึกดีขึ้น เทียบกับร้อยละ 25 ของผู้ที่ได้ยินเสียง AI (Crowd React Media AI Voiceover Study 2026) ก่อนที่ใครจะได้รับการบอกกล่าวใด ๆ สองเสียงนี้ได้คะแนนเกือบเท่ากัน การพูดแบบราบเรียบเป็นจุดอ่อนอีกประการ ผู้ใช้ประมาณ 68% ในเงื่อนไขไร้อารมณ์วิจารณ์น้ำเสียงของตัวแทนสนทนา (Cihodaru-Ștefanache และ Podina, Frontiers in Psychology 2025)

ตัวชี้วัดค่าแหล่งที่มา
คะแนนความมีอำนาจเหนือ: เสียง AI ทั่วไป เทียบกับเสียงมนุษย์ (n = 50)58.1 เทียบกับ 40.4 (p < 0.001)Lavan และคณะ, PLOS One 2025
คะแนนความน่าเชื่อถือ: เสียง AI ทั่วไป เทียบกับเสียงมนุษย์57.9 เทียบกับ 53.8 (p = 0.002)Lavan และคณะ, PLOS One 2025
ความน่าสนใจโดยรวมของคลิปแรก: เสียงบรรยาย AI เทียบกับเสียงบรรยายมนุษย์ (ผู้ฟังวิทยุสหรัฐฯ 1,326 คน อายุ 18 ถึง 45 ปี)61% เทียบกับ 60%Crowd React Media AI Voiceover Study 2026
เสียงบรรยายที่ถูกประเมินว่า ‘ตลก’: เสียงมนุษย์ เทียบกับเสียง AI (ช่องว่างเดียวที่มีนัยสำคัญ)33% เทียบกับ 26%Crowd React Media AI Voiceover Study 2026
หลังการเปิดเผย ผู้ฟังเสียง AI: รู้สึกดีขึ้น เทียบกับรู้สึกแย่ลง25% เทียบกับ 20%Crowd React Media AI Voiceover Study 2026
หลังการเปิดเผย ผู้ฟังเสียงมนุษย์: รู้สึกดีขึ้น เทียบกับรู้สึกแย่ลง48% เทียบกับ 4%Crowd React Media AI Voiceover Study 2026
ผู้ใช้ในเงื่อนไขไร้อารมณ์ที่วิจารณ์น้ำเสียงของตัวแทนสนทนาประมาณ 68%Cihodaru-Ștefanache และ Podina, Frontiers in Psychology 2025

หมายเหตุบริบท: การทบทวนใน Frontiers in Psychology คัดกรองจนเหลือ 29 การศึกษาเกี่ยวกับตัวแทนสนทนาที่มีร่างกาย (ตัวละครแอนิเมชันบนหน้าจอที่พูดคุยกับผู้ใช้) และประเมินว่าส่วนใหญ่มีคุณภาพเชิงระเบียบวิธีอ่อนหรือปานกลาง การทดสอบทางวิทยุดำเนินการโดยฝ่ายวิจัยตลาดของ Harker Bos Group และตรวจสอบนัยสำคัญด้วยการทดสอบ z สองสัดส่วนที่ความเชื่อมั่น 95% ผู้ฟังไม่ได้รับแจ้งว่าได้ยินเสียงใดจนกว่าจะให้คะแนนเสร็จ

6. การฝึก ความมั่นใจ และสมองที่รับฟัง

การฝึกระยะสั้นแทบไม่ช่วย และผู้ฟังบอกไม่ได้ว่าตนเองผิดเมื่อใด สำหรับเสียง การหยั่งรู้เชิงอภิปัญญาที่วัดเป็น AUROC อยู่ที่ 0.48 ต่ำกว่า 0.5 เล็กน้อย ซึ่งหมายความว่าความมั่นใจไม่มีข้อมูลใด ๆ เกี่ยวกับความแม่นยำ เทียบกับ 0.59 สำหรับใบหน้าในการศึกษาของ Lancaster เดียวกัน (ดูส่วนที่ 1) การทำให้คุ้นเคยกับตัวอย่างดีปเฟกแทบไม่ขยับความแม่นยำ (ดูตาราง) เมื่อผู้ฟังไม่แน่ใจ ทีม University of Florida พบว่าพวกเขาเอนเอียงไปเชื่อว่าเสียงนั้นเป็นมนุษย์ (Warren และคณะ, ACM CCS 2024) ซึ่งเป็นอคติที่การฉ้อโกงด้วยการโคลนเสียงอาศัยพอดี ดูสถิติการฉ้อโกงครอบครัวด้วยการโคลนเสียงของเรา

อย่างไรก็ตาม สมองบันทึกได้มากกว่าที่ผู้ฟังรายงาน หลังการฝึก 12 นาที เจ้าของภาษาจีนกลาง 30 คนแสดงความแตกต่างของสัญญาณประสาทระหว่างเสียงพูดมนุษย์กับเสียงพูด AI ที่ประมาณ 55, 210 และ 455 มิลลิวินาที แต่การแยกแยะเชิงพฤติกรรมของพวกเขาไม่ดีขึ้นอย่างมีนัยสำคัญ (Yang และคณะ, eNeuro 2026) ในการศึกษา fMRI ของ Zurich เปลือกสมองส่วนการได้ยินติดตามความแตกต่างทางเสียงระหว่างเสียงดีปเฟกกับเสียงธรรมชาติ ขณะที่นิวเคลียสแอคคัมเบนส์ ซึ่งเป็นส่วนหนึ่งของระบบรางวัล ทำงานน้อยลงเมื่อเปรียบเทียบดีปเฟกกับเสียงธรรมชาติ (Roswandowitz และคณะ, Communications Biology 2024)

ตัวชี้วัดค่าแหล่งที่มา
การหยั่งรู้เชิงอภิปัญญา (AUROC) สำหรับเสียงเทียบกับใบหน้า โดย 0.5 หมายถึงไม่มีการหยั่งรู้0.48 เทียบกับ 0.59Ivory และคณะ, Scientific Reports 2026 (อยู่ระหว่างตีพิมพ์)
การตรวจจับที่เพิ่มขึ้นจากการทำให้คุ้นเคยด้วยตัวอย่างดีปเฟกเฉลี่ย 3.84%Mai และคณะ, PLOS ONE 2023
ความไว (ดี-ไพรม์) ต่อเสียงพูดมนุษย์ก่อนเทียบกับหลังการฝึก 12 นาที (ผู้เข้าร่วม 30 คน)0.383 เทียบกับ 0.536Yang และคณะ, eNeuro 2026
ความไว (ดี-ไพรม์) ต่อเสียงโคลน AI ที่ปรับแต่งละเอียดก่อนเทียบกับหลังการฝึกเดียวกัน0.266 เทียบกับ 0.341Yang และคณะ, eNeuro 2026
ผลหลักของการฝึกต่อความไวF(1,29) = 3.918, p = 0.057Yang และคณะ, eNeuro 2026
เวลาแฝงของการแยกแยะทางประสาทระหว่างเสียงพูดมนุษย์กับเสียงพูด AI หลังการฝึกประมาณ 55 ms, 210 ms และ 455 msYang และคณะ, eNeuro 2026
ผู้ใหญ่ที่กังวลว่าเสียงของตนจะถูกโคลน (ผู้ใหญ่ 1,500 คนในสหรัฐฯ สหราชอาณาจักร ออสเตรีย เยอรมนี และสวิตเซอร์แลนด์)67%Malwarebytes AI Scams Report 2026 (แบบสำรวจของผู้ให้บริการ)
ผู้ใหญ่ที่ได้รับสายด้วยเสียงโคลนจากคนที่รู้จักใน 12 เดือนที่ผ่านมา16%Malwarebytes AI Scams Report 2026 (แบบสำรวจของผู้ให้บริการ)

หมายเหตุบริบท: AUROC (พื้นที่ใต้เส้นโค้งลักษณะเฉพาะการทำงานของตัวรับ) ในที่นี้วัดว่าความมั่นใจของผู้ฟังสูงกว่าในคำตอบที่ถูกเทียบกับคำตอบที่ผิดหรือไม่ ประโยคใน eNeuro มาจากการทดสอบการรับรู้เสียงพูดภาษาจีนกลาง และเสียง AI สร้างด้วยแบบจำลองโคลนเสียงโอเพนซอร์ส แบบสำรวจของ Malwarebytesดำเนินการออนไลน์ตั้งแต่ 1 มีนาคมถึง 17 มีนาคม 2026 โดยที่ปรึกษาด้านการวิจัยอิสระ เป็นแบบสำรวจของผู้ให้บริการด้านความปลอดภัยเอง จึงควรถือเป็นบริบท ไม่ใช่การวัดการรับรู้

สรุป: หุบเขาแห่งความน่าขนลุกในเสียงสังเคราะห์ในรูปแบบตัวเลข

ตัวชี้วัดค่าแหล่งที่มา
เสียงจริงและเสียงสังเคราะห์ที่จัดประเภทได้ถูกต้อง53.95%Ivory และคณะ, Scientific Reports 2026 (อยู่ระหว่างตีพิมพ์)
ความแม่นยำเฉลี่ยของมนุษย์บนชุดข้อมูลดีปเฟกสามชุด (ผู้เข้าร่วม 1,212 คน)73%Warren และคณะ, ACM CCS 2024
ความแม่นยำเฉลี่ยบนชุดข้อมูลดีปเฟกที่ยากที่สุดเทียบกับง่ายที่สุด65% เทียบกับ 81%Warren และคณะ, ACM CCS 2024
การตรวจจับดีปเฟก: ทีละคลิป เทียบกับฟังคู่กับคลิปจริง70.35% เทียบกับ 85.59%Mai และคณะ, PLOS ONE 2023
เสียงโคลน AI ที่ถูกตัดสินว่ามีตัวตนเดียวกับผู้พูดจริงประมาณ 80%Barrington, Cooper และ Farid, Scientific Reports 2025
สัดส่วนที่ถูกจัดว่า ‘มนุษย์’: เสียงโคลน เทียบกับการบันทึกเสียงจริง เทียบกับเสียง AI ทั่วไป0.70 เทียบกับ 0.72 เทียบกับ 0.39Lavan และคณะ, PLOS One 2025
การจับคู่ตัวตน: เสียงธรรมชาติ เทียบกับดีปเฟก86.98% เทียบกับ 68.94%Roswandowitz และคณะ, Communications Biology 2024
สหสัมพันธ์ระหว่างความเหมือนมนุษย์กับความน่าฟังสำหรับเสียง TTSr(203) = 0.48, p < 0.001Ross, Corley และ Lai, Speech Prosody 2024
ความเหมือนมนุษย์: เสียง TTS ที่เหมือนมนุษย์มากที่สุด เทียบกับการบันทึกเสียงมนุษย์46.1 เทียบกับ 71.5Ross, Corley และ Lai, Speech Prosody 2024
ความน่าขนลุก: เสียง TTS ที่เหมือนมนุษย์มากที่สุด เทียบกับการบันทึกเสียงมนุษย์40.4 เทียบกับ 28.9Ross, Corley และ Lai, Speech Prosody 2024
ความเหมือนมนุษย์ที่ทำนายความน่าขนลุกสำหรับเสียงสังเคราะห์สองเสียงβ = −0.64 และ β = −0.66Kühne, Fischer และ Zhou, Frontiers in Neurorobotics 2020
การจับคู่ใบหน้ากับเสียงที่ไม่สอดคล้องกัน เทียบกับที่สอดคล้องกันt(47) = 6.042, p < 0.001Mitchell และคณะ, i-Perception 2011
ความน่าขนลุก: ตัวมนุษย์ที่มีเสียงสังเคราะห์ เทียบกับตัวมนุษย์ที่มีเสียงมนุษย์M = 0.19 เทียบกับ M = −1.10Mitchell และคณะ, i-Perception 2011
ความน่าชอบของตัวละครเสมือนจริง: เสียงมนุษย์ เทียบกับเสียงหุ่นยนต์3.75 เทียบกับ 2.99Choi และคณะ, IEEE ISMAR-Adjunct 2023
ความอบอุ่นของความประทับใจแรก: การตั้งค่าแบบเด็ก เทียบกับแบบผู้ใหญ่ เทียบกับแบบหุ่นยนต์3.37 เทียบกับ 2.60 เทียบกับ 2.06Huang และ Moore, Frontiers in Robotics and AI 2024
ความน่าสนใจโดยรวม: เสียงบรรยาย AI เทียบกับเสียงบรรยายมนุษย์61% เทียบกับ 60%Crowd React Media AI Voiceover Study 2026
ผู้ใช้ที่วิจารณ์น้ำเสียงของตัวแทนสนทนาที่ไร้อารมณ์ประมาณ 68%Cihodaru-Ștefanache และ Podina, Frontiers in Psychology 2025
ผลของการฝึก 12 นาทีต่อความไวต่อเสียงพูด AIF(1,29) = 3.918, p = 0.057Yang และคณะ, eNeuro 2026

ระเบียบวิธีและแหล่งที่มา

  • Ivory, McGettigan, Nuttall และ Nightingale, “Human Detection of AI-Generated Faces and Voices is Not Domain-General”, Scientific Reports 2026, อยู่ระหว่างตีพิมพ์, ที่เก็บข้อมูลของ Lancaster University
  • Lavan และคณะ, “Voice clones sound realistic but not (yet) hyperrealistic”, PLOS One 2025, PubMed Central
  • Barrington, Cooper และ Farid, “People are poorly equipped to detect AI-powered voice clones”, Scientific Reports 2025, PubMed Central และ arXiv v2
  • Mai, Bray, Davies และ Griffin, “Warning: Humans cannot reliably detect speech deepfakes”, PLOS ONE 2023, PLOS ONE
  • Warren และคณะ, “Better Be Computer or I’m Dumb: A Large-Scale Evaluation of Humans as Audio Deepfake Detectors”, ACM CCS 2024, ไฟล์ PDF ของ University of Florida
  • Roswandowitz และคณะ, “Cortical-striatal brain network distinguishes deepfake from real speaker identity”, Communications Biology 2024, PubMed Central
  • Yang, Jiang, Bai, Ni และ Teng, “Short-Term Perceptual Training Modulates Neural Responses to Deepfake Speech but Does Not Improve Behavioral Discrimination”, eNeuro 2026, PubMed Central
  • Ross, Corley และ Lai, “Is there an uncanny valley for speech? Investigating listeners’ evaluations of realistic TTS voices”, Speech Prosody 2024, ISCA Archive
  • Kühne, Fischer และ Zhou, “The Human Takes It All: Humanlike Synthesized Voices Are Perceived as Less Eerie and More Likable”, Frontiers in Neurorobotics 2020, Frontiers
  • Baird และคณะ, “The Perception and Analysis of the Likeability and Human Likeness of Synthesized Speech”, Interspeech 2018, ISCA Archive
  • Diel และ Lewis, “Deviation from typical organic voices best explains a vocal uncanny valley”, Computers in Human Behavior Reports 2024, ScienceDirect
  • Zhao, Chen และ Zhao, “Does the Uncanny Valley Effect Exist When Voice Assistants Have Minds and Human-Like Appearances?”, Human Factors and Ergonomics in Manufacturing and Service Industries 2026, Wiley ผ่าน DOI
  • Mavromati, Erdinch และ Paterson, “The uncanny valley of familiarly unfamiliar voices”, ฉบับก่อนตีพิมพ์ PsyArXiv 2025, OSF
  • Mitchell และคณะ, “A Mismatch in the Human Realism of Face and Voice Produces an Uncanny Valley”, i-Perception 2011, PubMed Central
  • Choi, Koilias, Volonte, Kao และ Mousas, “Exploring the Appearance and Voice Mismatch of Virtual Characters”, IEEE ISMAR-Adjunct 2023, PDF
  • Huang และ Moore, “Freedom comes at a cost?: An exploratory study on affordances’ impact on users’ perception of a social robot”, Frontiers in Robotics and AI 2024, Frontiers
  • Alimardani, de Roode, Vaitonyte และ Louwerse, “Effect of a Virtual Agent’s Appearance and Voice on Uncanny Valley and Trust in Human-Agent Collaboration”, IVA 2024, ACM ผ่าน DOI
  • Cihodaru-Ștefanache และ Podina, “The uncanny valley effect in embodied conversational agents: a critical systematic review”, Frontiers in Psychology 2025, Frontiers
  • Crowd React Media (Harker Bos Group), AI Voiceover Study 2026, Crowd React Media และได้รับการนำเสนอโดย Radio Ink ด้วย
  • Malwarebytes, AI Scams Report 2026 (แบบสำรวจของผู้ให้บริการกับผู้ใหญ่ 1,500 คน), Malwarebytes
  • ข้อสังเกตเกี่ยวกับข้อมูล: การศึกษาใบหน้าและเสียงของ Lancaster อ้างอิงจากฉบับที่ได้รับการยอมรับในที่เก็บข้อมูลของมหาวิทยาลัย ตัวเลขจึงอาจเปลี่ยนเล็กน้อยในฉบับวารสารฉบับสุดท้าย การศึกษาเสียงโคลนของ UC Berkeley พิมพ์เปอร์เซ็นต์หลักเป็นรูปภาพในฉบับวารสาร ตัวเลขประมาณ 80% และประมาณ 60% จึงนำมาจากข้อความ arXiv v2 ซึ่งตรงกับบทคัดย่อที่เผยแพร่ ค่าพื้นฐานของ Queen Mary เปลี่ยนไปในแต่ละการทดลอง (ผู้ฟังจัดเสียงมนุษย์ว่า ‘มนุษย์’ ร้อยละ 81 ในการทดลองที่ 1a ร้อยละ 62 ในการทดลองที่ 1b และร้อยละ 72 ในการทดลองที่ 2) จึงควรเปรียบเทียบเสียงโคลนกับเสียงมนุษย์ภายในการทดลองเดียวกันเท่านั้น ไม่เปรียบเทียบข้ามการทดลอง ตัวเลข 73% สองค่าจากการศึกษาของ UCL (2023) และ University of Florida (2024) วัดงานและชุดข้อมูลที่ต่างกัน และไม่ใช่การทำซ้ำของกันและกัน การทดสอบแบบปกปิดทางวิทยุไม่พบความแตกต่างที่มีนัยสำคัญทางสถิติในความถี่ที่ระบุสองเสียงได้ และสัดส่วนการระบุที่แน่นอนปรากฏเฉพาะในแผนภูมิ ไม่มีการทดสอบที่เผยแพร่ในที่นี้ที่ไปถึงเสียง TTS ที่ถูกประเมินว่าเหมือนมนุษย์เต็มที่ ส่วนบนสุดของเส้นโค้งหุบเขาแห่งความน่าขนลุกด้านเสียงจึงยังไม่ได้รับการทดสอบ คะแนนความเป็นธรรมชาติอ้างอิง (MOS และ CMOS) ตั้งใจเว้นไว้ให้สรุป MOS ของเรา

อัปเดตล่าสุด: 8 พฤศจิกายน 2026 เราจะอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการปรับปรุงครั้งถัดไปจะเกิดขึ้นเมื่อฉบับสุดท้ายของการศึกษาการตรวจจับใบหน้าและเสียงของ Lancaster ได้รับการตีพิมพ์ใน Scientific Reports

ลอง VoxBooster — ทดลองใช้ฟรี 3 วัน

โคลนเสียงเรียลไทม์ ซาวด์บอร์ด และเอฟเฟกต์ — ทุกที่ที่คุณคุย

  • ไม่ต้องใช้บัตรเครดิต
  • ความหน่วง ~30ms
  • Discord · Teams · OBS
ลองฟรี 3 วัน