เสียงพูดสามวินาทีจากคนแปลกหน้าเป็นเงื่อนไขการทดสอบมาตรฐานของงานวิจัยการโคลนเสียงแบบซีโรช็อต ซึ่งเป็นรูปแบบการทดสอบเบื้องหลังทั้ง VALL-E และ Voicebox ในการทดสอบนี้ Voicebox ยกความคล้ายคลึงของผู้พูดจาก 0.580 ของ VALL-E ขึ้นเป็น 0.681 บน LibriSpeech และต่อมา NaturalSpeech 3 รายงานค่า 0.67 เทียบกับ 0.68 ของเสียงบันทึกจริงจากการทดสอบของตนเองบนชุดข้อมูลเดียวกัน ผู้ฟังไม่ใช่ด่านป้องกันที่พึ่งพาได้มากนัก ในการศึกษาของ Scientific Reports ปี 2025 ผู้คนตัดสินว่าเสียงโคลน AI เป็นผู้พูดตัวจริงราว 80% ของครั้ง สำหรับภาพรวมด้านการค้าและตลาด ดูสถิติการโคลนเสียงฉบับกว้างของเรา สรุปฉบับนี้มุ่งเน้นเพียงคำถามเดียวคือ การโคลนเสียงต้องใช้เสียงอ้างอิงมากเท่าใด และแต่ละวินาทีที่เพิ่มเข้ามาให้ผลอะไร เรารวบรวมข้อมูลจาก Microsoft Research, Meta, ByteDance, Barcelona Supercomputing Center, คณะกรรมาธิการการค้าแห่งสหพันธรัฐสหรัฐฯ, Consumer Reports, McAfee, Starling Bank รวมถึงงานวิจัยที่ผ่านการพิจารณาโดยผู้ทรงคุณวุฒิและงานวิจัยบน arXiv จาก ICML, NeurIPS, ICLR และ Scientific Reports
สรุปโดยย่อ
- Voicebox ทดสอบด้วยเสียงพรอมต์ 3.0 วินาที และทำความคล้ายคลึงของผู้พูดเท่ากับ VALL-E โดยใช้เสียงนำเข้าราวสองในสาม (Meta, งานวิจัย Voicebox, NeurIPS 2023)
- บน VCTK ความคล้ายคลึงของ VALL-E 2 เพิ่มจาก 0.447 ที่ 3 วินาที เป็น 0.558 ที่ 10 วินาที ขณะที่อัตราคำผิดพลาดเพิ่มจาก 0.9% เป็น 3.3% (Microsoft Research, งานวิจัย VALL-E 2 ปี 2024)
- การลดพรอมต์เฉลี่ยจาก 7.7 เหลือ 5.5 วินาที ทำให้ความคล้ายคลึงของ F5-TTS ตกจาก 0.35 เป็น 0.24 บนเสียงพูดในสภาพแวดล้อมจริง (Barcelona Supercomputing Center, ผลงานที่ส่งเข้า WildSpoof ปี 2026)
- XTTS-v2 โคลนเสียงได้ด้วยความเที่ยงตรงสูงจากเสียงอ้างอิง 6 ถึง 10 วินาที และผลตอบแทนลดลงเมื่อเกิน 20 วินาที (Zhu, วิทยานิพนธ์ University of Groningen ปี 2025)
- โมเดลซีโรช็อตที่ใช้พรอมต์ 300 วินาทีได้ความคล้ายคลึง 0.932 เทียบกับ 0.934 ของโมเดลฐานเปรียบเทียบที่ผ่านการปรับจูนบนเสียง 300 วินาที (Jiang และคณะ, Mega-TTS 2, ICLR 2024)
- การปรับจูนบนเสียงพูดภาษาโปรตุเกส 20 วินาที ยกคะแนนความคล้ายคลึงจากการประเมินของมนุษย์จาก 2.77 เป็น 4.43 (Casanova และคณะ, YourTTS, ICML 2022)
- ผู้ฟังตัดสินว่าเสียง AI เป็นบุคคลเดียวกับผู้พูดตัวจริงราว 80% ของครั้ง (Barrington, Cooper และ Farid, Scientific Reports ปี 2025)
- นักวิจัยของ McAfee รายงานความตรงกันของเสียงโดยประมาณ 85% จากเสียงสามถึงสี่วินาที ซึ่งเป็นการวัดของผู้ให้บริการเอง (McAfee, Beware the Artificial Impostor ปี 2023)
- ผู้ใหญ่ในสหราชอาณาจักร 28% ระบุว่าตนเคยตกเป็นเป้าของการหลอกลวงด้วยการโคลนเสียง AI ในปีที่ผ่านมา (การสำรวจของ Starling Bank และ Mortar Research ปี 2024)
- ผลิตภัณฑ์โคลนเสียงสี่จากหกรายการไม่ได้ดำเนินการขั้นพื้นฐานเพื่อป้องกันการโคลนเสียงโดยไม่ได้รับอนุญาต (Consumer Reports, การประเมินการโคลนเสียง ปี 2025)
1. การทดสอบ 3 วินาที: ระบบซีโรช็อตได้รับเสียงมากเท่าใด
“ซีโรช็อต (Zero-Shot)” หมายความว่าระบบไม่เคยถูกฝึกกับผู้พูดเป้าหมายมาก่อน โดยระบบจะฟังคลิปอ้างอิงสั้น ๆ ที่เรียกว่า “พรอมต์” ในขั้นตอนการสร้างเสียง แล้วเลียนแบบทันที VALL-E และ Voicebox ต่างได้รับการประเมินด้วยพรอมต์เพียง 3 วินาที และการเลือกนี้บอกถึงความทะเยอทะยานมากกว่าข้อจำกัด งานวิจัยเหล่านี้ไม่ได้ถามว่าเสียงหนึ่งสามารถถูกคัดลอกจากเสียงไม่กี่วินาทีได้หรือไม่ แต่แข่งขันกันว่าคัดลอกได้ดีเพียงใด
ข้อกำหนดของผลิตภัณฑ์ยาวกว่านั้น OpenAI อธิบายว่า Voice Engine ทำงานจาก “ตัวอย่างเสียงเดียวความยาว 15 วินาที” (บทความของ OpenAI เรื่องเสียงสังเคราะห์ ปี 2024) และเอกสารประกอบของ ElevenLabs แนะนำให้ใช้หนึ่งถึงสองนาที ค่าเหล่านี้เป็นการตั้งค่าของผลิตภัณฑ์ ไม่ใช่เกณฑ์ที่ผ่านการวัด
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความยาวพรอมต์และข้อมูลฝึกสอนของ VALL-E บนผู้พูด LibriSpeech ที่โมเดลไม่เคยเห็น | 3 วินาที; เสียงพูดภาษาอังกฤษ 60K ชั่วโมง ผู้พูดมากกว่า 7,000 คน | Microsoft Research, งานวิจัย VALL-E ปี 2023 |
| เสียงพรอมต์ที่ใช้ในการทดสอบซีโรช็อตภาษาอังกฤษของ Voicebox | 3.0 วินาที | Meta, งานวิจัย Voicebox (NeurIPS 2023) |
| ความยาวคลิปอ้างอิงที่ใช้ประเมิน XTTS | หนึ่งช่วงที่ยาวระหว่าง 3 ถึง 8 วินาที | Casanova และคณะ, งานวิจัย XTTS (INTERSPEECH 2024) |
| ช่วงความยาวประโยคอ้างอิงในชุดทดสอบของ Seed-TTS | 3 ถึง 20 วินาที | ByteDance, งานวิจัย Seed-TTS ปี 2024 |
| ตัวอย่างเสียงที่ OpenAI Voice Engine ใช้ทำงาน | ตัวอย่างเดียวความยาว 15 วินาที | OpenAI, บทความเรื่องเสียงสังเคราะห์ ปี 2024 |
| เสียงขั้นต่ำและที่แนะนำสำหรับการโคลนเสียงทันทีของ ElevenLabs | รวมอย่างน้อย 10 วินาที แนะนำ 1 ถึง 2 นาที (แนวทางของผู้ให้บริการเอง) | ElevenLabs, เอกสารประกอบ Instant Voice Cloning ปี 2026 |
หากคุณกำลังเปรียบเทียบซอฟต์แวร์โคลนเสียงบนเดสก์ท็อป หัวข้อที่ 2 และ 3 จะแสดงว่าวินาทีเหล่านั้นเปลี่ยนอะไรไปบ้าง
2. ความคล้ายคลึงของผู้พูดเปลี่ยนไปอย่างไรตั้งแต่ 3 ถึง 10 วินาที
ความคล้ายคลึงของผู้พูด (SIM หรือ SECS) คือความคล้ายคลึงแบบโคไซน์ระหว่าง “ลายนิ้วมือ” ของผู้พูดสองชุดที่คำนวณโดยโครงข่ายการรู้จำผู้พูด ค่ายิ่งสูงยิ่งใกล้กัน เสียงบันทึกจริงสองชุดของคนเดียวกันยังได้คะแนนต่ำกว่า 1.0 อยู่มาก ดังนั้นตัวเลขของเสียงพูดจริงด้านล่างจึงเป็นจุดอ้างอิงสำหรับการอ่านผล การเปลี่ยนจากพรอมต์ 3 วินาทีเป็น 10 วินาทีทำให้ความคล้ายคลึงของ VALL-E 2 บนชุดข้อมูล VCTK เพิ่มจาก 0.447 เป็น 0.558 คือเพิ่มขึ้น 0.111 (0.558 ลบ 0.447) ซึ่งเป็นเส้นโค้งที่ตีพิมพ์แล้วชัดเจนที่สุดสำหรับคำถามนี้ (งานวิจัย VALL-E 2 ปี 2024)
เส้นโค้งหักโค้งที่จุดต่างกันในแต่ละระบบ ทีม Voicebox ของ Meta รายงานว่าความคล้ายคลึง “เพิ่มขึ้นอย่างรวดเร็วและแบนราบลงเมื่อพรอมต์เสียงยาวขึ้น” (งานวิจัย Voicebox) และวิทยานิพนธ์ปี 2025 เกี่ยวกับ XTTS-v2 ระบุจุดอิ่มตัวไว้ราว 10 ถึง 20 วินาที (Zhu, University of Groningen) จากงานวิจัยทั้งสามชิ้นนี้ สิบวินาทีแรกทำงานเกือบทั้งหมด แม้ VALL-E 2 จะยังดีขึ้นต่อเมื่อถึงสิบวินาที
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความคล้ายคลึงของ VALL-E บน VCTK (ผู้พูด 108 คน) เมื่อใช้พรอมต์ 3, 5 และ 10 วินาที | 0.382, 0.423, 0.484 (เสียงบันทึกจริง: 0.546, 0.591, 0.620) | Microsoft Research, งานวิจัย VALL-E ปี 2023 |
| ความคล้ายคลึงของ VALL-E 2 (ขนาดกลุ่ม 1) บน VCTK เมื่อใช้พรอมต์ 3, 5 และ 10 วินาที | ตัวอย่างเดียว: 0.447, 0.487, 0.558; ค่าดีที่สุดจากห้าตัวอย่าง: 0.508, 0.552, 0.620 (เสียงบันทึกจริง: 0.623, 0.679, 0.709) | Microsoft Research, งานวิจัย VALL-E 2 ปี 2024 |
| สัดส่วนเสียงนำเข้าที่ Voicebox ต้องใช้เพื่อให้ความคล้ายคลึงของผู้พูดเท่ากับ VALL-E | ราวสองในสาม | Meta, งานวิจัย Voicebox (NeurIPS 2023) |
| ความคล้ายคลึงของ F5-TTS เมื่อใช้พรอมต์ยาว (เฉลี่ย 7.7 วินาที) เทียบกับสั้น (เฉลี่ย 5.5 วินาที) บนเสียงพูดในสภาพแวดล้อมจริง | 0.35 เทียบกับ 0.24 | Barcelona Supercomputing Center, ผลงานที่ส่งเข้า WildSpoof TTS ปี 2026 |
| ความคล้ายคลึงของ StyleTTS2 เมื่อใช้พรอมต์ยาว (เฉลี่ย 7.7 วินาที) เทียบกับสั้น (เฉลี่ย 5.5 วินาที) | 0.19 เทียบกับ 0.14 | Barcelona Supercomputing Center, ผลงานที่ส่งเข้า WildSpoof TTS ปี 2026 |
| ความยาวอ้างอิงที่ XTTS-v2 โคลนเสียงได้ด้วยความเที่ยงตรงสูง (ทดสอบ 1, 3, 6, 10, 20 และ 40 วินาที) | 6 ถึง 10 วินาที และผลตอบแทนลดลงเมื่อเกิน 20 วินาที | Zhu, วิทยานิพนธ์ระดับปริญญาโท University of Groningen ปี 2025 |
หมายเหตุเกี่ยวกับค่าผิดปกติ: ผลงานที่ส่งเข้าแข่งขันของ Barcelona Supercomputing Center เป็นผลลัพธ์ปี 2026 เพียงชิ้นเดียวในที่นี้ และใช้ชุดข้อมูล TTS In the Wild พรอมต์ที่สั้นลงโดยเฉลี่ย 2.2 วินาที (7.7 ลบ 5.5) ทำให้ F5-TTS เสียความคล้ายคลึงไป 0.11 (0.35 ลบ 0.24) ซึ่งเป็นการสูญเสียขนาดเดียวกับที่ VALL-E 2 แสดงเมื่อต่างกัน 7 วินาทีบน VCTK เป็นนัยว่าพรอมต์สั้นอาจส่งผลเสียมากกว่ากับเสียงในชีวิตประจำวัน แม้การทดสอบทั้งสองจะเปรียบเทียบกันโดยตรงไม่ได้
3. ความชัดเจนของเสียงพูดไม่ได้ดีขึ้นเสมอไปเมื่อพรอมต์ยาวขึ้น
อัตราคำผิดพลาด (WER) วัดความชัดเจนของเสียงพูด คือให้ระบบรู้จำเสียงพูดถอดความเสียงที่โคลนแล้วนับสัดส่วนคำที่ผิด ค่ายิ่งต่ำยิ่งดี WER ของ VALL-E 2 บน VCTK เพิ่มจาก 0.9% เมื่อใช้พรอมต์ 3 วินาที เป็น 3.3% เมื่อใช้พรอมต์ 10 วินาที ซึ่งเป็นทิศทางตรงข้ามกับความคล้ายคลึงที่เพิ่มขึ้น ผู้ประเมินที่เป็นมนุษย์ก็เห็นตรงกัน ในการทดสอบเดียวกัน คะแนนความคล้ายคลึงลดลงเมื่อพรอมต์ยาวขึ้น ขณะที่คะแนนของเสียงบันทึกจริงเพิ่มขึ้น
ไม่มีอะไรรับประกันว่าเสียงพรอมต์ที่มากขึ้นจะช่วยได้ Mega-TTS 2 ซึ่งออกแบบมาสำหรับพรอมต์หลายประโยค ดีขึ้นต่อเนื่องไปจนถึง 300 วินาที ขณะที่ VALL-E ที่วัดในงานวิจัยเดียวกันล้มเหลวที่ 20 วินาที (งานวิจัย Mega-TTS 2) พรอมต์ที่สั้นมากก็มีความเสี่ยงด้านความชัดเจนของเสียงพูดในตัวเอง โดย StyleTTS2 คือระบบที่แย่ลงเมื่อพรอมต์ถูกตัดให้สั้น
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| VALL-E 2 (ขนาดกลุ่ม 1) บน VCTK เมื่อใช้พรอมต์ 3, 5 และ 10 วินาที: อัตราคำผิดพลาด และคะแนนความคล้ายคลึงจากมนุษย์ (SMOS ยิ่งสูงยิ่งดี) | WER 0.9%, 1.9%, 3.3%; SMOS 4.42±0.15, 4.28±0.16, 3.95±0.10 (เสียงบันทึกจริง 4.47±0.13, 4.53±0.14, 4.74±0.17) | Microsoft Research, งานวิจัย VALL-E 2 ปี 2024 |
| VALL-E บน LibriSpeech เมื่อใช้พรอมต์ 3, 10 และ 20 วินาที ตามที่ผู้เขียน Mega-TTS 2 วัด | WER 5.83%, 5.54%, 8.77%; ความคล้ายคลึง 0.885, 0.893, 0.805 | Jiang และคณะ, Mega-TTS 2 (ICLR 2024) |
| อัตราคำผิดพลาดของ Mega-TTS 2 เมื่อใช้พรอมต์ 3, 10, 60 และ 300 วินาที | 2.46%, 2.28%, 2.24%, 2.23% | Jiang และคณะ, Mega-TTS 2 (ICLR 2024) |
| อัตราคำผิดพลาดของ StyleTTS2 เมื่อใช้พรอมต์ยาว (7.7 วินาที) เทียบกับสั้น (5.5 วินาที) | 0.21 เทียบกับ 0.49 (F5-TTS ไม่เปลี่ยนที่ 0.07) | Barcelona Supercomputing Center, ผลงานที่ส่งเข้า WildSpoof TTS ปี 2026 |
| แนวโน้มของ Voicebox เมื่อภาษาของพรอมต์และภาษาเป้าหมายต่างกัน เมื่อพรอมต์ยาวขึ้น | ความคล้ายคลึงดีขึ้น; WER เพิ่มขึ้นในทิศทางภาษาส่วนใหญ่ | Meta, งานวิจัย Voicebox (NeurIPS 2023) |
บริบท: แนวโน้มของ VALL-E 2 ไม่ได้ราบรื่นสมบูรณ์ การตั้งค่าขนาดกลุ่ม 2 บันทึก WER ที่ 1.5%, 0.9% และ 2.3% ที่ความยาวทั้งสามเท่าเดิม ผู้เขียน Voicebox อธิบายว่า WER ข้ามภาษาที่เพิ่มขึ้นเป็นเพราะภาษาอังกฤษคิดเป็นกว่า 90% ของข้อมูลฝึกสอน
4. เสียงโคลนจากพรอมต์สั้นใกล้เคียงผู้พูดตัวจริงเพียงใด
บนเสียงพูดในชุดทดสอบมาตรฐาน ระบบที่ตีพิมพ์ดีที่สุดในตอนนี้อยู่เคียงข้างเสียงบันทึกจริงแล้ว NaturalSpeech 3 ทำคะแนนความคล้ายคลึงของผู้พูดได้ 0.67 เทียบกับ 0.68 ของเสียงจริงที่ใช้อ้างอิง และคะแนนความคล้ายคลึงจากมนุษย์ (4.01) สูงกว่าเสียงบันทึกจริงที่ได้ 3.85 ในการทดสอบ LibriSpeech เดียวกัน (Microsoft Research, งานวิจัย NaturalSpeech 3 ปี 2024) ซึ่งห่างไกลจาก 0.337 ที่ YourTTS ทำได้ในแถวแรกด้านล่างมาก
คะแนนของเสียงพูดจริงคือสัญญาณว่านี่เป็นเงื่อนไขในห้องปฏิบัติการ โดยอยู่ระหว่าง 0.68 ถึง 0.8952 ในแต่ละงานวิจัย ดังนั้นแต่ละระบบต้องอ่านเทียบกับเสียงจริงอ้างอิงของตนเอง ดังที่แสดงในตาราง งานวิจัย F5-TTS อยู่ห่างจากเสียงพูดจริงไม่เกิน 0.03 ในการทดสอบของตนเอง (0.69 ลบ 0.66)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| LibriSpeech พรอมต์ 3 วินาที: YourTTS, VALL-E และ Voicebox | ความคล้ายคลึง 0.337, 0.580, 0.681 (เสียงพูดจริง 0.754); WER 7.7%, 5.9%, 1.9% (เสียงพูดจริง 2.2%) | Meta, งานวิจัย Voicebox (NeurIPS 2023) |
| NaturalSpeech 3 เทียบกับเสียงบันทึกจริงบน LibriSpeech: ความคล้ายคลึงและ WER | 0.67 และ 1.81%; เสียงบันทึกจริง 0.68 และ 1.94% | Microsoft Research, งานวิจัย NaturalSpeech 3 ปี 2024 |
| ความคล้ายคลึงภาษาอังกฤษของ Seed-TTS เทียบกับเสียงบันทึกของมนุษย์ และคะแนนเปรียบเทียบ (CMOS) เทียบกับมนุษย์ | 0.762 เทียบกับ 0.730; CMOS -0.07 | ByteDance, งานวิจัย Seed-TTS ปี 2024 |
| F5-TTS เทียบกับเสียงพูดจริงบนตัวอย่าง LibriSpeech-PC 1,127 ตัวอย่างยาว 4 ถึง 10 วินาที: ความคล้ายคลึงและ WER | 0.66 และ 2.42%; เสียงพูดจริง 0.69 และ 2.23% | Chen และคณะ, งานวิจัย F5-TTS ปี 2024 |
| ความคล้ายคลึงภาษาอังกฤษของ MiniMax-Speech: เอมเบดดิงผู้พูดอย่างเดียว เทียบกับพรอมต์ที่มีข้อความจับคู่ | 0.692 เทียบกับ 0.738 (เสียงจริงที่ใช้อ้างอิง 0.730) | Zhang และคณะ, งานวิจัย MiniMax-Speech ปี 2025 |
| ความคล้ายคลึงภาษาอังกฤษของ XTTS เทียบกับเสียงพูดจริง | 0.6423 เทียบกับ 0.8952 | Casanova และคณะ, งานวิจัย XTTS (INTERSPEECH 2024) |
หมายเหตุเกี่ยวกับค่าผิดปกติ: Seed-TTS และการตั้งค่าข้อความจับคู่ของ MiniMax-Speech ได้คะแนนสูงกว่าเสียงบันทึกจริงของตนเอง ผู้เขียน Seed-TTS อธิบายว่าเสียงจริงที่ใช้อ้างอิงกับคลิปอ้างอิงของผู้พูดคนเดียวกันอาจยังต่างกันในลักษณะการพูดและสภาพแวดล้อมเบื้องหลัง ดังนั้นโมเดลที่ทำตามคลิปอ้างอิงอย่างใกล้ชิดจึงอาจได้คะแนนสูงกว่าเสียงบันทึกจริงชุดที่สอง ซึ่งไม่ใช่หลักฐานว่าเสียงโคลนดีกว่ามนุษย์
5. การโคลนแบบซีโรช็อตเทียบกับแบบปรับจูน: ช่องว่างที่วัดเป็นวินาทีและนาที
การปรับจูนคือการปรับน้ำหนักของโมเดลด้วยเสียงของผู้พูดเป้าหมาย เป็นเส้นทางที่เก่ากว่าและช้ากว่าในการได้เสียงเฉพาะตัว เมื่อมีเสียงเป้าหมาย 300 วินาที พรอมต์ซีโรช็อตทำความคล้ายคลึงได้ 0.932 เทียบกับ 0.934 ของโมเดลฐานเปรียบเทียบที่ผ่านการปรับจูน โดยมีคำผิดน้อยกว่า (2.23% เทียบกับ 3.11%) (Jiang และคณะ, Mega-TTS 2, ICLR 2024) ข้อควรระวังสำคัญ คือทั้งสองระบบเป็นของผู้เขียนเอง และโมเดลฐานเปรียบเทียบเป็น FastSpeech 2 ที่ปรับจูน 2,000 ขั้น ไม่ใช่ระบบปรับจูนที่แข็งแกร่งที่สุดที่มีอยู่
การปรับจูนยังคุ้มค่าเมื่อเสียงหนึ่งอยู่ห่างจากข้อมูลฝึกสอน YourTTS ถูกฝึกบนผู้พูดภาษาโปรตุเกสเพียงคนเดียว และการปรับจูนบนเสียง 20 ถึง 31 วินาทีช่วยยกคะแนนความคล้ายคลึงจากผู้ฟังสำหรับเสียงภาษาโปรตุเกสใหม่ แม้คะแนนคุณภาพโดยรวมจะลดลงเล็กน้อย (งานวิจัย YourTTS) XTTS ได้ความคล้ายคลึงเพิ่ม 0.1314 (0.7166 ลบ 0.5852) จากเสียงราว 10 นาทีต่อผู้พูดในการโคลนข้ามภาษา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความคล้ายคลึงของโมเดลฐานเปรียบเทียบที่ผ่านการปรับจูนเมื่อมีเสียงเป้าหมาย 10, 60 และ 300 วินาที | 0.895, 0.923, 0.934 | Jiang และคณะ, Mega-TTS 2 (ICLR 2024) |
| ความคล้ายคลึงของ Mega-TTS 2 แบบซีโรช็อตเมื่อใช้พรอมต์ 3, 10, 60 และ 300 วินาที | 0.898, 0.905, 0.926, 0.932 | Jiang และคณะ, Mega-TTS 2 (ICLR 2024) |
| YourTTS ผู้พูดหญิงภาษาโปรตุเกสที่มีเสียงพูด 20 วินาที แบบซีโรช็อตเทียบกับแบบปรับจูน | ความคล้ายคลึง 0.743 เทียบกับ 0.930; Sim-MOS 2.77±0.15 เทียบกับ 4.43±0.06; MOS 3.59±0.13 เทียบกับ 3.48±0.13 | Casanova และคณะ, YourTTS (ICML 2022) |
| YourTTS ผู้พูดชายภาษาอังกฤษที่มีเสียงพูด 61 วินาที แบบซีโรช็อตเทียบกับแบบปรับจูน | ความคล้ายคลึง 0.851 เทียบกับ 0.880 (เสียงพูดจริง 0.875) | Casanova และคณะ, YourTTS (ICML 2022) |
| ความคล้ายคลึงข้ามภาษาของ XTTS ก่อนเทียบกับหลังการปรับจูนด้วยเสียงราว 10 นาทีต่อผู้พูด | 0.5852 เทียบกับ 0.7166 | Casanova และคณะ, งานวิจัย XTTS (INTERSPEECH 2024) |
| Seed-TTS ที่ใช้พรอมต์ 20 วินาที เทียบกับที่ปรับจูนด้วยเสียง 1 ถึง 10 ชั่วโมงต่อผู้พูด: ความคล้ายคลึงและ WER | 0.779 และ 3.15 เทียบกับ 0.789 และ 2.83 (CMOS +0.37 สำหรับแบบปรับจูน) | ByteDance, งานวิจัย Seed-TTS ปี 2024 |
| ปริมาณเสียงที่แนะนำสำหรับ ElevenLabs Professional Voice Cloning (ระดับที่ปรับจูนของบริการ) | 30 ถึง 180 นาที (แนวทางของผู้ให้บริการเอง) | ElevenLabs, เอกสารประกอบการโคลนเสียง ปี 2026 |
ข้อมูลล่าสุดที่มีสำหรับการทดสอบการปรับจูนของ YourTTS: Casanova และคณะ, ICML 2022 ครอบคลุมผู้พูดเพียง 4 คน จึงควรมองเป็นภาพประกอบของผลจากภาษา ไม่ใช่ค่าประมาณของประชากร
6. ด้านความปลอดภัย: พรอมต์สั้นและการฉ้อโกง
ตัวเลขจากงานวิจัยมีความหมายต่อผู้บริโภคโดยตรง คือวิดีโอสาธารณะเป็นวัตถุดิบสำหรับพรอมต์ ผู้ฟังตัดสินว่าเสียง AI เป็นตัวตนเดียวกับเสียงจริงราว 80% ของครั้ง และระบุเสียง AI ได้ถูกต้องเพียงราว 60% ของครั้ง จากผู้เข้าร่วม 604 คนในการศึกษาที่คลิปจริงมีความยาวเฉลี่ย 5.37 วินาที (Barrington, Cooper และ Farid, Scientific Reports ปี 2025) เสียงโคลนมาจากบริการโคลนเสียงทันทีเชิงพาณิชย์ที่ได้รับพรอมต์ที่บันทึกสองชุดแรกของผู้พูดแต่ละคนจากทั้งหมด 220 คน
ถ้อยคำ “สามวินาที” ในคำเตือนเรื่องการฉ้อโกงอาศัยคำกล่าวของบริษัท ตัวเลขของ McAfee เป็นการวัดมาตรฐานของบริษัทเอง และสำหรับแหล่งนี้ถือเป็นข้อมูลล่าสุดที่มี (McAfee, 2023) Starling Bank กล่าวซ้ำข้อกล่าวอ้างนี้ในปี 2024 พร้อมกับการสำรวจของตน (Starling Bank, แคมเปญ Safe Phrases ปี 2024) บทความของเราเรื่องการฉ้อโกงครอบครัวด้วยการโคลนเสียงครอบคลุมตัวการหลอกลวงเอง
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| สัดส่วนของครั้งที่ผู้ฟังตัดสินว่าเสียง AI เป็นบุคคลเดียวกับผู้พูดตัวจริง | ราว 80% | Barrington, Cooper และ Farid, Scientific Reports ปี 2025 |
| สัดส่วนของครั้งที่ผู้ฟังระบุได้ถูกต้องว่าเสียงเป็นเสียงที่ AI สร้างขึ้น | ราว 60% | Barrington, Cooper และ Farid, Scientific Reports ปี 2025 |
| เสียงที่นักวิจัยของ McAfee ต้องใช้เพื่อให้เสียงตรงกันโดยประมาณ 85% ด้วยเครื่องมือฟรี | สามถึงสี่วินาที (ราว 95% เมื่อใช้ความพยายามมากขึ้น; การวัดมาตรฐานของผู้ให้บริการเอง) | McAfee, Beware the Artificial Impostor ปี 2023 |
| ผู้ใหญ่ที่แชร์เสียงของตนทางออนไลน์อย่างน้อยสัปดาห์ละครั้ง | 53% (ผู้ใหญ่ 7,054 คน 7 ประเทศ) | McAfee, Beware the Artificial Impostor ปี 2023 |
| ผู้ใหญ่ที่ไม่มั่นใจว่าจะแยกเสียงจริงออกจากเสียงโคลนได้ | 70% | McAfee, Beware the Artificial Impostor ปี 2023 |
| ผู้ใหญ่ในสหราชอาณาจักรที่ระบุว่าตนเคยตกเป็นเป้าของการหลอกลวงด้วยการโคลนเสียง AI ในปีที่ผ่านมา | 28% (ผู้ใหญ่ 3,010 คน) | การสำรวจของ Starling Bank และ Mortar Research ปี 2024 |
| ผู้ใหญ่ในสหราชอาณาจักรที่จะโอนเงินตามที่ขอแม้สายนั้นดูแปลก | 8% | การสำรวจของ Starling Bank และ Mortar Research ปี 2024 |
| ผลิตภัณฑ์โคลนเสียงที่ได้รับการประเมินและไม่ได้ดำเนินการขั้นพื้นฐานเพื่อป้องกันการโคลนเสียงโดยไม่ได้รับอนุญาต | 4 จาก 6 | Consumer Reports, การประเมินการโคลนเสียง ปี 2025 |
บริบท: ตัวเลข 28% ของ Starling วัดสิ่งที่ผู้คนบอกว่าเกิดขึ้นกับตน ไม่ใช่เหตุการณ์ที่ยืนยันแล้ว ตัวเลข 85% และ 95% ของ McAfee เป็นค่าประมาณของบริษัทเอง และเราไม่พบการทำซ้ำโดยอิสระ การประเมินของ Consumer Reports ครอบคลุม Descript, ElevenLabs, Lovo, PlayHT, Resemble AI และ Speechify
7. มาตรการป้องกัน การตรวจจับ และการตัดสินใจเปิดตัว
การตัดสินใจเรื่องการเปิดตัวแบ่งวงการออกเป็นสองฝั่ง Microsoft ระบุว่า “ไม่มีแผนที่จะนำ VALL-E 2 ไปใส่ในผลิตภัณฑ์หรือขยายการเข้าถึงสู่สาธารณะ” (หน้าโครงการ VALL-E 2) และ OpenAI เลือก “เปิดให้ชมตัวอย่างแต่ไม่เปิดตัวอย่างกว้างขวาง” สำหรับ Voice Engine พร้อมเร่งให้ธนาคารยกเลิกการยืนยันตัวตนด้วยเสียงอย่างค่อยเป็นค่อยไป ในขณะเดียวกัน ผู้เขียน F5-TTS เรียกร้องให้มีลายน้ำและโมเดลตรวจจับสำหรับความเสี่ยงจากการใช้ในทางที่ผิดที่พวกเขาระบุไว้ FTC มองว่าปัญหานี้ยังเปิดกว้างพอจนสนับสนุนเงินทุนให้การประกวด (FTC, ผู้ชนะ Voice Cloning Challenge ปี 2024)
ผลการตรวจจับขึ้นอยู่กับสิ่งที่นำเสียงปลอมไปเปรียบเทียบเป็นอย่างมาก ตัวจำแนกของ Meta แยกผลลัพธ์ของ Voicebox ออกจากเสียงต้นฉบับได้อย่างสมบูรณ์แบบ แต่ได้เพียง 0.704 เมื่อเทียบกับเสียงพูดจริงที่ผ่านโวโคเดอร์ (ซอฟต์แวร์ที่สร้างเสียงขึ้นใหม่จากสเปกตรัม) ที่ระดับการบดบังต่ำสุด สำหรับรายละเอียดเชิงลึกเกี่ยวกับประสิทธิภาพของตัวตรวจจับ ดูสถิติความแม่นยำในการตรวจจับดีปเฟกเสียงของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เงินรางวัลที่ผู้ชนะสามรายของ FTC Voice Cloning Challenge แบ่งกัน | 35,000 ดอลลาร์สหรัฐ (ประกาศเมื่อวันที่ 8 เมษายน 2024) | คณะกรรมาธิการการค้าแห่งสหพันธรัฐสหรัฐฯ (FTC), Voice Cloning Challenge ปี 2024 |
| ขนาดช่วงเสียงที่ตัวตรวจจับเสียงโคลนแบบเรียลไทม์ของ Pindrop ซึ่ง FTC ยอมรับ ตรวจสอบ | ช่วงละสองวินาที | คณะกรรมาธิการการค้าแห่งสหพันธรัฐสหรัฐฯ (FTC), Voice Cloning Challenge ปี 2024 |
| ความแม่นยำของตัวจำแนกการตรวจจับของ Voicebox เทียบกับเสียงต้นฉบับ และเทียบกับเสียงจริงที่ผ่านโวโคเดอร์เมื่อบดบังเสียง 30%, 50% และ 90% | 1.000 เทียบกับเสียงต้นฉบับ; 0.704, 0.809, 0.907 เทียบกับเสียงที่ผ่านโวโคเดอร์ | Meta, งานวิจัย Voicebox (NeurIPS 2023) |
| ช่วงที่ OpenAI พัฒนา Voice Engine เป็นครั้งแรก เทียบกับช่วงที่เผยแพร่ตัวอย่างแบบจำกัด | ปลายปี 2022 เทียบกับ 29 มีนาคม 2024 | OpenAI, บทความเรื่องเสียงสังเคราะห์ ปี 2024 |
| ทีมในการแข่งขัน ASVspoof 5 และการโจมตีที่ยากที่สุดในเงื่อนไขแบบเปิดของ Track 1 | 53 ทีม; YourTTS แบบซีโรช็อตที่ฝึกไว้ล่วงหน้า (minDCF 0.33) | Wang และคณะ, งานวิจัยประเมินผล ASVspoof 5 ปี 2026 |
บริบท: minDCF คือคะแนนต้นทุนการตรวจจับ ค่ายิ่งสูงแปลว่าตัวตรวจจับยิ่งทำได้ยาก การที่โมเดล YourTTS ที่ฝึกไว้ล่วงหน้าติดอันดับยากที่สุดในเงื่อนไขแบบเปิดของ ASVspoof 5 ชี้ว่าการโจมตีแบบซีโรช็อตไม่จำเป็นต้องใช้ระบบล้ำสมัยก็สร้างปัญหาได้ แม้งานวิจัยจะไม่ได้แยกผลลัพธ์นี้ตามความยาวพรอมต์
สรุป: ความยาวเสียงอ้างอิงของการโคลนเสียงแบบซีโรช็อตในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ตัวอย่างเสียงที่ OpenAI Voice Engine ใช้ทำงาน | 15 วินาที | OpenAI, บทความเรื่องเสียงสังเคราะห์ ปี 2024 |
| VALL-E 2 บน VCTK พรอมต์ 3 เทียบกับ 10 วินาที (ขนาดกลุ่ม 1): ความคล้ายคลึงและ WER | 0.447 เทียบกับ 0.558; 0.9% เทียบกับ 3.3% | Microsoft Research, งานวิจัย VALL-E 2 ปี 2024 |
| สัดส่วนเสียงนำเข้าที่ Voicebox ต้องใช้เพื่อให้ความคล้ายคลึงเท่ากับ VALL-E | ราวสองในสาม | Meta, งานวิจัย Voicebox (NeurIPS 2023) |
| ความคล้ายคลึงของ F5-TTS พรอมต์ยาว (7.7 วินาที) เทียบกับสั้น (5.5 วินาที) บนเสียงพูดในสภาพแวดล้อมจริง | 0.35 เทียบกับ 0.24 | Barcelona Supercomputing Center, ผลงานที่ส่งเข้า WildSpoof TTS ปี 2026 |
| อัตราคำผิดพลาดของ StyleTTS2 พรอมต์ยาว (7.7 วินาที) เทียบกับสั้น (5.5 วินาที) | 0.21 เทียบกับ 0.49 | Barcelona Supercomputing Center, ผลงานที่ส่งเข้า WildSpoof TTS ปี 2026 |
| ความยาวอ้างอิงสำหรับการโคลนเสียงด้วย XTTS-v2 ที่ความเที่ยงตรงสูง | 6 ถึง 10 วินาที | Zhu, วิทยานิพนธ์ University of Groningen ปี 2025 |
| ความคล้ายคลึงของ NaturalSpeech 3 เทียบกับเสียงบันทึกจริง | 0.67 เทียบกับ 0.68 | Microsoft Research, งานวิจัย NaturalSpeech 3 ปี 2024 |
| อัตราคำผิดพลาดของ F5-TTS เทียบกับเสียงพูดจริง | 2.42% เทียบกับ 2.23% | Chen และคณะ, งานวิจัย F5-TTS ปี 2024 |
| ความคล้ายคลึงของ Mega-TTS 2 แบบซีโรช็อตเทียบกับโมเดลฐานเปรียบเทียบที่ปรับจูนเมื่อมีเสียง 300 วินาที | 0.932 เทียบกับ 0.934 | Jiang และคณะ, Mega-TTS 2 (ICLR 2024) |
| คะแนนความคล้ายคลึงจากผู้ฟังของ YourTTS แบบซีโรช็อตเทียบกับแบบปรับจูนบนเสียง 20 วินาที | 2.77 เทียบกับ 4.43 | Casanova และคณะ, YourTTS (ICML 2022) |
| ความคล้ายคลึงข้ามภาษาของ XTTS หลังการปรับจูนราว 10 นาที | 0.5852 เป็น 0.7166 | Casanova และคณะ, งานวิจัย XTTS (INTERSPEECH 2024) |
| ผู้ฟังที่ตัดสินว่าเสียงโคลน AI เป็นผู้พูดตัวจริง | ราว 80% | Barrington, Cooper และ Farid, Scientific Reports ปี 2025 |
| เสียงสำหรับความตรงกันโดยประมาณ 85% (การวัดมาตรฐานของผู้ให้บริการ) | สามถึงสี่วินาที | McAfee, Beware the Artificial Impostor ปี 2023 |
| ผู้ใหญ่ในสหราชอาณาจักรที่ระบุว่าตนเคยตกเป็นเป้าของการหลอกลวงด้วยการโคลนเสียง | 28% | การสำรวจของ Starling Bank และ Mortar Research ปี 2024 |
| ผลิตภัณฑ์โคลนเสียงที่ไม่ได้ดำเนินการขั้นพื้นฐานเพื่อป้องกันการโคลนเสียงโดยไม่ได้รับอนุญาต | 4 จาก 6 | Consumer Reports, การประเมินการโคลนเสียง ปี 2025 |
| เงินรางวัลของผู้ชนะ FTC Voice Cloning Challenge | 35,000 ดอลลาร์สหรัฐ | คณะกรรมาธิการการค้าแห่งสหพันธรัฐสหรัฐฯ (FTC), Voice Cloning Challenge ปี 2024 |
ระเบียบวิธีและแหล่งที่มา
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E) (Microsoft Research, 2023): รูปแบบการทดสอบพรอมต์ 3 วินาทีและผลลัพธ์ VCTK ตามความยาวพรอมต์
- VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers (Microsoft Research, 2024): ความคล้ายคลึง WER และ SMOS บน VCTK ที่ 3, 5 และ 10 วินาที
- หน้าโครงการ VALL-E 2 (Microsoft Research): ถ้อยแถลงเรื่องการเปิดตัว
- NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models (Microsoft Research และผู้ร่วมเขียนจากมหาวิทยาลัย, 2024): การเปรียบเทียบบน LibriSpeech
- Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale (Meta, NeurIPS 2023): การวิเคราะห์ความยาวพรอมต์ ชุดทดสอบมาตรฐานภาษาอังกฤษ ตัวจำแนกการตรวจจับ
- YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone (Casanova และคณะ, ICML 2022): การปรับตัวต่อผู้พูดแบบซีโรช็อตเทียบกับแบบปรับจูน
- XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model (Casanova และคณะ, INTERSPEECH 2024): ความยาวอ้างอิง ความคล้ายคลึงภาษาอังกฤษ ผลที่ได้จากการปรับจูน
- Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis (Jiang และคณะ, ByteDance และ Zhejiang University, ICLR 2024): พรอมต์ 3 ถึง 300 วินาทีเทียบกับโมเดลฐานเปรียบเทียบที่ปรับจูน
- Seed-TTS: A Family of High-Quality Versatile Speech Generation Models (ByteDance, 2024): แบบซีโรช็อตเทียบกับการปรับจูนตามผู้พูด
- F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching (Chen และคณะ, 2024): ชุดทดสอบมาตรฐาน LibriSpeech-PC
- MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder (Zhang และคณะ, 2025): การโคลนเสียงด้วยเอมเบดดิงผู้พูดเทียบกับข้อความจับคู่
- Zero-Shot TTS With Enhanced Audio Prompts: BSC submission for the 2026 WildSpoof challenge TTS track (Barcelona Supercomputing Center, 5 กุมภาพันธ์ 2026): พรอมต์ยาวเทียบกับสั้น
- Zero-Shot Voice Cloning with Minimal Data: Impact of Reference Duration on Long-Form Speech Synthesis (Zhu, University of Groningen, 2025): การทดสอบเสียงอ้างอิง 1 ถึง 40 วินาที
- People are poorly equipped to detect AI-powered voice clones (Barrington, Cooper และ Farid, Scientific Reports, 2025)
- ASVspoof 5: Evaluation of Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech (Wang และคณะ, 7 มกราคม 2026)
- FTC Announces Winners of Voice Cloning Challenge (คณะกรรมาธิการการค้าแห่งสหพันธรัฐสหรัฐฯ, 8 เมษายน 2024)
- Do These 6 AI Voice Cloning Companies Do Enough to Prevent Misuse? (Consumer Reports, 10 มีนาคม 2025)
- Beware the Artificial Impostor (McAfee, พฤษภาคม 2023; งานวิจัยของผู้ให้บริการ)
- แคมเปญ Safe Phrases ของ Starling Bank (Starling Bank และ Mortar Research, 18 กันยายน 2024)
- บทความของ OpenAI เรื่องความท้าทายและโอกาสของเสียงสังเคราะห์ (OpenAI, 29 มีนาคม 2024)
- เอกสารประกอบ ElevenLabs Instant Voice Cloning (แนวทางของผู้ให้บริการ, อ่านเมื่อเดือนตุลาคม 2026)
- ข้อสังเกตเกี่ยวกับข้อมูล: คะแนนความคล้ายคลึงเปรียบเทียบข้ามงานวิจัยไม่ได้ เพราะแต่ละงานใช้โมเดลรู้จำผู้พูด ชุดทดสอบ และวิธีให้คะแนนของตนเอง (เสียงพูดจริงบน LibriSpeech ได้ 0.754, 0.68 หรือ 0.69 ขึ้นอยู่กับงานวิจัย) จึงควรเปรียบเทียบเฉพาะภายในแถวเดียวกัน งานวิจัย Mega-TTS 2 รายงานค่าความคล้ายคลึงสูงกว่างานอื่นมาก โดย VALL-E ได้ 0.885 ที่นั่น เทียบกับ 0.580 ในงานวิจัยต้นฉบับ ตัวเลขของงานนั้นจึงควรอ่านเทียบกันเองเท่านั้น ทั้งสองฝั่งของการเปรียบเทียบการปรับจูนใน Mega-TTS 2 สร้างโดยผู้เขียนเอง ข้อความของ Voicebox ระบุว่าความคล้ายคลึงเพิ่มขึ้นแล้วแบนราบเมื่อพรอมต์ยาวขึ้น แต่คำอธิบายภาพระบุว่าคงที่จนถึง 10 วินาที MiniMax-Speech เรียกการใช้พรอมต์ที่มีข้อความจับคู่ว่า ‘วันช็อต’ และจัด Seed-TTS ไว้ในกลุ่มนั้น ทั้งที่ Seed-TTS เรียกตัวเองว่าซีโรช็อต โมเดล WildSpoof ถูกปรับจูนบนชุดข้อมูล TITW ก่อนทดสอบ ผลลัพธ์เหล่านั้นจึงไม่ใช่เกณฑ์เปรียบเทียบแบบซีโรช็อตล้วน คะแนนจากผู้ฟังของ VALL-E 2 ที่ 10 วินาทีมีช่วงความเชื่อมั่นกว้าง (สูงสุด ±0.49) งานวิจัยของ Scientific Reports ไม่ได้ระบุว่าพรอมต์สองชุดเบื้องหลังเสียงโคลนแต่ละชุดยาวเท่าใด ดังนั้นไม่ควรอ่านตัวเลข 80% ว่าเป็นตัวเลขของความยาวพรอมต์ใดโดยเฉพาะ บทคัดย่อวิทยานิพนธ์ของ Zhu ไม่ให้ค่าความคล้ายคลึง มีเพียงความยาวและทิศทางของผล VALL-E, Voicebox, YourTTS และ McAfee มีอายุเกินสามปีและถูกทำเครื่องหมายเป็นข้อมูลล่าสุดที่มี เราไม่พบงานวิจัยปี 2025 หรือ 2026 ที่ทำซ้ำเส้นโค้ง 3, 5 และ 10 วินาทีครบถ้วนบนชุดทดสอบมาตรฐานร่วมกัน การสำรวจของ Starling Bank และ McAfee เป็นข้อมูลที่ผู้ตอบรายงานด้วยตนเอง
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อมีการเผยแพร่รายงานการประชุม ICASSP 2027