สถิติเกณฑ์เปรียบเทียบความคล้ายคลึงของผู้พูดและความเป็นธรรมชาติในการแปลงเสียง (2026): ข้อมูลกว่า 50 จุดเกี่ยวกับผลการแข่งขัน ตัวชี้วัดเชิงวัตถุวิสัย และความน่าเชื่อถือของการประเมิน

สถิติการแปลงเสียง 2026: ระบบ VCC 2020 ที่ดีที่สุดมีตัวอย่างกว่า 90% ที่ถูกตัดสินว่าเป็นผู้พูดเป้าหมาย แต่ไม่มีระบบใดเทียบเท่าความเป็นธรรมชาติของมนุษย์

ใน Voice Conversion Challenge 2020 ระบบภาษาเดียวกัน 8 ระบบไม่สามารถแยกจากผู้พูดเป้าหมายจริงได้ในทางสถิติจากการทดสอบความคล้ายคลึง โดยตัวอย่างที่แปลงแล้วของระบบเหล่านั้นกว่า 90% ถูกตัดสินว่าเป็นคนเดียวกัน (Zhao และคณะ, ภาพรวม VCC 2020) เมื่อสี่ปีก่อนหน้านั้น ระบบที่ดีที่สุดของ VCC 2016 ได้คะแนนเฉลี่ยเพียง 3.0 บนมาตราความเป็นธรรมชาติ 5 ระดับ และระบบอันดับต้นสามารถทำให้ผู้ฟังเชื่อได้ราว 70% ของครั้งทั้งหมด ความเป็นธรรมชาติยังปิดช่องว่างได้ไม่เรียบร้อยเท่ากัน ไม่มีระบบ VCC 2020 ใดที่บรรลุความเป็นธรรมชาติระดับมนุษย์ และใน Singing Voice Conversion Challenge 2025 ระบบอันดับต้นได้ราว 3.7 เทียบกับราว 3.9 ของการบันทึกเสียงจริง สรุปนี้พิจารณาว่าการแปลงเสียงถูกวัดอย่างไร ไม่ใช่ว่าถูกขายอย่างไร สำหรับข้อมูลการนำไปใช้และตลาด ดูสถิติการโคลนเสียงของเรา และสำหรับคะแนนการฟังของการแปลงข้อความเป็นเสียงพูด ดูสถิติ MOS ความเป็นธรรมชาติของเสียงพูดสังเคราะห์ของเรา เรารวบรวมข้อมูลจาก Voice Conversion Challenge ปี 2016, 2018 และ 2020, Singing Voice Conversion Challenge ปี 2023 และ 2025, เอกสารวิจัยที่ผ่านการทบทวนโดยผู้ทรงคุณวุฒิจาก Interspeech, ICLR, AAAI และ IEEE JSTSP รวมถึงงานวิจัยล่าสุดเกี่ยวกับตัวชี้วัดความคล้ายคลึงของผู้พูดและความเอนเอียงของการทดสอบการฟัง

สรุปโดยย่อ

  • ระบบภาษาเดียวกันของ VCC 2020 จำนวน 8 ระบบไม่แตกต่างอย่างมีนัยสำคัญจากผู้พูดเป้าหมายในด้านความคล้ายคลึง (Zhao และคณะ, ภาพรวม VCC 2020, 2020)
  • ระบบแบบซีโรช็อตปี 2025 ได้ MOS ความเป็นธรรมชาติ 3.96 เทียบกับ 4.33 ของข้อมูลอ้างอิงจริง (Yao และคณะ, StableVC, AAAI 2025)
  • ความคล้ายคลึงของผู้พูดของระบบในปริภูมิโคเดกปี 2026 ลดลงจาก 0.63 ในภาษาอังกฤษเหลือ 0.49 ในการแปลงจากจีนเป็นอังกฤษ (Zheng และคณะ, X-VC 2026)
  • ความคล้ายคลึงของระบบที่ใช้ลักษณะเด่นจากการเรียนรู้แบบกำกับตนเองลดลงจาก 59% เหลือ 28% เมื่อเปลี่ยนจากการแปลงจากผู้พูดใดก็ได้สู่ผู้พูดเป้าหมายคนเดียว ไปเป็นการแปลงจากผู้พูดใดก็ได้สู่ผู้พูดเป้าหมายใดก็ได้ (Huang และคณะ, IEEE JSTSP 2022)
  • ระบบ VCC 2020 จำนวน 20 จาก 31 ระบบหลอกระบบตรวจสอบยืนยันผู้พูดได้มากกว่า 90% ของครั้งทั้งหมด (Das และคณะ, การประเมินเชิงวัตถุวิสัย VCC 2020, 2020)
  • ความคล้ายคลึงของเวกเตอร์ฝังตัวของผู้พูดมีสหสัมพันธ์ 0.768 กับคะแนนจากมนุษย์บนเสียงพูดจริง แต่เพียง 0.512 บนเสียงที่แปลงแล้วของ VCC 2018 (Ahn และคณะ, VoxSim, Interspeech 2024)
  • ราวครึ่งหนึ่งของประโยค VCC 2018 มีส่วนเบี่ยงเบนมาตรฐานเกิน 1 คะแนนในคะแนนของผู้ฟังทั้งสี่คน (Lo และคณะ, MOSNet 2019)
  • MOS ของระบบหนึ่งอาจลดลงได้สูงสุดราวหนึ่งคะแนนเต็ม เมื่อถูกประเมินเคียงกับระบบที่แข็งแกร่งกว่าเท่านั้น (Cooper และ Yamagishi, Interspeech 2023)
  • ระบบเสียงร้องเพลงอันดับหนึ่งของ SVCC 2023 เทียบเท่าความเป็นธรรมชาติของข้อมูลอ้างอิงจริง (ราว 3.9) แต่ได้ความคล้ายคลึง 65% เทียบกับ 80% (Violeta และคณะ, การวิเคราะห์ SVCC 2025, 2025)
  • การร้องแบบเสียงลมหายใจเป็นสไตล์ที่แปลงยากที่สุดใน SVCC 2025 ด้วยความแม่นยำด้านสไตล์ 37.3% (Violeta และคณะ, การวิเคราะห์ SVCC 2025, 2025)

1. ผลการแข่งขันหนึ่งทศวรรษ: จาก 70% สู่ความคล้ายคลึงระดับเป้าหมาย

การแปลงเสียง (VC) เปลี่ยนว่าการบันทึกเสียงฟังดูเหมือนใคร โดยยังคงสิ่งที่พูดไว้ มาตรวัดร่วมของวงการนี้คือ Voice Conversion Challenge (VCC) ซึ่งทุกทีมแปลงประโยคเดียวกันระหว่างผู้พูดชุดเดียวกัน และการทดสอบการฟังขนาดใหญ่หนึ่งครั้งให้คะแนนทุกระบบ ความเป็นธรรมชาติถูกประเมินด้วยมาตราคะแนนความคิดเห็นเฉลี่ย (MOS) 5 ระดับ ส่วนความคล้ายคลึงตัดสินโดยถามผู้ฟังว่าคลิปที่แปลงแล้วกับคลิปจริงมาจากผู้พูดคนเดียวกันหรือไม่

เส้นทางพัฒนาชันมาก ระบบที่ดีที่สุดของ VCC 2016 ได้ความเป็นธรรมชาติเฉลี่ย 3.0 ขณะที่ถึง VCC 2020 ระบบ 8 ระบบเสมอกับผู้พูดเป้าหมายจริงในทางสถิติด้านความคล้ายคลึง (Zhao และคณะ, ภาพรวม VCC 2020) ลำดับของความก้าวหน้าคือส่วนที่น่าสนใจ ผู้ฟังเลิกแยกคลิปที่แปลงแล้วออกจากเป้าหมายในภาษาอังกฤษที่สะอาดและเป็นภาษาเดียวกัน ก่อนที่ระบบใดจะบรรลุความเป็นธรรมชาติระดับมนุษย์

ตัวชี้วัดค่าแหล่งที่มา
กลุ่มวิจัยที่ส่งระบบเข้า VCC 201617Toda และคณะ, The Voice Conversion Challenge 2016, Interspeech 2016
ผู้ฟังในการทดสอบ VCC 2016 ซึ่งดำเนินการในสภาพแวดล้อมที่ควบคุม200Toda และคณะ, The Voice Conversion Challenge 2016, Interspeech 2016
ระบบอันดับต้นของ VCC 2016 สัดส่วนตัวอย่างที่ถูกตัดสินว่าเป็นผู้พูดคนเดียวกับเป้าหมายราว 70%Wester และคณะ, Analysis of the VCC 2016 Evaluation Results, Interspeech 2016
ระบบที่ดีที่สุดของ VCC 2016 ความเป็นธรรมชาติเฉลี่ยบนมาตรา 5 ระดับ3.0Zhao และคณะ, ภาพรวม VCC 2020, 2020
ระบบที่ดีที่สุดของ VCC 2018 (N10): ความเป็นธรรมชาติ / สัดส่วนที่ถูกตัดสินว่าเหมือนเป้าหมายราว 4.1 / ราว 80%Lorenzo-Trueba และคณะ, เอกสารวิจัย VCC 2018
ระบบภาษาเดียวกันของ VCC 2020 ที่ไม่แตกต่างอย่างมีนัยสำคัญจากผู้พูดเป้าหมายในด้านความคล้ายคลึง8Zhao และคณะ, ภาพรวม VCC 2020, 2020

หมายเหตุบริบท: ผู้ชนะ VCC 2018 อาศัยตัวสกัดเนื้อหาที่ฝึกด้วยเสียงพูดภายนอกหลายร้อยชั่วโมง บวกกับโวโคเดอร์ WaveNet ที่ขึ้นกับผู้พูด (Lorenzo-Trueba และคณะ, VCC 2018) มีเพียง 3 ทีมใน VCC 2018 ที่ใช้ตัวเลือกข้อมูลภายนอก ข้อมูลล่าสุดที่มีสำหรับการแข่งขันด้านเสียงพูดคือ VCC 2020 เพราะรอบที่สี่ในปี 2023 เปลี่ยนไปเป็นเสียงร้องเพลงและเปลี่ยนชื่อ (ดูหัวข้อที่ 6)

2. ช่องว่างด้านความเป็นธรรมชาติ: ระบบที่ดีที่สุดยังห่างจากเสียงพูดจริงแค่ไหน

คำตัดสินว่า ‘ผู้พูดคนเดียวกัน’ ไม่ได้หมายความว่าคลิปฟังดูเหมือนมนุษย์ ทุกการแข่งขันเก็บการบันทึกเสียงธรรมชาติไว้ในการทดสอบเป็นจุดยึด และจุดยึดเหล่านั้นแสดงช่องว่างที่ยังคงอยู่ การเปรียบเทียบปี 2022 ระบุ USTC-2020 ซึ่งเป็นระบบอันดับหนึ่งของงานภาษาเดียวกันใน VCC 2020 ที่ MOS ความเป็นธรรมชาติ 4.41 เทียบกับ 4.57 ของการบันทึกเสียงเป้าหมายจริง ช่องว่าง 0.16 คะแนน (4.57 ลบ 4.41) (Huang และคณะ, IEEE JSTSP 2022) ระบบนั้นยังทำได้ 82% ในการทดสอบความคล้ายคลึง

ช่องว่างกว้างขึ้นสำหรับระบบแบบซีโรช็อต ซึ่งแปลงเป็นเสียงที่ไม่เคยเห็นในการฝึกจากคลิปอ้างอิงสั้น ๆ เอกสารวิจัย AAAI ปี 2025 วัด MOS ได้ 3.96 สำหรับระบบของตน เทียบกับ 4.33 ของข้อมูลอ้างอิงจริงบนผู้พูด VCTK ห่างกัน 0.37 คะแนน ทั้งที่ตัวทำนาย MOS อัตโนมัติวางทั้งสองห่างกันเพียง 0.12 (Yao และคณะ, StableVC, AAAI 2025) ในการทดสอบนี้ตัวทำนายอัตโนมัติเป็นผู้ตัดสินที่ใจดีกว่า ซึ่งเป็นเหตุผลหนึ่งที่ควรอ่านคะแนนเช่นนี้ควบคู่กับการทดสอบการฟัง

ตัวชี้วัดค่าแหล่งที่มา
การบันทึกเสียงธรรมชาติใน VCC 2016: ความเป็นธรรมชาติ / สัดส่วนที่ถูกตัดสินว่าเป็นผู้พูดคนเดียวกัน4.5 / 90%Violeta และคณะ, การวิเคราะห์ SVCC 2025, 2025
ระบบ VCC 2016 ที่ถูกประเมินว่าเป็นธรรมชาติน้อยกว่าผู้พูดต้นทางและเป้าหมายจริงอย่างมีนัยสำคัญทุกระบบWester และคณะ, Analysis of the VCC 2016 Evaluation Results, Interspeech 2016
ระบบที่ดีที่สุดของ VCC 2018 เทียบกับเสียงพูดเป้าหมายจริง (การทดสอบอันดับที่มีเครื่องหมายของ Wilcoxon, Bonferroni, α = 0.01)แตกต่างอย่างมีนัยสำคัญทั้งด้านความเป็นธรรมชาติและความคล้ายคลึงLorenzo-Trueba และคณะ, เอกสารวิจัย VCC 2018
ระบบอันดับหนึ่งของ VCC 2020 (USTC-2020) เทียบกับการบันทึกเสียงเป้าหมาย MOS ความเป็นธรรมชาติภาษาเดียวกัน4.41 เทียบกับ 4.57Huang และคณะ, IEEE JSTSP 2022
ระบบที่ใช้ลักษณะเด่นจากการเรียนรู้แบบกำกับตนเองที่ดีที่สุด เทียบกับระบบพื้นฐานเมลสเปกโทรแกรมธรรมดา MOS ความเป็นธรรมชาติ3.59 เทียบกับ 2.61Huang และคณะ, IEEE JSTSP 2022
ระบบแบบซีโรช็อตเทียบกับข้อมูลอ้างอิงจริง MOS ความเป็นธรรมชาติจากผู้ฟัง (ผู้พูด VCTK)3.96 ±0.04 เทียบกับ 4.33 ±0.04Yao และคณะ, StableVC, AAAI 2025
การเปรียบเทียบเดียวกันโดยใช้ UTMOS ซึ่งเป็นตัวทำนายความเป็นธรรมชาติอัตโนมัติ4.12 เทียบกับ 4.24Yao และคณะ, StableVC, AAAI 2025
ระบบที่ดีที่สุดจากระบบพื้นฐานแบบซีโรช็อตที่เผยแพร่แล้ว 6 ระบบ MOS ความเป็นธรรมชาติจากผู้ฟัง3.67 ±0.07Yao และคณะ, StableVC, AAAI 2025

หมายเหตุค่าผิดปกติ: ใน VCC 2020 ผู้ฟังชาวญี่ปุ่นประเมินความเป็นธรรมชาติภาษาเดียวกันของระบบนำ T10 ว่าเทียบเท่าผู้พูดเป้าหมาย ขณะที่ผู้ฟังชาวอังกฤษไม่ได้ประเมินเช่นนั้น (Zhao และคณะ, ภาพรวม VCC 2020) คำตัดสินว่าเทียบเท่ากันจึงอาจขึ้นอยู่กับว่าใครเป็นผู้ฟัง ดังนั้นกลุ่มผู้ฟังควรอยู่ในทุกผลลัพธ์ที่รายงาน

3. ความชัดเจนของคำพูดและตัวชี้วัดเชิงสเปกตรัม: WER และ MCD บอกอะไรได้และบอกอะไรไม่ได้

ตัวชี้วัดเชิงวัตถุวิสัยมีต้นทุนต่ำและทำซ้ำได้ เอกสารวิจัยจึงพึ่งพามัน มีสองกลุ่มที่พบบ่อย ได้แก่ ความชัดเจนของคำพูด วัดเป็นอัตราความผิดพลาดระดับคำ (WER) หรืออัตราความผิดพลาดระดับตัวอักษร (CER) ของตัวรู้จำเสียงพูดอัตโนมัติที่ถอดความเสียงที่แปลงแล้ว และระยะห่างเชิงสเปกตรัม ซึ่งมักเป็นความเพี้ยนเมลเซปสทรัล (MCD) วัดว่าสเปกตรัมที่แปลงแล้วห่างจากของเป้าหมายเพียงใด ทั้งสองค่ายิ่งต่ำยิ่งดี

ข้อมูล VCC แสดงว่า WER ตามความเป็นธรรมชาติได้พอสมควร แต่ตามความคล้ายคลึงได้ไม่ดี ใน VCC 2018 WER มีสหสัมพันธ์ -0.7127 กับความเป็นธรรมชาติในงานแบบไม่คู่ขนาน แต่เพียง -0.2272 กับความคล้ายคลึงของผู้พูด (Lorenzo-Trueba และคณะ, VCC 2018) MCD ดูอ่อนยิ่งกว่าในฐานะตัวแทนของความเป็นธรรมชาติ ใน Singing Voice Conversion Challenge 2023 ค่านี้ไม่มีสหสัมพันธ์อย่างมีนัยสำคัญกับคะแนนความเป็นธรรมชาติในโดเมนจากผู้ฟังทั้งสองกลุ่ม (Huang และคณะ, SVCC 2023) ตัวรู้จำเสียงพูดเองก็มีรูปแบบความล้มเหลวของมัน ซึ่งครอบคลุมในสถิติภาพหลอนของการรู้จำเสียงพูดของเรา ดังนั้น WER ต่ำบอกว่าคำพูดยังอยู่รอด ไม่ได้บอกว่าเสียงฟังดูถูกต้อง

ตัวชี้วัดค่าแหล่งที่มา
อัตราความผิดพลาดระดับคำของ ASR บนเสียงพูดต้นทางธรรมชาติ VCC 20186.40%Lorenzo-Trueba และคณะ, เอกสารวิจัย VCC 2018
WER ต่ำสุด / สูงสุดในบรรดาระบบ Hub ที่แปลงแล้วของ VCC 20188.60% / 35.60%Lorenzo-Trueba และคณะ, เอกสารวิจัย VCC 2018
สหสัมพันธ์ของ WER กับ MOS ความเป็นธรรมชาติ / กับความคล้ายคลึง งาน Hub แบบข้อมูลคู่ขนานและงาน Spoke แบบไม่คู่ขนานของ VCC 2018Hub -0.6587 / -0.3218; Spoke -0.7127 / -0.2272Lorenzo-Trueba และคณะ, เอกสารวิจัย VCC 2018
ทีมภาษาเดียวกันของ VCC 2020 ที่ WER ต่ำกว่า 5% / สูงกว่า 50%7 / 7Das และคณะ, การประเมินเชิงวัตถุวิสัย VCC 2020, 2020
MCD ระบบพื้นฐานเมลสเปกโทรแกรมธรรมดาเทียบกับระบบอันดับหนึ่งของ VCC 2020 (ข้อมูล VCC 2020)8.47 เทียบกับ 6.98Huang และคณะ, IEEE JSTSP 2022
สหสัมพันธ์ Spearman ของ MCD กับ MOS ความเป็นธรรมชาติในโดเมน SVCC 2023 (ผู้ฟังชาวญี่ปุ่น / อังกฤษ)-0.28 / -0.24 (ไม่มีนัยสำคัญ)Huang และคณะ, เอกสารวิจัย SVCC 2023
สหสัมพันธ์ Spearman ของ CER ที่อิง Whisper กับ MOS ความเป็นธรรมชาติในโดเมน SVCC 2023 (ผู้ฟังชาวญี่ปุ่น)-0.80 (p < 0.01)Huang และคณะ, เอกสารวิจัย SVCC 2023

หมายเหตุบริบท: การกระจายของ VCC 2020 กว้างมาก ผลงานภาษาเดียวกันที่แย่ที่สุดมี WER 96.17% หมายความว่าแทบไม่มีอะไรรอดจากการแปลงสำหรับตัวรู้จำเสียง ขณะที่ 7 ทีมอยู่ต่ำกว่า 5% (Das และคณะ, การประเมินเชิงวัตถุวิสัย VCC 2020)

4. ความคล้ายคลึงของเวกเตอร์ฝังตัวผู้พูด: มีประโยชน์ นิยม และเปราะบาง

คะแนนความคล้ายคลึงอัตโนมัติมาตรฐานคือความคล้ายคลึงโคไซน์ของเวกเตอร์ฝังตัวผู้พูด (มักเรียกว่า SECS หรือ SIM) คลิปทั้งสองถูกส่งผ่านเครือข่ายตรวจสอบยืนยันผู้พูด แล้วเปรียบเทียบมุมระหว่างเวกเตอร์ที่ได้ บนข้อมูลการแข่งขันค่านี้สอดคล้องกับผู้ฟังได้ดีในระดับระบบ ใน VCC 2020 อัตราความผิดพลาดของการตรวจสอบยืนยันผู้พูดมีสหสัมพันธ์ 0.89 และ 0.90 กับความคล้ายคลึงจากผู้ฟังในสองงาน (Das และคณะ, การประเมินเชิงวัตถุวิสัย VCC 2020) และระบบภาษาเดียวกัน 20 จาก 31 ระบบถูกตัวตรวจสอบยอมรับว่าเป็นเป้าหมายมากกว่า 90% ของครั้งทั้งหมด อัตรา ‘การยอมรับผิดพลาด’ ในที่นี้คือสัดส่วนคลิปที่แปลงแล้วซึ่งตัวตรวจสอบยอมรับผิดว่าเป็นผู้พูดเป้าหมายจริง ยิ่งสูงจึงหมายถึงการแปลงที่น่าเชื่อกว่า

ความสอดคล้องรายประโยคเป็นอีกเรื่องหนึ่ง เวกเตอร์ฝังตัว ECAPA-TDNN ที่ฝึกไว้ล่วงหน้าได้สหสัมพันธ์เชิงเส้น 0.768 กับคะแนนจากมนุษย์บนคู่เสียงจริง แต่ลดลงเหลือ 0.512 บนเสียงที่แปลงแล้วของ VCC 2018 (Ahn และคณะ, VoxSim, Interspeech 2024) งานวิจัยปี 2025 จาก Ubisoft La Forge และมหาวิทยาลัย Stellenbosch พบว่าโมเดลตรวจสอบยืนยันแยกคลิปสั้นและคลิปยาวของผู้พูดคนเดียวกันได้ดีกว่าการเดาสุ่มมาก และสัญญาณรบกวนกับการปรับสมดุลเสียงทำให้คะแนนเปลี่ยน ดังนั้นค่า SIM ส่วนหนึ่งจึงวัดสภาพการบันทึกเสียง (Carbonneau และคณะ 2025) ผู้ที่เปรียบเทียบซอฟต์แวร์โคลนเสียงจากตัวเลข SIM ที่เผยแพร่ควรตรวจสอบว่าใช้โมเดลเวกเตอร์ฝังตัว ชุดทดสอบ และความยาวคลิปเดียวกันหรือไม่

ตัวชี้วัดค่าแหล่งที่มา
ระบบภาษาเดียวกันของ VCC 2020 ที่ตัวตรวจสอบยืนยันผู้พูดยอมรับว่าเป็นเป้าหมายมากกว่า 90% ของครั้งทั้งหมด20 จาก 31Das และคณะ, การประเมินเชิงวัตถุวิสัย VCC 2020, 2020
ระบบข้ามภาษาของ VCC 2020 ที่อยู่เหนือระดับการยอมรับผิดพลาด 90% เดียวกัน10Das และคณะ, การประเมินเชิงวัตถุวิสัย VCC 2020, 2020
สหสัมพันธ์ Pearson ของอัตราความผิดพลาดของตัวตรวจสอบกับความคล้ายคลึงจากผู้ฟัง VCC 2020 งานที่ 1 / งานที่ 20.89 / 0.90Das และคณะ, การประเมินเชิงวัตถุวิสัย VCC 2020, 2020
สหสัมพันธ์ Pearson ของระยะโคไซน์ของเวกเตอร์ฝังตัวกับความคล้ายคลึงจากผู้ฟัง VCC 2020 งานที่ 1 / งานที่ 20.85 / 0.82Das และคณะ, การประเมินเชิงวัตถุวิสัย VCC 2020, 2020
ตัวรู้จำผู้พูด ECAPA-TDNN ที่ฝึกไว้ล่วงหน้าเทียบกับความคล้ายคลึงจากมนุษย์ คู่เสียงพูดจริง (สหสัมพันธ์เชิงเส้น)0.768Ahn และคณะ, VoxSim, Interspeech 2024
โมเดลที่ฝึกไว้ล่วงหน้าเดียวกันบนเสียงที่แปลงแล้วของ VCC 2018 (สหสัมพันธ์เชิงเส้น)0.512Ahn และคณะ, VoxSim, Interspeech 2024
ความคล้ายคลึงของเวกเตอร์ฝังตัวเทียบกับคะแนนความคล้ายคลึงของเสียงจากมนุษย์ ในงานศึกษาการสังเคราะห์แบบซีโรช็อต (ระดับประโยค)0.55Li และคณะ, DMOSpeech 2025
อัตราความผิดพลาดเท่ากันของตัวตรวจสอบเมื่อเปรียบเทียบคลิปสั้นของผู้พูดคนหนึ่งกับคลิปยาวของตนเอง (ECAPA-TDNN; 0.50 หมายถึงแยกไม่ออก)0.34 ±0.04Carbonneau และคณะ 2025

หมายเหตุค่าผิดปกติ: การเติมสัญญาณรบกวนที่อัตราส่วนสัญญาณต่อสัญญาณรบกวน 20 dB ทำให้อัตราความผิดพลาดเท่ากันของ ECAPA-TDNN ตัวเดียวกัน สำหรับคลิปสะอาดเทียบกับคลิปมีสัญญาณรบกวนของผู้พูดคนหนึ่ง เพิ่มเป็น 0.34 และที่ 0 dB เป็น 0.05 (Carbonneau และคณะ 2025) พูดง่าย ๆ คือตัวตรวจสอบเริ่มมองสำเนาเสียงที่มีสัญญาณรบกวนว่าเป็นคนละคน

5. ในโดเมนเทียบกับข้ามภาษาและผู้พูดใดก็ได้สู่ผู้พูดใดก็ได้: จุดที่คะแนนพังทลาย

ตัวเลขเกณฑ์เปรียบเทียบมักรายงานในสภาพแวดล้อมที่เป็นมิตรที่สุด คือภาษาเดียวกัน เสียงจากสตูดิโอ และผู้พูดเป้าหมายที่โมเดลเคยฝึกมา (การแปลงจากผู้พูดใดก็ได้สู่ผู้พูดเป้าหมายคนเดียว) เปลี่ยนข้อใดข้อหนึ่งคะแนนก็ลดลง ระบบนำของ VCC 2020 คือ T10 เสียความเป็นธรรมชาติไป 0.75 คะแนน MOS เมื่อเปลี่ยนจากการแปลงภาษาเดียวกันเป็นการแปลงข้ามภาษา และในงานนั้นตัวอย่างไม่ถึง 80% ถูกตัดสินว่าเป็นผู้พูดเป้าหมาย (Zhao และคณะ, ภาพรวม VCC 2020) ผู้ฟังยังให้คะแนนความคล้ายคลึงต่ำลงเมื่อคลิปอ้างอิงเป็นภาษาที่สองของผู้พูดแทนที่จะเป็นภาษาอังกฤษ

การลดลงที่ชันที่สุดมาจากผู้พูดเป้าหมายที่ไม่เคยเห็น (การแปลงจากผู้พูดใดก็ได้สู่ผู้พูดเป้าหมายใดก็ได้) ในการเปรียบเทียบของ IEEE JSTSP ระบบที่ใช้ลักษณะเด่นจากการเรียนรู้แบบกำกับตนเองรักษาความเป็นธรรมชาติไว้เกือบเท่าเดิม แต่ความคล้ายคลึงลดลงครึ่งหนึ่ง (Huang และคณะ, IEEE JSTSP 2022) ระบบแบบซีโรช็อตล่าสุดก็ยังแสดงช่องว่างนี้ บนเสียงพูดที่มีสำเนียงและเสียงพูดที่มีอารมณ์ ผู้เขียน ICLR 2025 วัดความคล้ายคลึงของผู้พูดได้ 0.762 สำหรับการบันทึกเสียงจริง เทียบกับ 0.517 สำหรับผลลัพธ์ที่แปลงแล้วที่ดีที่สุด (Zhang และคณะ, Vevo, ICLR 2025)

ตัวชี้วัดค่าแหล่งที่มา
USTC-2020 สัดส่วนที่ถูกตัดสินว่าเหมือนเป้าหมาย ภาษาเดียวกันเทียบกับข้ามภาษา82% เทียบกับ 43%Huang และคณะ, IEEE JSTSP 2022
ระบบที่ใช้ลักษณะเด่นจากการเรียนรู้แบบกำกับตนเอง ผู้พูดเป้าหมายที่รู้จัก (ผู้พูดใดก็ได้สู่ผู้พูดเป้าหมายคนเดียว) เทียบกับผู้พูดเป้าหมายที่ไม่เคยเห็น (ผู้พูดใดก็ได้สู่ผู้พูดเป้าหมายใดก็ได้): ความคล้ายคลึง / MOS ความเป็นธรรมชาติ59% เทียบกับ 28% / 3.59 เทียบกับ 3.58Huang และคณะ, IEEE JSTSP 2022
ระบบ Hub ของ VCC 2018 นอกจากผู้ชนะ MOS ความเป็นธรรมชาติของคู่เพศเดียวกันเทียบกับต่างเพศ3.08 เทียบกับ 2.78Lorenzo-Trueba และคณะ, เอกสารวิจัย VCC 2018
ความคล้ายคลึงของผู้พูดของระบบแบบซีโรช็อตในปริภูมิโคเดก ภาษาเดียวกัน (อังกฤษ / จีน) เทียบกับข้ามภาษา (อังกฤษเป็นจีน / จีนเป็นอังกฤษ)0.63 / 0.73 เทียบกับ 0.52 / 0.49Zheng และคณะ, X-VC 2026
ความคล้ายคลึงของผู้พูดบนเสียงพูดที่มีสำเนียงและอารมณ์ การบันทึกเสียงจริงเทียบกับผลลัพธ์ที่แปลงแล้วที่ดีที่สุด0.762 เทียบกับ 0.517Zhang และคณะ, Vevo, ICLR 2025

หมายเหตุบริบท: เอกสารวิจัยโคเดกปี 2026 ประเมินคู่ข้ามภาษาบนชุดย่อยที่ต่างออกไป (1,000 ประโยคแรกของแต่ละภาษา) ตัวเลขภาษาเดียวกันและข้ามภาษาของงานนี้จึงเป็นเพียงตัวบ่งชี้ ไม่ใช่การเปรียบเทียบที่ควบคุมตัวแปร (Zheng และคณะ, X-VC 2026) เวอร์ชันสตรีมมิงของงานนี้ทำงานด้วยความหน่วงของโมเดล 240 ms

6. การแปลงเสียงร้องเพลง: ความเป็นธรรมชาติเสมอกัน แต่ตัวตนยังมีช่องว่าง

การร้องเพลงกดดันการแปลงเสียงในแบบที่เสียงพูดไม่ทำ ได้แก่ ช่วงระดับเสียงที่กว้างกว่า โน้ตยาว และเทคนิคอย่างวิบราโต Singing Voice Conversion Challenge (SVCC) รับช่วงรูปแบบการแข่งขันต่อในปี 2023 ระบบอันดับหนึ่งของ SVCC 2023 เทียบเท่าความเป็นธรรมชาติของข้อมูลอ้างอิงจริงที่ราว 3.9 แต่ได้ความคล้ายคลึงเพียง 65% เทียบกับ 80% ของนักร้องจริง (Violeta และคณะ, การวิเคราะห์ SVCC 2025) นี่เป็นด้านตรงข้ามของเรื่องราวเสียงพูด ซึ่งตัวตนเท่าเทียมได้ก่อน

SVCC 2025 เพิ่มการแปลงสไตล์การร้อง และไม่มีระบบใดบรรลุความเป็นธรรมชาติระดับมนุษย์ สไตล์คือส่วนที่ยาก การร้องแบบเสียงลมหายใจ กลิสซานโด (การไล่เสียงเลื่อนระหว่างโน้ต) และวิบราโต เป็นเทคนิคที่ถูกทำซ้ำได้แม่นยำน้อยที่สุด ผู้เขียนยังตั้งคำถามว่าการทดสอบความคล้ายคลึงมาตรฐานเพียงพอสำหรับตัดสินสไตล์หรือไม่ ตัวตนของนักร้องก็ให้คะแนนยากเช่นกัน แม้แต่ตัวอย่างข้อมูลอ้างอิงจริงก็ได้เพียงราว 70% ในการทดสอบนั้น

ตัวชี้วัดค่าแหล่งที่มา
ระบบที่ส่งเข้า SVCC 2023 บวกระบบพื้นฐาน24 + 2Huang และคณะ, เอกสารวิจัย SVCC 2023
ผู้ฟัง SVCC 2023 ภาษาอังกฤษ / ภาษาญี่ปุ่น40 / 319Huang และคณะ, เอกสารวิจัย SVCC 2023
ทีม SVCC 2023 ที่ได้ความเป็นธรรมชาติสูงกว่า 3.0 งานในโดเมนเทียบกับงานข้ามโดเมน14 เทียบกับ 8Huang และคณะ, เอกสารวิจัย SVCC 2023
ระบบอันดับหนึ่งของ SVCC 2023 เทียบกับข้อมูลอ้างอิงจริง: ความเป็นธรรมชาติ / ความคล้ายคลึงราว 3.9 / 65% เทียบกับราว 3.9 / 80%Violeta และคณะ, การวิเคราะห์ SVCC 2025, 2025
ระบบอันดับต้นของ SVCC 2025 เทียบกับข้อมูลอ้างอิงจริง: ความเป็นธรรมชาติ / ความคล้ายคลึงด้านสไตล์ราว 3.7 / 70% เทียบกับราว 3.9 / 90%Violeta และคณะ, การวิเคราะห์ SVCC 2025, 2025
ความแม่นยำด้านสไตล์ของ SVCC 2025 สำหรับการร้องแบบเสียงลมหายใจ / กลิสซานโด / วิบราโต37.3% / 42.6% / 43.9%Violeta และคณะ, การวิเคราะห์ SVCC 2025, 2025
สหสัมพันธ์ Spearman สูงสุดระหว่างตัวชี้วัดเชิงวัตถุวิสัยใด ๆ กับคะแนนเชิงอัตวิสัย SVCC 2025ราว 0.8Violeta และคณะ, การวิเคราะห์ SVCC 2025, 2025

หมายเหตุบริบท: ใน SVCC 2023 ช่องว่างความคล้ายคลึงระหว่างเป้าหมายกับระบบอันดับหนึ่งอยู่ที่ราว 0.4 คะแนนบนมาตรา 4 ระดับในทั้งสองงาน (Huang และคณะ, SVCC 2023) และระยะห่างของเวกเตอร์ฝังตัวผู้พูดเป็นตัวชี้วัดเชิงวัตถุวิสัยที่มีสหสัมพันธ์กับความคล้ายคลึงสูงที่สุด (Spearman -0.83 สำหรับผู้ฟังชาวญี่ปุ่น งานในโดเมน)

7. ความน่าเชื่อถือของการประเมิน: จำนวนผู้ฟัง ความแปรปรวน และความเอนเอียง

ตัวเลขทุกตัวข้างต้นอิงกับคะแนนจากมนุษย์ และคะแนนเหล่านั้นมีสัญญาณรบกวน สำหรับราวครึ่งหนึ่งของประโยค VCC 2018 ส่วนเบี่ยงเบนมาตรฐานของคะแนนจากผู้ฟังทั้งสี่คนมากกว่า 1 คะแนนบนมาตรา 5 ระดับ (Lo และคณะ, MOSNet) การหาค่าเฉลี่ยแก้ปัญหานั้นได้มากในระดับระบบ จึงเป็นเหตุผลที่ตัวทำนายอัตโนมัติดูแข็งแกร่งที่ระดับนั้น (สหสัมพันธ์ 0.957) และอ่อนในระดับรายประโยค (0.642)

การออกแบบการทดสอบก็ทำให้คะแนนเปลี่ยนเช่นกัน Cooper และ Yamagishi แสดงให้เห็นว่าการประเมินเฉพาะระบบที่แข็งแกร่งที่สุดไว้ด้วยกันอาจลด MOS ของระบบหนึ่งได้สูงสุดราวหนึ่งคะแนนเต็ม เพราะผู้ฟังกระจายคะแนนของตนไปทั่วทั้งมาตราไม่ว่าช่วงคุณภาพจะเป็นอย่างไร (Cooper และ Yamagishi, Interspeech 2023) การสำรวจเอกสารวิจัยการสังเคราะห์เสียงพูดของ Interspeech 2022 จำนวน 80 ฉบับพบว่า 51 ฉบับไม่ได้ให้คำแนะนำแก่ผู้ฟัง (Chiang และคณะ 2023) และในงานศึกษาเดียวกัน ผู้ทำงานแบบคราวด์ซอร์สในสหราชอาณาจักรให้คะแนนระบบหนึ่ง 2.64 ขณะที่ผู้ทำงานในสหรัฐอเมริกาให้ 3.73

ตัวชี้วัดค่าแหล่งที่มา
ผู้ฟังที่ไม่ซ้ำกันของ VCC 2018 / ประโยคที่ได้รับการประเมิน267 / 113,168Lorenzo-Trueba และคณะ, เอกสารวิจัย VCC 2018
ประโยค VCC 2018 ที่คะแนนทั้งสี่มีส่วนเบี่ยงเบนมาตรฐานเกิน 1ราวครึ่งหนึ่งLo และคณะ, MOSNet 2019
ตัวทำนาย MOS อัตโนมัติเทียบกับ MOS จากมนุษย์บน VCC 2018 ระดับประโยคเทียบกับระดับระบบ (สหสัมพันธ์เชิงเส้น)0.642 เทียบกับ 0.957Lo และคณะ, MOSNet 2019
ค่าใช้จ่ายของการทดสอบการฟัง VCC 2020 สองครั้ง (ผู้ฟังภาษาอังกฤษและภาษาญี่ปุ่น)738,128 เยน (ประมาณ 6,900 USD)Zhao และคณะ, ภาพรวม VCC 2020, 2020
ความสอดคล้องระหว่างคะแนนของผู้ฟังชาวญี่ปุ่นและชาวอังกฤษ VCC 2020สหสัมพันธ์ 0.965 ถึง 0.984Zhao และคณะ, ภาพรวม VCC 2020, 2020
การลดลงของ MOS สูงสุดสำหรับระบบหนึ่งเมื่อถูกประเมินเคียงกับระบบอันดับต้น 6% เท่านั้น1.28 คะแนนCooper และ Yamagishi, Interspeech 2023
เอกสารวิจัยการสังเคราะห์เสียงพูดของ Interspeech 2022 (จาก 80 ฉบับ) ที่ไม่ให้คำแนะนำแก่ผู้ฟัง51Chiang และคณะ, Interspeech 2023
คำตอบจากคราวด์ซอร์สที่ถูกทำให้เป็นโมฆะในการทดสอบการฟังที่มีผู้ทำงาน 501 คนราว 30%Li และคณะ, DMOSpeech 2025

หมายเหตุบริบท: เอกสารวิจัยเดี่ยว ๆ ทำการทดสอบที่เล็กกว่าการแข่งขันมาก เอกสาร Interspeech ปี 2023 เรื่องการแปลงด้วยเพื่อนบ้านที่ใกล้ที่สุดเก็บคะแนนความเป็นธรรมชาติ 2,144 รายการจากผู้ฟัง 61 คน และคะแนนความคล้ายคลึง 1,636 รายการจากผู้ฟัง 208 คน (Baas และคณะ, Interspeech 2023) ช่วงที่รายงานอยู่ที่ราว ±0.1 คะแนน ดังนั้นช่องว่างที่เล็กกว่านั้นระหว่างสองระบบที่ใกล้กันจึงบอกอะไรได้น้อย

สรุป: เกณฑ์เปรียบเทียบความคล้ายคลึงของผู้พูดและความเป็นธรรมชาติในการแปลงเสียงด้วยตัวเลข

ตัวชี้วัดค่าแหล่งที่มา
ระบบที่ดีที่สุดของ VCC 2016 ความเป็นธรรมชาติ / ความคล้ายคลึงสูงสุด3.0 / ราว 70%Zhao และคณะ, ภาพรวม VCC 2020, 2020; Wester และคณะ, Interspeech 2016
ระบบที่ดีที่สุดของ VCC 2018 ความเป็นธรรมชาติ / ความคล้ายคลึงราว 4.1 / ราว 80%Lorenzo-Trueba และคณะ, เอกสารวิจัย VCC 2018
การบันทึกเสียงธรรมชาติใน VCC 2016: ความเป็นธรรมชาติ / ความคล้ายคลึง4.5 / 90%Violeta และคณะ, การวิเคราะห์ SVCC 2025, 2025
USTC-2020 เทียบกับการบันทึกเสียงเป้าหมาย MOS ความเป็นธรรมชาติ4.41 เทียบกับ 4.57Huang และคณะ, IEEE JSTSP 2022
ระบบแบบซีโรช็อตเทียบกับข้อมูลอ้างอิงจริง MOS ความเป็นธรรมชาติจากผู้ฟัง3.96 เทียบกับ 4.33Yao และคณะ, StableVC, AAAI 2025
สหสัมพันธ์ของ MCD กับความเป็นธรรมชาติในโดเมน SVCC 2023-0.28 / -0.24 (ไม่มีนัยสำคัญ)Huang และคณะ, เอกสารวิจัย SVCC 2023
ระบบภาษาเดียวกันของ VCC 2020 ที่หลอกตัวตรวจสอบยืนยันผู้พูดได้มากกว่า 90% ของครั้งทั้งหมด20 จาก 31Das และคณะ, การประเมินเชิงวัตถุวิสัย VCC 2020, 2020
ความคล้ายคลึงของเวกเตอร์ฝังตัวเทียบกับคะแนนจากมนุษย์ เสียงพูดจริงเทียบกับเสียงที่แปลงแล้ว0.768 เทียบกับ 0.512Ahn และคณะ, VoxSim, Interspeech 2024
อัตราความผิดพลาดของตัวตรวจสอบ คลิปสั้นเทียบกับคลิปยาวของผู้พูดคนเดียวกัน (0.50 = แยกไม่ออก)0.34Carbonneau และคณะ 2025
ความคล้ายคลึง การแปลงจากผู้พูดใดก็ได้สู่ผู้พูดเป้าหมายคนเดียวเทียบกับสู่ผู้พูดเป้าหมายใดก็ได้59% เทียบกับ 28%Huang และคณะ, IEEE JSTSP 2022
ความคล้ายคลึง ภาษาเดียวกันเทียบกับการแปลงจากจีนเป็นอังกฤษ (ระบบปี 2026)0.63 เทียบกับ 0.49Zheng และคณะ, X-VC 2026
ความคล้ายคลึงของผู้พูด การบันทึกเสียงจริงเทียบกับผลลัพธ์ที่แปลงแล้วที่ดีที่สุดบนเสียงพูดที่มีสำเนียงและอารมณ์0.762 เทียบกับ 0.517Zhang และคณะ, Vevo, ICLR 2025
ความคล้ายคลึงของระบบอันดับหนึ่งของ SVCC 2023 เทียบกับข้อมูลอ้างอิงจริง65% เทียบกับ 80%Violeta และคณะ, การวิเคราะห์ SVCC 2025, 2025
ประโยค VCC 2018 ที่ส่วนเบี่ยงเบนมาตรฐานของคะแนนเกิน 1ราวครึ่งหนึ่งLo และคณะ, MOSNet 2019
การลดลงของ MOS สูงสุดจากความเอนเอียงที่ทำให้ช่วงคะแนนเท่ากัน1.28 คะแนนCooper และ Yamagishi, Interspeech 2023

ระเบียบวิธีและแหล่งที่มา

อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการอัปเดตครั้งถัดไปจะเกิดขึ้นเมื่อมีการเผยแพร่ผลการทดสอบการฟังของ Voice Conversion Challenge หรือ Singing Voice Conversion Challenge รอบถัดไป

ลอง VoxBooster — ทดลองใช้ฟรี 3 วัน

โคลนเสียงเรียลไทม์ ซาวด์บอร์ด และเอฟเฟกต์ — ทุกที่ที่คุณคุย

  • ไม่ต้องใช้บัตรเครดิต
  • ความหน่วง ~30ms
  • Discord · Teams · OBS
ลองฟรี 3 วัน