โมเดลสังเคราะห์เสียงร้องเพลงที่ดีที่สุดที่ฝึกบนคลังข้อมูล Opencpop ได้คะแนน 3.70 จากมาตรา 5 ระดับของคะแนนความเห็นเฉลี่ย (MOS) ขณะที่เสียงบันทึกของนักร้องมืออาชีพเองได้ 4.51 (Wang et al., งานวิจัย Opencpop, Interspeech 2022) ในงานวิจัยเกณฑ์เปรียบเทียบอีกสี่ชิ้น โมเดลที่ดีที่สุดอยู่ระหว่าง 3.81 ถึง 4.01 เทียบกับ 4.30 ถึง 4.54 ของเสียงบันทึกจริง (ดูหัวข้อที่ 4) มนุษย์เองก็ไม่สมบูรณ์แบบ ผู้ใหญ่ 24 คนที่ร้องเพลงสุขสันต์วันเกิดจากความจำร้องพลาดโน้ตเป้าหมายด้วยค่ามัธยฐาน 19 เซนต์ หรือราวหนึ่งในห้าของเซมิโทน (Mauch, Frieler และ Dixon, JASA 2014) และผู้ฟังที่เป็นค่ามัธยฐานตรวจพบเสียงร้องที่เพี้ยนได้เมื่อเพี้ยนราว 55 เซนต์เท่านั้น (Larrouy-Maestri, Harrison และ Müllensiefen, Behavior Research Methods 2019) การสังเคราะห์เสียงพูดไปถึงระดับเทียบเท่าบนเกณฑ์เปรียบเทียบหลายชุดแล้ว ดังที่สรุปไว้ในสถิติ MOS ของเสียงพูดสังเคราะห์ของเรา แต่เสียงร้องเพลงยังไม่ถึง เรารวบรวมข้อมูลจากงานวิจัยคลังข้อมูล Opencpop, M4Singer, GTSinger และ ACE-Opencpop การแข่งขัน Singing Voice Conversion Challenge ปี 2023 และ 2025 การแข่งขันตรวจจับดีปเฟกต์ SVDD 2024 เกณฑ์เปรียบเทียบการให้คะแนน SingMOS-Pro และงานวิจัยเรื่องการร้องเพลงที่ผ่านการพิจารณาโดยผู้ทรงคุณวุฒิใน JASA, Frontiers in Psychology, PLoS One และ Journal of Research in Music Education
สรุปโดยย่อ
- โมเดลฐาน Opencpop ที่ดีที่สุดได้ 3.70 MOS เทียบกับ 4.51 ของเสียงบันทึกต้นฉบับ (Wang et al., งานวิจัย Opencpop, Interspeech 2022)
- นักร้องผู้ใหญ่ 24 คนร้องตรงโน้ตด้วยค่ามัธยฐานของความคลาดเคลื่อน 19 เซนต์ (Mauch, Frieler และ Dixon, JASA 2014)
- 28% ของนักร้องที่ร้องเป็นครั้งคราว 50 คนถูกจัดเป็นนักร้องที่ร้องเพี้ยน (Berkowska และ Dalla Bella, Frontiers in Psychology 2013)
- มีเพียง 37% จาก 1,046 คนที่จับคู่ระดับเสียงได้แม่นยำภายใต้กฎเข้มงวด 50 เซนต์ (Pfordresher และ Demorest, JRME 2021)
- ผู้ฟังที่เป็นค่ามัธยฐานตรวจพบเสียงเพี้ยนเมื่อระดับเสียงเลื่อน 54.989 เซนต์ (Larrouy-Maestri, Harrison และ Müllensiefen, Behavior Research Methods 2019)
- การให้เส้นระดับเสียงของนักร้องจริงแก่ DiffSinger ทำให้ MOS ด้านลีลาการร้องเพิ่มจาก 3.72 เป็น 4.02 แต่คุณภาพเสียงเพิ่มเพียงจาก 3.92 เป็น 3.97 (Zhang et al., M4Singer, NeurIPS 2022)
- VISinger 2 ลดจาก 3.96 เหลือ 3.02 MOS เมื่อไม่มีตัวสังเคราะห์ DSP (Zhang et al., งานวิจัย VISinger 2 ปี 2022)
- CoMelSinger เข้าใกล้เสียงบันทึกในระยะ 0.24 คะแนนด้านความเป็นธรรมชาติสำหรับนักร้องที่ไม่เคยได้ยิน (Zhao et al., CoMelSinger 2026)
- ACE-Opencpop เพิ่มเสียงร้องสังเคราะห์ 128.9 ชั่วโมงจาก 30 เสียง (Shi et al., งานวิจัย ACE-Opencpop 2024)
- ไม่มีระบบใดถึงความเป็นธรรมชาติระดับมนุษย์ใน SVCC 2025 โดยระบบชั้นนำอยู่ที่ราว 3.7 เทียบกับราว 3.9 ของเสียงร้องจริง (งานวิจัยวิเคราะห์ SVCC 2025)
- SingMOS-Pro รวบรวมคะแนนประเมินคุณภาพ 44,247 รายการจากผู้ติดป้ายกำกับ 78 คน (งานวิจัยเกณฑ์เปรียบเทียบ SingMOS-Pro 2026)
- เครื่องตรวจจับ SVDD 2024 ที่ดีที่สุดทำอัตราความผิดพลาดเท่ากันได้ 1.65% (Zhang et al., งานวิจัยการแข่งขัน SVDD 2024)
1. เกณฑ์อ้างอิงของมนุษย์: คนเราร้องเพลงได้แม่นยำแค่ไหนจริง ๆ
ความแม่นยำของระดับเสียงวัดเป็นเซนต์ 100 เซนต์เท่ากับหนึ่งเซมิโทน คือระยะห่างระหว่างคีย์เปียโนสองคีย์ที่อยู่ติดกัน ค่ามัธยฐานของความคลาดเคลื่อนต่อโน้ต 19 เซนต์ในนักร้อง 24 คนที่ร้องโดยไม่มีดนตรีประกอบ (Mauch, Frieler และ Dixon, JASA 2014) คือเป้าหมายที่สมจริงสำหรับนักร้องสังเคราะห์ ไม่ใช่ศูนย์ แม้แต่เสียงที่ผ่านการฝึกก็ยังคลาดเคลื่อน นักร้องมืออาชีพร้องช่วงเสียงได้แม่นยำน้อยลง ไม่ใช่มากขึ้น เมื่อเปลี่ยนมาใช้เทคนิคโอเปร่า
การกระจายตัวในประชากรกว้าง มีเพียง 24% ของผู้เข้าร่วมที่ไม่ได้รับการฝึกที่จับคู่ระดับเสียงได้แม่นยำ ในชุดข้อมูลเดียวกับที่ 37% ของกลุ่มตัวอย่างทั้งหมดทำได้ (Pfordresher และ Demorest, JRME 2021) จังหวะอธิบายความแตกต่างได้เป็นส่วนใหญ่ ในการศึกษาคลาสสิกกับผู้ที่ร้องเป็นครั้งคราว 62 คน คนที่ไม่ใช่นักดนตรี 15 คนส่วนใหญ่ที่ทดสอบซ้ำด้วยจังหวะที่ช้าลงทำได้แม่นยำเทียบเท่ามืออาชีพ และมีเพียงสองคนที่ยังคงพลาดระดับเสียงบ่อย (Dalla Bella, Giguère และ Peretz, JASA 2007)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ค่ามัธยฐานของความคลาดเคลื่อนต่อโน้ต ผู้ใหญ่ 24 คนร้องเพลงสุขสันต์วันเกิดโดยไม่มีดนตรีประกอบ | 19 เซนต์ | Mauch, Frieler และ Dixon, JASA 2014 |
| ค่ามัธยฐานของการเลื่อนระดับเสียงสัมบูรณ์ตลอดการแสดงราว 50 วินาที | 11 เซนต์ | Mauch, Frieler และ Dixon, JASA 2014 |
| ค่าเฉลี่ยความเบี่ยงเบนของช่วงเสียง นักร้องมืออาชีพ 14 คนที่ร้องโดยไม่ใช้เทคนิคโอเปร่า | 32.81 เซนต์ | Larrouy-Maestri และ Morsomme, Logopedics Phoniatrics Vocology 2014 |
| ค่าเฉลี่ยความเบี่ยงเบนของช่วงเสียง ผู้ที่ร้องเป็นครั้งคราว 63 คนที่ไม่เคยผ่านการฝึกอย่างเป็นทางการ | 50.83 เซนต์ | Larrouy-Maestri และ Morsomme, Logopedics Phoniatrics Vocology 2014 |
| ค่าเฉลี่ยความเบี่ยงเบนของช่วงเสียง มืออาชีพกลุ่มเดียวกันเมื่อใช้เทคนิคโอเปร่า (ลิริก) | 62.13 เซนต์ | Larrouy-Maestri และ Morsomme, Logopedics Phoniatrics Vocology 2014 |
| ผู้ที่ร้องเป็นครั้งคราวที่ถูกจัดเป็นนักร้องที่ร้องเพี้ยน (ห่างจากค่าเฉลี่ยของกลุ่ม 2 ส่วนเบี่ยงเบนมาตรฐาน) | 28% (14 จาก 50) | Berkowska และ Dalla Bella, Frontiers in Psychology 2013 |
| ผู้ที่จับคู่ระดับเสียงได้แม่นยำ (90% ขึ้นไปของโน้ตอยู่ภายใน 50 เซนต์) กลุ่มตัวอย่างรวม 1,046 คน | 37% | Pfordresher และ Demorest, JRME 2021 |
| การร้องที่จัดว่าแม่นยำเมื่อผ่อนเกณฑ์เป็น 100 เซนต์ | 94% | Pfordresher และ Demorest, JRME 2021 |
ข้อมูลล่าสุดที่มี: Pfordresher และ Demorest, Journal of Research in Music Education 2021 สัดส่วนของผู้ร้องเพี้ยนแกว่งไปตามเกณฑ์ตัด สำหรับระดับเสียงเดี่ยวที่ร้อง 6% ของผู้ที่ร้องเป็นครั้งคราวกลุ่มเดิม 50 คนอยู่เกินเส้น 2 SD แต่ 58% อยู่เกิน 50 เซนต์ ดังนั้นตัวเลขความชุกที่นำเสนอเป็นพาดหัวจึงเชื่อถือได้เพียงเท่ากับเกณฑ์ที่ใช้
2. ความทนทานของผู้ฟัง: หูให้อภัยความคลาดเคลื่อนของระดับเสียงได้แค่ไหน
นักร้องสังเคราะห์ไม่จำเป็นต้องชนะเครื่องตั้งสาย แต่ต้องชนะผู้ฟัง ความสามารถในการตรวจจับเสียงเพี้ยนของผู้ฟังที่เป็นค่ามัธยฐานเทียบเท่ากับการเลื่อนระดับเสียงร้อง 54.989 เซนต์ ในการปรับเทียบ Mistuning Perception Test กับผู้เข้าร่วม 333 คน โดย 95% ของผู้ฟังอยู่ระหว่าง 36.309 ถึง 82.589 เซนต์ (Larrouy-Maestri, Harrison และ Müllensiefen, Behavior Research Methods 2019) นั่นคือราวครึ่งเซมิโทน สูงกว่าค่ามัธยฐานของความคลาดเคลื่อนต่อโน้ต 19 เซนต์ในหัวข้อที่ 1 มาก แม้การทดสอบทั้งสองจะวัดคนละอย่างก็ตาม
ผู้ฟังทั่วไปยังตัดสินระดับเสียงได้สม่ำเสมอ คะแนนของผู้ตัดสินทั่วไปสอดคล้องกับความเบี่ยงเบนของช่วงเสียงที่วัดได้เกือบเท่าคะแนนของผู้เชี่ยวชาญ และโดยรวมเข้มงวดกว่า (Larrouy-Maestri et al., PLoS One 2015) สำหรับโมเดลสังเคราะห์ นั่นหมายความว่ากลุ่มผู้ฟังทั่วไปเป็นคณะทดสอบที่ใช้ได้สำหรับความคลาดเคลื่อนของระดับเสียง ไม่ใช่เฉพาะคณะครูสอนร้องเพลงเท่านั้น
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เกณฑ์การตรวจจับ การฝึกดนตรีต่ำเทียบกับสูง (คะแนนการฝึก Gold-MSI 10 เทียบกับ 40) | 65.173 เทียบกับ 43.219 เซนต์ | Larrouy-Maestri, Harrison และ Müllensiefen, Behavior Research Methods 2019 |
| การตรวจจับเสียงเพี้ยนได้ถูกต้อง การเลื่อนที่น้อยที่สุดเทียบกับมากที่สุดที่ทดสอบ (10 ถึง 100 เซนต์ โอกาสสุ่ม = 50%) | 51.2% ถึง 81.5% | Larrouy-Maestri, Harrison และ Müllensiefen, Behavior Research Methods 2019 |
| สหสัมพันธ์กับความเบี่ยงเบนของช่วงเสียงที่วัดได้ ผู้ตัดสินผู้เชี่ยวชาญ 3 คนเทียบกับผู้ตัดสินทั่วไป | ราว .83 เทียบกับราว .79 | Larrouy-Maestri et al., PLoS One 2015 |
| ค่าเฉลี่ยความเบี่ยงเบนของช่วงเสียงจากการแสดงเพลงสุขสันต์วันเกิด 166 ครั้งที่ได้รับการประเมิน | 55.97 เซนต์ (ช่วง 10.10 ถึง 383) | Larrouy-Maestri et al., PLoS One 2015 |
| สหสัมพันธ์ระหว่างการแยกแยะระดับเสียงกับการจับคู่ระดับเสียง อาสาสมัคร 632 คน | r(630) = -.31, p < .001 | Pfordresher และ Demorest, JRME 2021 |
ข้อมูลล่าสุดที่มี: Larrouy-Maestri, Harrison และ Müllensiefen, 2019 การทดสอบเลื่อนแทร็กเสียงร้องทั้งแทร็กด้วยปริมาณคงที่ จึงวัดความทนทานต่อนักร้องที่เพี้ยนตลอดทั้งเพลง ไม่ใช่ต่อความคลาดเคลื่อนที่เปลี่ยนไปในแต่ละโน้ต ซึ่งผู้เขียนเว้นไว้สำหรับงานในอนาคต
3. ตัวชี้วัดระดับเสียงเชิงวัตถุวิสัย: งานวิจัย SVS วัดอะไรบ้าง
งานวิจัยการสังเคราะห์เสียงร้องเพลง (SVS) ให้คะแนนระดับเสียงด้วย F0 RMSE ซึ่งคือค่ารากที่สองของความคลาดเคลื่อนกำลังสองเฉลี่ยระหว่างความถี่มูลฐานที่สร้างขึ้นกับของจริง (F0 คือเส้นระดับเสียง) ไม่มีงานวิจัย SVS ชิ้นใดที่เราทบทวนรายงานความคลาดเคลื่อนนี้เป็นเซนต์: ตารางของ Opencpop, VISinger 2 และ CSSinger ไม่ระบุหน่วยเลย ส่วน ACE-Opencpop ใช้สเกล F0 แบบลอการิทึม การศึกษากับมนุษย์ใช้เซนต์ จึงยังไม่มีคะแนนระดับเสียงแบบ ‘เครื่องกับมนุษย์’ ที่เทียบกันได้ตรง ๆ
สิ่งที่ตัวเลขแสดงได้จริงคือการจัดอันดับภายในเกณฑ์เปรียบเทียบชุดเดียวกัน บน Opencpop โมเดล Conformer ลด F0 RMSE จาก 29.99 เหลือ 26.72 เมื่อเทียบกับโมเดลฐาน Transformer (Wang et al., งานวิจัย Opencpop, Interspeech 2022) และ VISinger 2 ทำได้ 26.0 ด้วยพารามิเตอร์ 25.7M เทียบกับ 137.5M ของ CpopSing (Zhang et al., งานวิจัย VISinger 2 ปี 2022) ความแม่นยำระดับเซมิโทนที่รายงานเป็นเปอร์เซ็นต์เป็นตัวชี้วัดที่ใกล้เคียงคะแนนแบบมนุษย์ที่สุด แม้งานวิจัย ACE-Opencpop จะไม่ระบุสูตรไว้ชัดเจน
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| F0 RMSE บนชุดทดสอบ Opencpop โมเดลฐาน Transformer เทียบกับ Conformer (ไม่ระบุหน่วย) | 29.99 เทียบกับ 26.72 | Wang et al., งานวิจัย Opencpop, Interspeech 2022 |
| สหสัมพันธ์ของ F0 กับนักร้องจริง โมเดลฐาน Opencpop | 0.893 ถึง 0.904 | Wang et al., งานวิจัย Opencpop, Interspeech 2022 |
| F0 RMSE ที่ 22 kHz: VISinger 2 เทียบกับ VISinger เทียบกับ CpopSing | 26.0 เทียบกับ 33.7 เทียบกับ 28.5 | Zhang et al., งานวิจัย VISinger 2 ปี 2022 |
| ขนาดโมเดล: VISinger 2 เทียบกับ CpopSing | พารามิเตอร์ 25.7M เทียบกับ 137.5M | Zhang et al., งานวิจัย VISinger 2 ปี 2022 |
| ความแม่นยำระดับเซมิโทนของ VISinger2: ACE-Opencpop ภาษาจีนกลางเทียบกับคลังข้อมูล Kiritan ภาษาญี่ปุ่น | 65.19% เทียบกับ 49.33% | Shi et al., งานวิจัย ACE-Opencpop 2024 |
| F0 RMSE สหสัมพันธ์ของ F0 และความผิดพลาดเสียงก้อง/ไม่ก้องของ CSSinger-FS บน Opencpop | 28.601, 0.919 และ 0.107 | Cui et al., CSSinger 2024 |
| F0 RMSE บน ACE-Opencpop: SVS แบบโมเดลภาษาเสียงพูดเทียบกับ TokSing เทียบกับ XiaoiceSing | 62.79 เทียบกับ 55.83 เทียบกับ 71.67 | Zhao et al., งานวิจัย SVS แบบโมเดลภาษาเสียงพูด 2025 |
ความผิดพลาดเสียงก้อง/ไม่ก้องติดตามว่าโมเดลสับสนระหว่างเสียงก้อง (เส้นเสียงสั่น จึงมีระดับเสียง) กับเสียงไม่ก้องบ่อยแค่ไหน ความต่างจาก 49.33% ถึง 65.19% ของความแม่นยำระดับเซมิโทนในสถาปัตยกรรมเดียวกันบ่งชี้ว่าคะแนนขึ้นกับคลังข้อมูลอย่างมาก ผลจากคลังข้อมูลต่างชุดกันจึงนำมาจัดอันดับเทียบกันไม่ได้
4. ความเป็นธรรมชาติ: ช่องว่าง MOS ระหว่างเสียงร้องสังเคราะห์กับเสียงร้องจริง
MOS คือคะแนนเฉลี่ยที่คณะผู้ฟังให้บนมาตรา 1 ถึง 5 และงานวิจัยทุกชิ้นในที่นี้ทดสอบเสียงบันทึกจริงควบคู่กับโมเดล ในงานวิจัยเกณฑ์เปรียบเทียบห้าชิ้น ช่องว่างระหว่างโมเดลที่ดีที่สุดกับเสียงร้องจริงอยู่ที่ 0.45 ถึง 0.81 คะแนน MOS (4.30 ลบ 3.85 บน PopCS, 4.51 ลบ 3.70 บน Opencpop) การสังเคราะห์เสียงพูดรายงานว่าเทียบเท่าเสียงบันทึกบนเกณฑ์เปรียบเทียบหลายชุด ส่วนเสียงร้องเพลงยังตามหลังราวครึ่งคะแนนหรือมากกว่า
งานแบบซีโร่ช็อตล่าสุดทำให้ช่องว่างแคบลง ซีโร่ช็อตหมายถึงโมเดลร้องด้วยเสียงที่ไม่เคยได้ยินระหว่างการฝึก CoMelSinger ซึ่งปรับปรุงฉบับเมื่อเดือนเมษายน 2026 เข้าใกล้เสียงบันทึกจริงในระยะ 0.24 คะแนนด้านความเป็นธรรมชาติสำหรับนักร้องที่ไม่เคยได้ยินมาก่อน (4.35 ลบ 4.11) ซึ่งเป็นช่องว่างที่เล็กที่สุดในชุดนี้ (Zhao et al., CoMelSinger 2026) อย่างไรก็ตามคณะผู้ฟังมีขนาดเล็ก มักมี 10 ถึง 20 คน ดังนั้นความนำ 0.1 คะแนนจึงแทบไม่เป็นตัวตัดสิน
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| MOS บน Opencpop: โมเดลฐานที่ดีที่สุด (CpopSing) เทียบกับเสียงบันทึก | 3.70 เทียบกับ 4.51 | Wang et al., งานวิจัย Opencpop, Interspeech 2022 |
| MOS บน PopCS: DiffSinger เทียบกับเสียงบันทึก | 3.85 เทียบกับ 4.30 | Liu et al., DiffSinger, AAAI 2022 |
| MOS คุณภาพเสียงบน M4Singer: DiffSinger เทียบกับเสียงบันทึก | 3.92 เทียบกับ 4.52 | Zhang et al., M4Singer, NeurIPS 2022 |
| MOS ที่ 44.1 kHz: VISinger 2 เทียบกับเสียงบันทึก | 3.81 เทียบกับ 4.32 | Zhang et al., งานวิจัย VISinger 2 ปี 2022 |
| MOS คุณภาพเสียงบน GTSinger: StyleSinger เทียบกับเสียงบันทึก | 4.01 เทียบกับ 4.54 | Zhang et al., GTSinger, NeurIPS 2024 |
| MOS ความเป็นธรรมชาติ นักร้องที่พบในการฝึก: CoMelSinger เทียบกับเสียงบันทึก | 4.02 เทียบกับ 4.38 | Zhao et al., CoMelSinger 2026 |
| MOS ความเป็นธรรมชาติ นักร้องที่ไม่เคยพบ (ซีโร่ช็อต): CoMelSinger เทียบกับเสียงบันทึก | 4.11 เทียบกับ 4.35 | Zhao et al., CoMelSinger 2026 |
ข้อมูลล่าสุดที่มีสำหรับคลังข้อมูลเหล่านั้น: แถวของ Opencpop, PopCS, M4Singer และ VISinger 2 มาจากปี 2022 จึงเป็นเพียงเส้นฐานของแต่ละคลังข้อมูล ไม่ใช่ระดับล้ำสมัยที่สุดในปัจจุบัน ตัวเลขการนำเครื่องมือดนตรี AI ไปใช้ในวงกว้างอยู่ในสถิติการสร้างดนตรีด้วย AIของเรา
5. ระดับเสียงสำคัญตรงไหน: อะไรเปลี่ยนไปเมื่อโมเดลได้ F0 ที่ถูกต้อง
การทดสอบที่สะอาดที่สุดคือยื่นเส้นระดับเสียงของนักร้องจริงให้โมเดลแล้ววัดว่าอะไรดีขึ้น เมื่อ DiffSinger ได้รับ F0 จริง MOS ด้านลีลาการร้องเพิ่มขึ้น 0.30 คะแนน (3.72 เป็น 4.02) ขณะที่คุณภาพเสียงเพิ่มขึ้นเพียง 0.05 (3.92 เป็น 3.97) (Zhang et al., M4Singer, NeurIPS 2022) ลีลาการร้องในที่นี้หมายถึงความต่อเนื่องและความเป็นธรรมชาติของการถ่ายทอดทำนอง ระดับเสียงที่ดีขึ้นช่วยปิดช่องว่างนั้นได้บางส่วน แต่แม้มี F0 จริงคะแนนทั้งสองก็ยังต่ำกว่าเสียงบันทึก (4.47 และ 4.52) ระดับเสียงจึงเป็นข้อจำกัดเพียงข้อเดียวจากหลายข้อ
เทคนิคแบบไดนามิกยากที่สุด ใน Singing Voice Conversion Challenge 2025 ซึ่งเป็นงานแปลงเสียงไม่ใช่การสังเคราะห์จากโน้ตเพลง สไตล์ที่ผู้จัดอธิบายว่ามีองค์ประกอบไดนามิกสูง (เสียงลมหายใจ กลิสซันโด วิบราโต) ได้ความแม่นยำของสไตล์ต่ำที่สุด ขณะที่สไตล์ที่ส่วนใหญ่คงที่ เช่น ฟอลเซตโต ได้สูงที่สุด (งานวิจัยวิเคราะห์ SVCC 2025)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ค่าคลาดเคลื่อนสัมบูรณ์เฉลี่ยของ F0 และความแม่นยำเสียงก้อง/ไม่ก้อง DiffSinger ด้วย F0 ที่ทำนายเทียบกับ F0 จริง | 8.9990 เทียบกับ 1.7061; 0.9406 เทียบกับ 0.9856 | Zhang et al., M4Singer, NeurIPS 2022 |
| MOS ของ VISinger 2 โมเดลเต็มเทียบกับเมื่อไม่มีตัวสังเคราะห์ DSP | 3.96 เทียบกับ 3.02 | Zhang et al., งานวิจัย VISinger 2 ปี 2022 |
| MOS ของ VISinger 2 เมื่อไม่มีโมดูลเมลสเปกตรัมเสริม | 3.85 | Zhang et al., งานวิจัย VISinger 2 ปี 2022 |
| ความแม่นยำของสไตล์ SVCC 2025: เสียงลมหายใจ กลิสซันโด วิบราโต | 37.3%, 42.6%, 43.9% | งานวิจัยวิเคราะห์ SVCC 2025 |
| ความแม่นยำของสไตล์ SVCC 2025: เสียงคอหอย เสียงผสม ฟอลเซตโต | 44.8%, 48.3%, 48.8% | งานวิจัยวิเคราะห์ SVCC 2025 |
ผู้เขียน Opencpop รายงานว่าโมเดลฐานของพวกเขามีความสามารถจำกัดกับระดับเสียงที่พบน้อยในหางยาวของการกระจายข้อมูลฝึก ซึ่งเป็นข้อจำกัดที่คลังข้อมูลนักร้องคนเดียวทำให้หลีกเลี่ยงได้ยาก
6. ข้อมูลฝึกสอน: จำนวนชั่วโมงเสียงร้องเบื้องหลังโมเดล
โมเดลร้องเพลงยังเรียนรู้จากเสียงร้องที่บันทึกไว้เพียงหลักหน่วยถึงหลักสิบชั่วโมง คลังข้อมูล Opencpop ซึ่งเป็นหลักของงานวิจัย SVS ภาษาจีนกลางจำนวนมาก มีเสียงร้องราว 5.2 ชั่วโมงจากนักร้องหญิงมืออาชีพคนเดียว (Wang et al., งานวิจัย Opencpop, Interspeech 2022) คลังข้อมูลที่บันทึกจริงอย่าง Opencpop และ M4Singer ต้องใช้คนติดป้ายกำกับขอบเขตของโน้ตและโน้ตเพลงด้วยมือ นี่คือเหตุผลที่ข้อมูลเสียงร้องจริงเพิ่มช้า
ทางออกคือข้อมูลสังเคราะห์ ACE-Opencpop สร้างจากโน้ตเพลงของ Opencpop และสังเคราะห์ด้วยตัวสังเคราะห์เสียงร้อง ACE Studio พร้อมการปรับเส้นระดับเสียง ลมหายใจ และวิบราโตด้วยมือ ได้ 128.9 ชั่วโมง และการฝึกล่วงหน้าบนข้อมูลนี้ดันความแม่นยำระดับเซมิโทนของ VISinger2 บน Opencpop จริงจาก 64.50% เป็น 65.18% (Shi et al., งานวิจัย ACE-Opencpop 2024) ส่วนการฝึกล่วงหน้าบนคลังข้อมูล M4Singer จริงกลับลดเหลือ 60.54% ACE-Opencpop ใช้เพลงชุดเดียวกับคลังข้อมูลเป้าหมาย ผลนี้จึงบอกเรื่องความตรงกับเป้าหมายมากกว่าเรื่องจำนวนชั่วโมงเพียงอย่างเดียว
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| Opencpop: นักร้องมืออาชีพ 1 คน 100 เพลง | ราว 5.2 ชั่วโมง 3,756 ประโยค | Wang et al., งานวิจัย Opencpop, Interspeech 2022 |
| M4Singer: นักร้องมืออาชีพ 20 คน (ชาย 10 หญิง 10) 700 เพลง | 29.77 ชั่วโมง 20,942 ประโยค | Zhang et al., M4Singer, NeurIPS 2022 |
| GTSinger: นักร้องมืออาชีพ 20 คน 9 ภาษา 6 เทคนิค | เสียงร้อง 80.59 ชั่วโมงบวกเสียงพูดคู่กัน 16.16 ชั่วโมง | Zhang et al., GTSinger, NeurIPS 2024 |
| คลังข้อมูลสังเคราะห์ ACE-Opencpop และ ACE-KiSing | 128.9 ชั่วโมง (30 เสียง) และ 32.5 ชั่วโมง (34 เสียง) | Shi et al., งานวิจัย ACE-Opencpop 2024 |
| ความแม่นยำระดับเซมิโทนของ VISinger2 บน Opencpop: ไม่ฝึกล่วงหน้าเทียบกับ ACE-Opencpop เทียบกับการฝึกล่วงหน้า M4Singer | 64.50% เทียบกับ 65.18% เทียบกับ 60.54% | Shi et al., งานวิจัย ACE-Opencpop 2024 |
| VISinger2 บน KiSing ฝึกเพียงลำพังเทียบกับเพิ่ม ACE-KiSing: ความแม่นยำระดับเซมิโทนและ MOS | 68.12% เป็น 72.51%; 3.58 เป็น 3.83 | Shi et al., งานวิจัย ACE-Opencpop 2024 |
| เสียงร้องจริงที่รวมจากคลังข้อมูลสาธารณะ 8 ชุดสำหรับเกณฑ์เปรียบเทียบ CtrSVDD | 47.64 ชั่วโมง | Zang et al., CtrSVDD 2024 |
เก้าภาษาของ GTSinger ได้แก่ จีน อังกฤษ ญี่ปุ่น เกาหลี รัสเซีย สเปน ฝรั่งเศส เยอรมัน และอิตาลี ส่วนหกเทคนิคที่ติดป้ายกำกับคือ เสียงผสม ฟอลเซตโต เสียงลมหายใจ เสียงคอหอย วิบราโต และกลิสซันโด ซึ่งเป็นหกสไตล์เดียวกับที่ให้คะแนนในหัวข้อที่ 5
7. วิธีประเมินและเกณฑ์เปรียบเทียบ: คะแนนถูกสร้างขึ้นอย่างไร
คณะผู้ฟังขนาดเล็กเป็นเรื่องปกติ Opencpop ใช้ผู้ฟัง 20 คนต่อคลิป การทดสอบ VISinger 2 ใช้ผู้ฟังสิบคนกับ 30 ช่วง และการทดสอบ ACE-Opencpop ใช้ผู้ฟัง 30 คนกับ 30 ตัวอย่างต่อระบบ เสียงบันทึก Opencpop ได้ 4.22 MOS ในการทดสอบหนึ่งและ 4.77 ในอีกการทดสอบหนึ่งภายในงานวิจัยปี 2024 ชิ้นเดียว (Cui et al., CSSinger 2024) ซึ่งแกว่ง 0.55 คะแนน มากกว่าช่องว่างระหว่างโมเดลจำนวนมาก
ตัวให้คะแนนอัตโนมัติช่วยได้ในระดับระบบแต่ไม่ช่วยในระดับคลิป ตัวทำนาย MOS ที่ดีที่สุดบน SingMOS-Pro ได้สหสัมพันธ์เชิงเส้น 0.88 เมื่อจัดอันดับระบบ แต่เพียง 0.58 บนคลิปรายตัว (งานวิจัยเกณฑ์เปรียบเทียบ SingMOS-Pro 2026) การตรวจจับก้าวหน้ากว่า บนข้อมูลที่ควบคุมตัวแปร ทีม SVDD 2024 อันดับหนึ่งลดอัตราความผิดพลาดเท่ากันเหลือ 1.65% (Zhang et al., งานวิจัยการแข่งขัน SVDD 2024) ซึ่งเป็นหัวข้อที่ครอบคลุมในสถิติการพิสูจน์หลักฐานดีปเฟกต์เสียงของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ขนาดของ SingMOS-Pro | 7,981 คลิป คะแนนประเมิน 44,247 รายการ ผู้ติดป้ายกำกับ 78 คน 11.15 ชั่วโมง | งานวิจัยเกณฑ์เปรียบเทียบ SingMOS-Pro 2026 |
| ระบบที่ให้คะแนนใน SingMOS-Pro (การสังเคราะห์ การแปลงเสียง การสังเคราะห์ซ้ำ ข้อมูลอ้างอิงจริง) | 141 (60, 17, 52 และ 12) | งานวิจัยเกณฑ์เปรียบเทียบ SingMOS-Pro 2026 |
| ตัวทำนาย MOS อัตโนมัติที่ดีที่สุด สหสัมพันธ์เชิงเส้นระดับระบบเทียบกับระดับคลิป | 0.88 เทียบกับ 0.58 | งานวิจัยเกณฑ์เปรียบเทียบ SingMOS-Pro 2026 |
| ผลงานที่ส่งและผู้ฟังของ SVCC 2023 | ส่ง 26 ผลงาน (รวมโมเดลฐาน 2 ชุด); ผู้ฟังภาษาอังกฤษ 40 คนและภาษาญี่ปุ่น 319 คน | Huang et al., งานวิจัย SVCC 2023 |
| สหสัมพันธ์สเปียร์แมนของตัวทำนาย UTMOS กับ MOS ความเป็นธรรมชาติของ SVCC 2023 (งานที่ 1 ผู้ฟังภาษาญี่ปุ่น) | 0.77 | Huang et al., งานวิจัย SVCC 2023 |
| ความเป็นธรรมชาติของ SVCC 2025 ระบบชั้นนำเทียบกับเสียงร้องจริง | ราว 3.7 เทียบกับราว 3.9 | งานวิจัยวิเคราะห์ SVCC 2025 |
| CtrSVDD เสียงร้องจริงเทียบกับดีปเฟกต์ 14 วิธีสร้าง 164 อัตลักษณ์นักร้อง | 47.64 เทียบกับ 260.34 ชั่วโมง | Zang et al., CtrSVDD 2024 |
| อัตราความผิดพลาดเท่ากันของ SVDD 2024: ทีมอันดับหนึ่งเทียบกับโมเดลฐาน; ทีมที่ชนะโมเดลฐานทั้งสอง | 1.65% เทียบกับ 11.16% และ 12.03%; 37 จาก 47 | Zhang et al., งานวิจัยการแข่งขัน SVDD 2024 |
บริบท: ใน SVCC 2023 ระบบชั้นนำในทั้งสองงานได้รับการประเมินว่าไม่ต่างจากตัวอย่างธรรมชาติอย่างมีนัยสำคัญด้านความเป็นธรรมชาติ ขณะที่ใน SVCC 2025 ซึ่งให้คะแนนสไตล์การร้องด้วย ไม่มีระบบใดถึงความเป็นธรรมชาติระดับมนุษย์ การวิเคราะห์สรุปว่าการสร้างแบบจำลองสไตล์การร้องยังคงเป็นความท้าทาย
สรุป: ความแม่นยำของระดับเสียงและความเป็นธรรมชาติของการสังเคราะห์เสียงร้องเพลงในรูปตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ค่ามัธยฐานของความคลาดเคลื่อนต่อโน้ต นักร้องผู้ใหญ่ 24 คนที่ร้องโดยไม่มีดนตรีประกอบ | 19 เซนต์ | Mauch, Frieler และ Dixon, JASA 2014 |
| ผู้ที่จับคู่ระดับเสียงได้แม่นยำในกลุ่มตัวอย่าง 1,046 คน | 37% | Pfordresher และ Demorest, JRME 2021 |
| การร้องที่จัดว่าแม่นยำภายใต้เกณฑ์ 100 เซนต์ที่ผ่อนลง | 94% | Pfordresher และ Demorest, JRME 2021 |
| ผู้ที่ร้องเป็นครั้งคราวและร้องเพี้ยน (เกณฑ์ 2 SD) | 28% (14 จาก 50) | Berkowska และ Dalla Bella, Frontiers in Psychology 2013 |
| การเลื่อนระดับเสียงที่เทียบเท่าความสามารถในการตรวจจับของผู้ฟังที่เป็นค่ามัธยฐาน | 54.989 เซนต์ | Larrouy-Maestri, Harrison และ Müllensiefen, Behavior Research Methods 2019 |
| โมเดลฐาน Opencpop ที่ดีที่สุดเทียบกับเสียงบันทึก MOS | 3.70 เทียบกับ 4.51 | Wang et al., งานวิจัย Opencpop, Interspeech 2022 |
| VISinger 2 เทียบกับเสียงบันทึกที่ 44.1 kHz MOS | 3.81 เทียบกับ 4.32 | Zhang et al., งานวิจัย VISinger 2 ปี 2022 |
| CoMelSinger เทียบกับเสียงบันทึก MOS ความเป็นธรรมชาติสำหรับนักร้องที่ไม่เคยพบ | 4.11 เทียบกับ 4.35 | Zhao et al., CoMelSinger 2026 |
| MOS ด้านลีลาการร้องที่เพิ่มขึ้นเทียบกับ MOS ด้านคุณภาพเสียงที่เพิ่มขึ้นจาก F0 จริง (DiffSinger) | +0.30 เทียบกับ +0.05 | Zhang et al., M4Singer, NeurIPS 2022 |
| MOS ของ VISinger 2 เมื่อไม่มีตัวสังเคราะห์ DSP | 3.02 (เทียบกับ 3.96) | Zhang et al., งานวิจัย VISinger 2 ปี 2022 |
| ความแม่นยำระดับเซมิโทนของ VISinger2 ACE-Opencpop เทียบกับ Kiritan | 65.19% เทียบกับ 49.33% | Shi et al., งานวิจัย ACE-Opencpop 2024 |
| ความแม่นยำของสไตล์ SVCC 2025 สำหรับวิบราโต | 43.9% | งานวิจัยวิเคราะห์ SVCC 2025 |
| ขนาดคลังข้อมูล GTSinger | 80.59 ชั่วโมง นักร้อง 20 คน 9 ภาษา | Zhang et al., GTSinger, NeurIPS 2024 |
| ขนาดคลังข้อมูลสังเคราะห์ ACE-Opencpop | 128.9 ชั่วโมง 30 เสียง | Shi et al., งานวิจัย ACE-Opencpop 2024 |
| เสียงบันทึก Opencpop ที่ได้คะแนนในสองการทดสอบแยกกันภายในงานวิจัยเดียว MOS | 4.22 เทียบกับ 4.77 | Cui et al., CSSinger 2024 |
| คะแนนประเมิน SingMOS-Pro ที่รวบรวมได้ | 44,247 รายการจากผู้ติดป้ายกำกับ 78 คน | งานวิจัยเกณฑ์เปรียบเทียบ SingMOS-Pro 2026 |
| อัตราความผิดพลาดเท่ากันที่ดีที่สุดของ SVDD 2024 | 1.65% | Zhang et al., งานวิจัยการแข่งขัน SVDD 2024 |
ระเบียบวิธีและแหล่งที่มา
- Wang et al., Opencpop: A High-Quality Open Source Chinese Popular Song Corpus for Singing Voice Synthesis, Interspeech 2022
- Zhang et al., M4Singer: A Multi-Style, Multi-Singer and Musical Score Provided Mandarin Singing Corpus, NeurIPS 2022 Datasets and Benchmarks
- Liu et al., DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism, AAAI 2022
- Zhang et al., VISinger 2: High-Fidelity End-to-End Singing Voice Synthesis Enhanced by Digital Signal Processing Synthesizer, 2022
- Zhang et al., GTSinger: A Global Multi-Technique Singing Corpus with Realistic Music Scores for All Singing Tasks, NeurIPS 2024
- Shi et al., Singing Voice Data Scaling-up: An Introduction to ACE-Opencpop and ACE-KiSing, 2024
- Cui et al., CSSinger: End-to-End Chunkwise Streaming Singing Voice Synthesis System, 2024
- Zhao et al., Adapting Speech Language Model to Singing Voice Synthesis, ธันวาคม 2025
- Zhao et al., CoMelSinger: Discrete Token-Based Zero-Shot Singing Synthesis, ปรับปรุงฉบับเมษายน 2026
- Huang et al., The Singing Voice Conversion Challenge 2023
- An Extensive Analysis of the Singing Voice Conversion Challenge 2025 Evaluation Results, 2025
- Zhang et al., SVDD 2024: The Inaugural Singing Voice Deepfake Detection Challenge
- Zang et al., CtrSVDD: A Benchmark Dataset and Baseline Analysis for Controlled Singing Voice Deepfake Detection, 2024
- SingMOS-Pro: A Comprehensive Benchmark for Singing Quality Assessment, ปรับปรุงฉบับมกราคม 2026
- Mauch, Frieler และ Dixon, Intonation in Unaccompanied Singing: Accuracy, Drift, and a Model of Reference Pitch Memory, JASA 2014
- Larrouy-Maestri และ Morsomme, Criteria and Tools for Objectively Analysing the Vocal Accuracy of a Popular Song, Logopedics Phoniatrics Vocology 2014
- Larrouy-Maestri, Harrison และ Müllensiefen, The Mistuning Perception Test, Behavior Research Methods 2019
- Larrouy-Maestri et al., Layman versus Professional Musician: Who Makes the Better Judge?, PLoS One 2015
- Berkowska และ Dalla Bella, Uncovering Phenotypes of Poor-Pitch Singing: the Sung Performance Battery, Frontiers in Psychology 2013
- Pfordresher และ Demorest, The Prevalence and Correlates of Accurate Singing, Journal of Research in Music Education 2021
- Dalla Bella, Giguère และ Peretz, Singing Proficiency in the General Population, JASA 2007
- ข้อสังเกตเกี่ยวกับข้อมูล: ค่า MOS เปรียบเทียบข้ามงานวิจัยไม่ได้ เพราะคณะผู้ฟัง (10 ถึง 30 คน) อัตราสุ่มตัวอย่าง และคำชี้แจงต่างกัน และเสียงบันทึก Opencpop ได้ 4.22 และ 4.77 ในสองการทดสอบของงานวิจัย CSSinger หน่วยของ F0 RMSE ไม่เหมือนกัน (ส่วนใหญ่ไม่ระบุ และเป็นลอการิทึมใน ACE-Opencpop) ดังนั้นไม่ควรเปรียบเทียบตัวเลข F0 RMSE จากต่างงานวิจัยโดยตรง แหล่งข้อมูลขัดแย้งกันเรื่องขนาดคลังข้อมูล: ACE-Opencpop คือ 128.9 ชั่วโมงในตารางที่ 1 ของตัวมันเอง ราว 130 ชั่วโมงในบทนำ และ 135 ชั่วโมงในงานวิจัยโมเดลภาษาเสียงพูดเดือนธันวาคม 2025; ACE-KiSing ถูกระบุทั้ง 34 และ 33 นักร้อง; Opencpop ราว 5.2 ชั่วโมงในงานวิจัยของตัวเอง แต่ 5.25 ชั่วโมงในตารางเปรียบเทียบของ M4Singer และ GTSinger ค่า F0 RMSE ของ CSSinger-FS ปรากฏเป็น 28.601 ในตารางหนึ่งและ 28.101 ในอีกตารางหนึ่ง อัตราความผิดพลาดเท่ากันของ SVDD 2024 ไม่รวมวิธี ACESinger Pfordresher และ Demorest อธิบาย 50 เซนต์ว่าเป็นหนึ่งเซมิโทน ทั้งที่ 50 เซนต์เป็นครึ่งเซมิโทน คะแนนความเป็นธรรมชาติที่แน่นอนของ SVCC 2023 ปรากฏเฉพาะในรูป เราจึงรายงานเฉพาะผลด้านนัยสำคัญ VISinger 2, CSSinger, CoMelSinger, SingMOS-Pro และงานวิจัยโมเดลภาษาเสียงพูดอ้างอิงจากฉบับ arXiv และให้คะแนนโดยผู้เขียนเอง; CoMelSinger และ SingMOS-Pro ไม่ระบุแหล่งตีพิมพ์ที่ผ่านการพิจารณาโดยผู้ทรงคุณวุฒิ และงานวิจัยโมเดลภาษาเสียงพูดถูกส่งเข้าเวิร์กช็อป ตัวเลขฉบับสุดท้ายจึงอาจต่างออกไป การศึกษาความแม่นยำของระดับเสียงในมนุษย์ทั้งหมดเผยแพร่ก่อนปี 2023 และเป็นข้อมูลล่าสุดที่มี
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการอัปเดตครั้งถัดไปจะเกิดขึ้นเมื่อเอกสารประชุม ICASSP 2027 และผลการแข่งขัน Singing Voice Conversion Challenge ครั้งถัดไปเผยแพร่