ที่ 6 kbps โคเดกนิวรัล EnCodec ของ Meta ได้ 83.1 บนมาตราการฟัง MUSHRA สำหรับเสียงพูดสะอาด ขณะที่ Opus ที่ 6 kbps เท่ากันได้ 30.1 และต้นฉบับที่ซ่อนไว้ได้ 95.5 (Meta AI, บทความ EnCodec, TMLR 2023) ช่องว่างนี้สรุปเรื่องราวทั้งหมดของการเข้ารหัสเสียงแบบนิวรัลไว้ในแถวเดียว คือบิตเท่ากัน แต่คะแนนสูงกว่า 53 คะแนน (83.1 ลบ 30.1) SoundStream ของ Google ที่ 3 kbps ให้คุณภาพเทียบเท่ากับที่ EVS ต้องใช้อย่างน้อย 9.6 kbps และ Opus ต้องใช้อย่างน้อย 12 kbps จึงจะถึง (Google, บทความ SoundStream 2021) และโคเดกงานวิจัยในปัจจุบันผลักดันเสียงพูดที่ยังใช้งานได้ให้ต่ำกว่า 1 kbps ลงไปถึง 0.16 kbps (Della Libera และคณะ, FocalCodec, NeurIPS 2025) โคเดกแบบดั้งเดิมก็ตอบโต้ด้วยส่วนเสริมแบบนิวรัลของตนเอง Opus 1.5 ทำให้เสียงพูด “ใช้งานได้อย่างสมบูรณ์ลงไปถึง 6 kb/s” ด้วยตัวเพิ่มคุณภาพขนาด 400 MFLOPS (Xiph.Org, การเปิดตัว Opus 1.5 ปี 2024) ซึ่งสำคัญสำหรับใครก็ตามที่ปรับคุณภาพการโทรควบคู่กับบัฟเฟอร์จิตเตอร์และคะแนน POLQA เรารวบรวมข้อมูลจาก Google, Meta AI, Descript, Kyutai, Xiph.Org, IETF, 3GPP, ITU และเกณฑ์เปรียบเทียบที่ผ่านการประเมินโดยผู้ทรงคุณวุฒิ เช่น Codec-SUPERB, DASB, WavTokenizer, TAAE และ FocalCodec
สรุปโดยย่อ
- EnCodec ที่ 6 kbps ได้ 83.1 MUSHRA กับเสียงพูดสะอาด เทียบกับ 30.1 ของ Opus ที่ 6 kbps (Meta AI, บทความ EnCodec 2023)
- SoundStream ที่ 3 kbps ให้คุณภาพเทียบเท่ากับที่ EVS ต้องใช้อย่างน้อย 9.6 kbps และ Opus ต้องใช้ 12 kbps (Google, บทความ SoundStream 2021)
- Lyra V2 ที่ 3.2 kbps ได้รับการประเมินว่าเทียบเท่า Opus ที่ 10 kbps ในการทดสอบ MUSHRA (Google Open Source Blog, Lyra V2 2022)
- Descript Audio Codec บีบอัดเสียง 44.1 kHz ได้ราว 90 เท่าเป็นโทเคนขนาด 8 kbps (Descript, บทความ DAC, NeurIPS 2023)
- FocalCodec ที่ 0.16 kbps ได้ UTMOS 4.22 เทียบกับ 4.09 ของค่าอ้างอิงที่ไม่ผ่านการบีบอัด (Della Libera และคณะ, NeurIPS 2025)
- โคเดก TAAE ให้ PESQ 2.96 ที่ 400 bps ใกล้เคียงกับ 3.01 ของ Mimi ที่ 1,100 bps (Parker และคณะ, ICLR 2025)
- VALL-E เรียนรู้การแปลงข้อความเป็นเสียงแบบซีโรช็อตจากเสียงพูดภาษาอังกฤษ 60K ชั่วโมงที่เข้ารหัสเป็นโทเคนโคเดกแบบนิวรัล โดยต้องการเพียงตัวอย่างเสียงนำ 3 วินาที (Microsoft, บทความ VALL-E 2023)
- ตัวเพิ่มคุณภาพ NoLACE ของ Opus 1.5 ที่ 9 kb/s ชนะ Opus ที่ไม่ได้เพิ่มคุณภาพที่ 12 kb/s โดยใช้ CPU ราว 0.75% (Xiph.Org, การเปิดตัว Opus 1.5 ปี 2024)
- Mimi ของ Kyutai เข้ารหัสเสียงพูดที่ 12.5 Hz และ 1.1 kbps ทำให้เกิดโมเดลสนทนาที่มีความหน่วงจริง 200 ms (Kyutai, บทความ Moshi 2024)
- EnCodec ที่ 1.5 kbps ทำให้อัตราความผิดพลาดของคำของ ASR เพิ่มขึ้นมากกว่าสามเท่า จาก 2.96% เป็น 9.21% (Wu และคณะ, Codec-SUPERB 2024)
1. จำนวนบิตที่ต้องใช้เพื่อเทียบเท่าโคเดกแบบดั้งเดิมในการทดสอบการฟัง
ผลลัพธ์เด่นของโคเดกนิวรัลรุ่นแรกไม่ใช่ “เสียงที่ดีกว่า” แต่เป็น “เสียงเท่าเดิมด้วยบิตเพียงเศษเสี้ยว” SoundStream ที่ 3 kbps ให้ระดับคุณภาพที่ EVS ต้องใช้อย่างน้อย 9.6 kbps และ Opus ต้องใช้อย่างน้อย 12 kbps จึงจะเทียบเท่า ซึ่งคิดเป็น 3.2 เท่าและ 4 เท่าของจำนวนบิต (9.6 / 3 = 3.2; 12 / 3 = 4) (Google, บทความ SoundStream) ข้อได้เปรียบแคบลงเมื่องบประมาณเพิ่มขึ้น ที่บิตเรตระดับกลางและสูง โคเดกแบบดั้งเดิมต้องใช้บิตมากกว่า 2.2 ถึง 2.6 เท่า แล้วเหลือเพียง 1.3 ถึง 1.6 เท่า
MUSHRA ซึ่งเป็นการทดสอบการฟังที่ใช้ในบทความเหล่านี้เป็นส่วนใหญ่ ถูกนิยามไว้ใน ITU-R BS.1534-3 ผู้ฟังให้คะแนนคลิปเสียงที่เข้ารหัสหลายเวอร์ชันเทียบกันพร้อมกับสำเนาต้นฉบับที่ซ่อนไว้ ดังนั้นคะแนนของโคเดกควรอ่านเทียบกับคะแนนของต้นฉบับที่ซ่อนไว้ในการทดสอบเดียวกัน รูปแบบนี้สอดคล้องกันในทุกผู้พัฒนา ยิ่งบิตเรตต่ำ ความได้เปรียบของนิวรัลยิ่งมาก ส่วนหนึ่งเพราะ Opus ที่ 6 kbps ถอยไปใช้เสียงแถบความถี่แคบ
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| บิตเรตของ Opus และ EVS ที่ต้องใช้เพื่อเทียบเท่า SoundStream ที่ 3 kbps | Opus อย่างน้อย 12 kbps, EVS อย่างน้อย 9.6 kbps | Google, บทความ SoundStream (arXiv 2021) |
| บิตที่ EVS และ Opus ต้องใช้เพิ่มเพื่อเทียบเท่า SoundStream ที่บิตเรตระดับกลาง (6 kbps) | มากกว่า 2.2 ถึง 2.6 เท่า | Google, บทความ SoundStream (arXiv 2021) |
| บิตเรตของ Opus ที่ประเมินว่าเทียบเท่า Lyra V2 ที่ 3.2, 6 และ 9.2 kbps (MUSHRA) | 10, 13 และ 14 kbps | Google Open Source Blog, Lyra V2 (2022) |
| MUSHRA เสียงพูดสะอาด: EnCodec ที่ 6 kbps, Opus ที่ 6 kbps และต้นฉบับที่ซ่อนไว้ | 83.1, 30.1 และ 95.5 | Meta AI, บทความ EnCodec (TMLR 2023) |
| MUSHRA ชุดดนตรี 1: EnCodec ที่ 3 kbps และ Opus ที่ 12 kbps | 89.6 และ 77.8 | Meta AI, บทความ EnCodec (TMLR 2023) |
| POLQA MOS ที่ 6 kbps แถบความถี่กว้าง, MLow และ Opus (ข้ออ้างของผู้พัฒนาเอง) | 3.9 และ 1.89 | Meta Engineering, บล็อก MLow (2024) |
ข้อมูลล่าสุดที่มี: SoundStream (2021), Lyra V2 (2022) และ EnCodec (พรีพรินต์ปี 2022 ตีพิมพ์ในวารสารปี 2023) ทั้งหมดนี้ยังเป็นการเปรียบเทียบอ้างอิงที่บทความใหม่กว่าอ้างถึง แต่เกิดก่อนการปรับปรุงแบบนิวรัลของ Opus 1.5 (ดูหัวข้อ 7) ดังนั้นค่าพื้นฐานของโคเดกแบบดั้งเดิมจึงเก่ากว่า libopus ในปัจจุบัน ตัวเลขของ MLow มาจากบล็อกวิศวกรรมของ Meta ซึ่งระบุว่า Opus ทำงานในโหมดแถบความถี่แคบ (0 ถึง 4 kHz) ที่ 6 kbps นี่เป็นข้ออ้างของผู้พัฒนาเองจากโคเดกโทรศัพท์ที่ใช้งานจริง นำมาใส่ไว้เป็นจุดอ้างอิง ไม่ใช่การวัดอิสระ
2. อัตราการบีบอัดและจุดที่คุณภาพหยุดดีขึ้น
อัตราการบีบอัดคือจุดที่โคเดกนิวรัลดูน่าทึ่งที่สุด Descript Audio Codec (DAC) บีบอัดเสียง 44.1 kHz ได้ราว 90 เท่าเป็นโทเคนที่ 8 kbps ด้วยโมเดลสากลเพียงตัวเดียวสำหรับเสียงพูด ดนตรี และเสียงสิ่งแวดล้อม (Descript, บทความ DAC, NeurIPS 2023) กับดนตรีสเตอริโอ 48 kHz นั้น EnCodec ที่ 6 kbps (บีบอัด 256 เท่า) ได้ 82.9 MUSHRA ซึ่งอยู่ในช่วงคุณภาพที่รับรู้ได้เดียวกับ MP3 ที่ 64 kbps (บีบอัด 24 เท่า, 82.7)
ข้อค้นพบที่มีประโยชน์กว่าสำหรับวิศวกรคือจุดอิ่มตัว โมเดลสเตอริโอของ EnCodec ได้ 88.0 ที่ 12 kbps และ 87.5 ที่ 24 kbps ดังนั้นการเพิ่มบิตเรตเป็นสองเท่าไม่ได้อะไรเพิ่มที่วัดได้ ตัวช่วยอีกอย่างคือการเข้ารหัสเอนโทรปี โมเดลภาษาขนาดเล็กที่ทำงานบนโทเคนช่วยลดแบนด์วิดท์ได้ 25% ถึง 40% โดยคุณภาพไม่เปลี่ยน แลกกับความเร็ว
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| การบีบอัดเสียง 44.1 kHz โดย DAC ที่ 8 kbps | ราว 90 เท่า | Descript, บทความ DAC (NeurIPS 2023) |
| ViSQOL ที่ 44 kHz: DAC ที่ 8 kbps, EnCodec ที่ 24 kbps และ Opus ที่ 24 kbps | 4.18, 3.16 และ 4.15 | Descript, บทความ DAC (NeurIPS 2023) |
| ViSQOL ที่ 44 kHz: DAC ที่ 1.78 kbps และ Opus ที่ 8 kbps | 3.76 และ 2.06 | Descript, บทความ DAC (NeurIPS 2023) |
| MUSHRA ดนตรีสเตอริโอ 48 kHz: EnCodec ที่ 6 kbps (256 เท่า), ที่ 12 kbps, ที่ 24 kbps และ MP3 ที่ 64 kbps (24 เท่า) | 82.9, 88.0, 87.5 และ 82.7 | Meta AI, บทความ EnCodec (TMLR 2023) |
| แบนด์วิดท์ที่ประหยัดได้เมื่อใช้โมเดลภาษาเป็นตัวเข้ารหัสเอนโทรปีกับโทเคนของ EnCodec | ราว 25% ถึง 40% | Meta AI, บทความ EnCodec (TMLR 2023) |
| อัตราที่อาจประหยัดได้จากการเข้ารหัสเอนโทรปีโทเคนของ SoundStream | 7% ถึง 20% | Google, บทความ SoundStream (arXiv 2021) |
ViSQOL เป็นแบบจำลองเชิงวัตถุที่ทำนายคุณภาพที่รับรู้จากสัญญาณ คะแนน MUSHRA ของ DAC เองเผยแพร่เป็นกราฟเท่านั้น ตารางจึงใช้ตัวเลข ViSQOL ที่พิมพ์ไว้ ข้อควรระวังเกี่ยวกับการเปรียบเทียบกับ Opus คือในบทความ DAC นั้น Opus ที่ 8 kbps ถูกเข้ารหัสด้วยแบนด์วิดท์เสียงเพียง 4 kHz ขณะที่ DAC คงไว้เต็ม 22.05 kHz ช่องว่างส่วนหนึ่งจึงมาจากแบนด์วิดท์ ไม่ใช่ประสิทธิภาพ
3. พรมแดนต่ำกว่า 1 kbps สำหรับเสียงพูด
โคเดกงานวิจัยรุ่นปี 2025 ย้ายการแข่งขันจาก “เอาชนะ Opus” ไปเป็น “ใช้บิตน้อยที่สุดเท่าไรจึงยังส่งเสียงพูดที่เข้าใจได้และเป็นธรรมชาติ” FocalCodec ที่ 0.16 kbps ได้ UTMOS 4.22 กับ LibriSpeech สะอาด สูงกว่า 4.09 ของค่าอ้างอิงที่ไม่ผ่านการบีบอัด (Della Libera และคณะ, FocalCodec, NeurIPS 2025) UTMOS เป็นโมเดลนิวรัลที่ทำนายคะแนนความคิดเห็นเฉลี่ย (MOS) ของผู้ฟัง ดังนั้นโคเดกจึง “ชนะ” ต้นฉบับบนมาตรานี้ได้เพียงเพราะให้เสียงที่ฟังดูสะอาดมาก
ความชัดเจนของเสียงบอกอีกครึ่งหนึ่ง ตารางเดียวกันรายงาน dWER ซึ่งคืออัตราความผิดพลาดของคำส่วนเพิ่มที่ระบบ ASR ทำได้กับเสียงพูดที่สังเคราะห์ขึ้นใหม่ การตั้งค่า 0.16 kbps ของ FocalCodec ได้ 7.94 ขณะที่การตั้งค่า 0.65 kbps อยู่ที่ 2.18 เสียงที่เป็นธรรมชาติตอนนี้ราคาถูกแล้ว แต่การรักษาทุกคำและเอกลักษณ์ของผู้พูดยังต้องใช้บิต
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| UTMOS: FocalCodec ที่ 0.16 kbps และค่าอ้างอิงที่ไม่ผ่านการบีบอัด (LibriSpeech สะอาด) | 4.22 และ 4.09 | Della Libera และคณะ, บทความ FocalCodec (NeurIPS 2025) |
| dWER: FocalCodec ที่ 0.65 kbps และที่ 0.16 kbps | 2.18 และ 7.94 | Della Libera และคณะ, บทความ FocalCodec (NeurIPS 2025) |
| UTMOS และ dWER: BigCodec ที่ 1.04 kbps | 4.11 และ 2.55 | Della Libera และคณะ, บทความ FocalCodec (NeurIPS 2025) |
| UTMOS และ dWER: EnCodec ที่ 1.5 kbps | 1.58 และ 8.08 | Della Libera และคณะ, บทความ FocalCodec (NeurIPS 2025) |
| PESQ: TAAE ที่ 400 bps และ Mimi ที่ 1,100 bps | 2.96 และ 3.01 | Parker และคณะ, บทความ TAAE (ICLR 2025) |
| PESQ และ SI-SDR: TAAE ที่ 700 bps | 3.09 และ 4.73 dB | Parker และคณะ, บทความ TAAE (ICLR 2025) |
| UTMOS: WavTokenizer ที่ 0.9 kbps (75 โทเคนต่อวินาที), DAC ที่ 9 kbps และค่าอ้างอิงจริง | 4.0486, 3.9097 และ 4.0562 | Ji และคณะ, บทความ WavTokenizer (ICLR 2025) |
การเปรียบเทียบ TAAE ควรอ่านสองรอบ ที่ 400 bps มันได้ PESQ ใกล้เคียงกับของ Mimi ที่ 1,100 bps ซึ่งตัวโคเดก Mimi เองก็มีอายุเพียงไม่กี่ปี (Parker และคณะ, บทความ TAAE) โปรดทราบว่าตัวเลขทุกตัวในหัวข้อนี้วัดจากเสียงอ่านสะอาดของ LibriSpeech หรือ LibriTTS จึงควรถือเป็นกรณีที่ดีที่สุด
4. ความหน่วงและต้นทุนการประมวลผล
บิตเรตเป็นเพียงงบประมาณหนึ่ง โคเดกสำหรับการโทรสดหรือการสตรีมยังมีงบประมาณด้านความหน่วงและงบประมาณ CPU ด้วย Lyra V2 เข้ารหัสและถอดรหัสเฟรม 20 ms ได้ใน 0.57 ms บน Pixel 6 Pro เร็วกว่าเวลาจริง 35 เท่า โดยมีความหน่วง 20 ms เทียบกับ 100 ms ของ Lyra V1 (Google Open Source Blog, Lyra V2) โคเดกนิวรัลแบบสตรีมที่ทำงานเป็นเฟรม 20 ms อยู่ในช่วงความหน่วงที่มาตรฐาน Opus อนุญาตสำหรับการเข้ารหัสแบบดั้งเดิมอยู่แล้ว (ดูตาราง)
ขนาดโมเดลคือจุดที่แต่ละรุ่นแยกทางกัน โคเดกที่มุ่งสำหรับโทรศัพท์ยังคงเล็กและเร็ว ขณะที่โคเดกงานวิจัยต่ำกว่า 1 kbps แลกการประมวลผลกับจำนวนบิต TAAE มีราว 950M พารามิเตอร์ และ SemantiCodec ทำงานช้ากว่าเวลาจริง
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความหน่วง: Lyra V2 และ Lyra V1 | 20 ms และ 100 ms | Google Open Source Blog, Lyra V2 (2022) |
| ปัจจัยเวลาจริงบนเธรด CPU หนึ่งเธรดของ MacBook Pro 2019 ที่ 6 kbps ตัวเข้ารหัสและตัวถอดรหัส (สูงกว่า 1 = เร็วกว่าเวลาจริง): EnCodec 24 kHz และ Lyra v2 | 9.8 และ 10.4; 27.4 และ 67.2 | Meta AI, บทความ EnCodec (TMLR 2023) |
| ช่วงความหน่วงเชิงอัลกอริทึมของ Opus และขนาดเฟรม | 5 ถึง 65.2 ms; เฟรม 2.5 ถึง 60 ms | IETF, RFC 6716 (2012) |
| พารามิเตอร์ของโมเดล: DAC (ตัวเข้ารหัสรวมตัวถอดรหัส) | 76M (ตัวเข้ารหัส 22M, ตัวถอดรหัส 54M) | Descript, บทความ DAC (NeurIPS 2023) |
| พารามิเตอร์ของโมเดล: TAAE, Mimi และ EnCodec | 950M, 80M และ 14M | Parker และคณะ, บทความ TAAE (ICLR 2025) |
| ปัจจัยเวลาจริง (สูงกว่า 1 = เร็วกว่าเวลาจริง): FocalCodec ที่ 0.16 kbps, BigCodec และ SemantiCodec | 208, 22 และ 0.62 | Della Libera และคณะ, บทความ FocalCodec (NeurIPS 2025) |
ปัจจัยเวลาจริงถูกรายงานต่างกันในแต่ละบทความ EnCodec และ FocalCodec ใช้ “เร็วกว่าเวลาจริงกี่เท่า” (ยิ่งสูงยิ่งดี) ดังนั้นไม่ควรเปรียบเทียบค่าจากต่างบทความทีละแถว ช่วงของ Opus มาจาก RFC 6716 ของ IETF ซึ่งเป็นมาตรฐานปี 2012 ที่ยังคงนิยามบิตสตรีมของ Opus ข้อมูลล่าสุดที่มีสำหรับค่าพื้นฐานนี้คือ RFC ปี 2012 ซึ่งต่อยอดด้วย libopus รุ่นปี 2024 และ 2025 ที่กล่าวถึงในหัวข้อ 7
5. โทเคนโคเดกในโมเดลภาษาเสียงพูดและเสียง
โคเดกนิวรัลมีอาชีพที่สองแล้ว คือเป็นตัวแปลงโทเคนที่ทำให้โมเดลภาษาพูดได้ Mimi ของ Kyutai เข้ารหัสเสียงพูด 24 kHz เป็นโทเคนที่ 12.5 Hz และ 1.1 kbps โดยใช้โค้ดบุ๊ก 8 ชุด ชุดละ 2,048 รายการ และโมเดลสนทนา Moshi ที่สร้างบนโคเดกนี้รายงานความหน่วงเชิงทฤษฎี 160 ms และ 200 ms ในทางปฏิบัติ (Kyutai, บทความ Moshi) โมเดลออโตเรเกรสซีฟโดยทั่วไปทำงานหนึ่งขั้นต่อหนึ่งเฟรมโทเคน อัตราเฟรมจึงแปลงเป็นความเร็วโดยตรง ซึ่งเป็นหัวข้อที่เราครอบคลุมจากฝั่งเอเจนต์ในสถิติเวลาถึงไบต์เสียงแรก
นั่นคือเหตุผลที่อัตราเฟรม ไม่ใช่แค่บิตเรต กลายเป็นเป้าหมายการออกแบบ โคเดกเสียงพูดอัตราเฟรมต่ำของ NVIDIA ทำงานที่ 21.5 เฟรมต่อวินาทีและ 1.89 kbps และตามที่ผู้เขียนระบุ ทำให้การอนุมานแปลงข้อความเป็นเสียงด้วย LLM เร็วขึ้นราวสามเท่า ผลิตภัณฑ์เสียงที่สร้างบนซอฟต์แวร์โคลนเสียงและการแปลงข้อความเป็นเสียงได้รับข้อแลกเปลี่ยนเหล่านี้โดยตรง
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| อัตราโทเคน บิตเรต และอัตราสุ่มตัวอย่างเสียงของ Mimi | 12.5 Hz, 1.1 kbps, 24 kHz | Kyutai, บทความ Moshi (arXiv 2024) |
| MUSHRA: Mimi ที่ 1.1 kbps, SpeechTokenizer ที่ 4.0 kbps และ SemantiCodec ที่ 1.3 kbps | 81.0, 74.3 และ 64.8 | Kyutai, บทความ Moshi (arXiv 2024) |
| ความหน่วงการสนทนาของ Moshi เชิงทฤษฎีและในทางปฏิบัติ | 160 ms และ 200 ms | Kyutai, บทความ Moshi (arXiv 2024) |
| อัตราเฟรมและบิตเรตของโคเดกเสียงพูดอัตราเฟรมต่ำของ NVIDIA | 21.5 เฟรมต่อวินาที, 1.89 kbps | NVIDIA, บทความโคเดกเสียงพูดอัตราเฟรมต่ำ (arXiv 2024) |
| ความเร็วที่เพิ่มขึ้นของการอนุมานแปลงข้อความเป็นเสียงด้วย LLM เมื่อใช้โคเดกอัตราเฟรมต่ำนั้น | เร็วขึ้นราว 3 เท่า | NVIDIA, บทความโคเดกเสียงพูดอัตราเฟรมต่ำ (arXiv 2024) |
| จำนวนโทเคนต่อวินาทีของเสียง 24 kHz กับตัวควอนไทซ์ตัวเดียวของ WavTokenizer | 40 หรือ 75 | Ji และคณะ, บทความ WavTokenizer (ICLR 2025) |
| ข้อมูลฝึกและเสียงนำของ VALL-E ซึ่งเป็นโมเดลแปลงข้อความเป็นเสียงที่ฝึกบนรหัสโคเดกนิวรัล | เสียงพูดภาษาอังกฤษ 60K ชั่วโมง; เสียงนำ 3 วินาที | Microsoft, บทความ VALL-E (arXiv 2023) |
| ตัวแปลงโทเคนของ MusicGen: EnCodec ที่ 32 kHz, โค้ดบุ๊ก, อัตราโทเคน, ดนตรีที่ใช้ฝึก | โค้ดบุ๊ก 4 ชุด ชุดละ 2,048, 50 Hz, 20K ชั่วโมง | Copet และคณะ, บทความ MusicGen (arXiv 2023) |
ข้อมูลล่าสุดที่มีสำหรับ VALL-E และ MusicGen: ปี 2023 ข้อควรระวังสำหรับแถว MUSHRA คือ 81.0 ของ Mimi เป็นรุ่นที่ฝึกด้วยฟังก์ชันสูญเสียแบบปรปักษ์เท่านั้น รุ่นที่ฝึกโดยไม่มีฟังก์ชันนั้นได้ 58.8 ดังนั้นสูตรการฝึกของตัวแปลงโทเคนส่งผลต่อคุณภาพที่รับรู้ได้พอ ๆ กับบิตเรต
6. สิ่งที่โคเดกรักษาไว้สำหรับงานปลายน้ำ
คะแนนการฟังไม่ได้บอกว่าเครื่องมือถอดเสียง การตรวจสอบผู้พูด หรือตัวจำแนกอารมณ์ยังทำงานได้หรือไม่กับเสียงที่ถอดรหัสแล้ว ใน Codec-SUPERB นั้น EnCodec ที่ 1.5 kbps ทำให้อัตราความผิดพลาดของคำของ ASR เพิ่มจาก 2.96% เป็น 9.21% และอัตราความผิดพลาดเท่ากันของการยืนยันตัวผู้พูดเพิ่มจาก 0.86% เป็น 13.88% ขณะที่ DAC ที่ 24 kbps คงอัตราความผิดพลาดของคำไว้ที่ 2.96% ตามต้นฉบับพอดี (Wu และคณะ, Codec-SUPERB) การเปลี่ยนแปลงของอัตราความผิดพลาดเหล่านี้สำคัญสำหรับใครก็ตามที่ติดตามอัตราการหลอนและอัตราความผิดพลาดของการรู้จำเสียงพูดในสายงานที่ผ่านการบีบอัด
เอกลักษณ์ของผู้พูดและอารมณ์เป็นเหยื่อรายแรกของบิตเรตต่ำ เนื้อหาของเสียงพูดอยู่รอดได้นานกว่าชั้นที่เกี่ยวกับน้ำเสียงและอารมณ์ เกณฑ์เปรียบเทียบ DASB สรุปได้คมกว่าสำหรับโทเคนโคเดกที่ใช้เป็นอินพุตของโมเดล “ในทุกโดเมนและทุกงาน การแทนค่าแบบต่อเนื่องให้ผลดีกว่าโทเคนแบบไม่ต่อเนื่อง” และบิตเรตระดับกลางให้ผลดีที่สุด (Mousavi และคณะ, DASB)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| โมเดลโคเดกและตระกูลโมเดลที่ประเมินใน Codec-SUPERB | 19 รุ่นจาก 6 ตระกูล | Wu และคณะ, บทความ Codec-SUPERB (arXiv 2024) |
| อัตราความผิดพลาดของคำของ ASR: เสียงต้นฉบับและ EnCodec ที่ 1.5 kbps | 2.96% และ 9.21% | Wu และคณะ, บทความ Codec-SUPERB (arXiv 2024) |
| อัตราความผิดพลาดเท่ากันของการยืนยันตัวผู้พูด: เสียงต้นฉบับและ EnCodec ที่ 1.5 kbps | 0.86% และ 13.88% | Wu และคณะ, บทความ Codec-SUPERB (arXiv 2024) |
| ความแม่นยำในการรู้จำอารมณ์: เสียงต้นฉบับและ EnCodec ที่ 1.5 kbps | 69.84% และ 58.84% | Wu และคณะ, บทความ Codec-SUPERB (arXiv 2024) |
| อัตราความผิดพลาดของคำของ ASR: DAC ที่ 6 kbps และ DAC ที่ 24 kbps | 3.26% และ 2.96% | Wu และคณะ, บทความ Codec-SUPERB (arXiv 2024) |
| สหสัมพันธ์ของ PESQ กับคะแนนเสียงพูดโดยรวม | 0.97 | Wu และคณะ, บทความ Codec-SUPERB (arXiv 2024) |
| สูตรบิตเรตของ DASB สำหรับตัวแปลงโทเคน | log2(ขนาดคลังคำ) × โค้ดบุ๊ก × อัตราโทเคน | Mousavi และคณะ, เกณฑ์เปรียบเทียบ DASB (arXiv 2024) |
หมายเหตุบริบท อัตราความผิดพลาดเท่ากันคือจุดที่ระบบยืนยันตัวผู้พูดยอมรับผิดและปฏิเสธผิดในอัตราเดียวกัน ดังนั้นการกระโดดจาก 0.86% เป็น 13.88% หมายความว่าเสียงที่ถอดรหัสแล้วจับคู่กับเจ้าของเสียงได้ยากขึ้นมาก ค่าสหสัมพันธ์ของ PESQ ใน Codec-SUPERB ยังชี้ทางลัดเชิงปฏิบัติ สำหรับเสียงพูด ตัวชี้วัด PESQ ที่ใช้มานานยังคงตามผลสรุปโดยรวมของเกณฑ์เปรียบเทียบได้ใกล้ชิด
7. โคเดกแบบดั้งเดิมหันสู่นิวรัล: Opus, EVS และเส้นทางมาตรฐาน
โคเดกแบบดั้งเดิมไม่ได้อยู่นิ่ง Opus 1.5 (4 มีนาคม 2024) แสดงให้เห็นว่าตัวเพิ่มคุณภาพ NoLACE ทำให้เสียงพูดที่ 9 kb/s ดีกว่าที่ 12 kb/s แบบไม่เพิ่มคุณภาพ โดยมีต้นทุนขณะทำงานราว 0.75% ของ CPU (Xiph.Org, การเปิดตัว Opus 1.5) ฟีเจอร์ Deep Redundancy (DRED) ซึ่งตอนนี้อยู่บนเส้นทางมาตรฐานของ IETF บรรจุเสียงสำรองได้ถึงหนึ่งวินาทีในแต่ละแพ็กเก็ต ทำให้ “ทุกแพ็กเก็ต 20 ms ถูกส่งไปจริง ๆ 50 ครั้ง” และบันทึกการเปิดตัวระบุว่ายัง “ทำงานได้ดีแม้สูญเสียถึง 90%” (ในที่นี้ “การสูญเสียแพ็กเก็ต” หมายถึงแพ็กเก็ตข้อมูลที่หลุดไประหว่างทางบนเครือข่าย ไม่ใช่ไฟล์เสียงที่หายไป)
ข้อสรุปคือ ช่องว่างที่วัดไว้ในหัวข้อ 1 เทียบกับ Opus รุ่นเก่ากำลังแคบลงจากฝั่งแบบดั้งเดิม Opus 1.6 (15 ธันวาคม 2025) ก้าวไปไกลกว่านั้น ด้วยการลดขนาดโมเดล DRED และเพิ่มการขยายแบนด์วิดท์แบบนิวรัล ทำให้เสียงพูด 9 kb/s ถึงคุณภาพของ Opus 1.4 เต็มแถบความถี่ที่ 18 kb/s
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ช่วงบิตเรตของ Opus ที่มาตรฐานกำหนด | 6 kbit/s ถึง 510 kbit/s | IETF, RFC 6716 (2012) |
| ช่วงบิตเรตของ EVS และแบนด์วิดท์เสียงสูงสุด | 5.9 ถึง 128 kbps, สูงสุด 20 kHz | 3GPP, ข่าวประชาสัมพันธ์โคเดก EVS (2014) |
| บิตเรตต่ำสุดของ Opus 1.5 ที่เสียงพูด “ใช้งานได้อย่างสมบูรณ์” เมื่อใช้ NoLACE | 6 kb/s | Xiph.Org, การเปิดตัว Opus 1.5 (2024) |
| ความซับซ้อนของตัวเพิ่มคุณภาพ NoLACE และ LACE และโวโคเดอร์แบบนิวรัล FARGAN ใน Opus 1.5 | NoLACE 400 MFLOPS (ราว 0.75% ของ CPU); LACE 100 MFLOPS (ราว 0.15% ของ CPU); FARGAN 600 MFLOPS (1/5 ของ LPCNet) | Xiph.Org, การเปิดตัว Opus 1.5 (2024) |
| ขนาดโมเดล DRED: Opus 1.6 และ Opus 1.5 | 600 kB และ 1,800 kB | Xiph.Org, การเปิดตัว Opus 1.6 (2025) |
| การขยายแบนด์วิดท์ของ Opus 1.6 กับ NoLACE ที่ 9 kb/s เทียบเท่ากับ | Opus 1.4 เต็มแถบความถี่ที่ 18 kb/s | Xiph.Org, การเปิดตัว Opus 1.6 (2025) |
| บิตเรตของความซ้ำซ้อนแบบ DRED เทียบกับบิตเรต Opus ปกติ และ LBRR ในแถบเพื่อเปรียบเทียบ | ราว 1/50 (DRED) และราว 2/3 (LBRR) | IETF, draft-ietf-mlcodec-opus-dred-07 (4 สิงหาคม 2026) |
ข้อกำหนด DRED ยังเป็น Internet-Draft (คณะทำงาน mlcodec ของ IETF) ซึ่งปรับปรุงล่าสุดเมื่อ 4 สิงหาคม 2026 บันทึกของ Opus 1.5 เตือนไว้ว่า “เวอร์ชันที่รวมอยู่ใน Opus 1.5 จะไม่เข้ากันกับเวอร์ชันสุดท้าย” ตัวเลขของ EVS มาจากประกาศ 3GPP Release 12 ข้อมูลล่าสุดที่มี: 3GPP ปี 2014
สรุป: บิตเรตและคุณภาพของโคเดกเสียงแบบนิวรัลในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| MUSHRA เสียงพูดสะอาด: EnCodec ที่ 6 kbps และ Opus ที่ 6 kbps | 83.1 และ 30.1 | Meta AI, บทความ EnCodec (TMLR 2023) |
| บิตเรตของ Opus และ EVS ที่ต้องใช้เพื่อเทียบเท่า SoundStream ที่ 3 kbps | Opus อย่างน้อย 12 kbps, EVS อย่างน้อย 9.6 kbps | Google, บทความ SoundStream (arXiv 2021) |
| ช่วงบิตเรตของ Opus ที่มาตรฐานกำหนด | 6 ถึง 510 kbit/s | IETF, RFC 6716 (2012) |
| การบีบอัดเสียง 44.1 kHz ของ DAC ที่ 8 kbps | ราว 90 เท่า | Descript, บทความ DAC (NeurIPS 2023) |
| ViSQOL: DAC ที่ 8 kbps และ EnCodec ที่ 24 kbps | 4.18 และ 3.16 | Descript, บทความ DAC (NeurIPS 2023) |
| dWER: FocalCodec ที่ 0.65 kbps และที่ 0.16 kbps | 2.18 และ 7.94 | Della Libera และคณะ, บทความ FocalCodec (NeurIPS 2025) |
| UTMOS: FocalCodec ที่ 0.16 kbps และค่าอ้างอิง | 4.22 และ 4.09 | Della Libera และคณะ, บทความ FocalCodec (NeurIPS 2025) |
| PESQ: TAAE ที่ 400 bps และ Mimi ที่ 1,100 bps | 2.96 และ 3.01 | Parker และคณะ, บทความ TAAE (ICLR 2025) |
| UTMOS: WavTokenizer ที่ 0.9 kbps และ DAC ที่ 9 kbps | 4.0486 และ 3.9097 | Ji และคณะ, บทความ WavTokenizer (ICLR 2025) |
| ความแม่นยำในการรู้จำอารมณ์: ต้นฉบับและ EnCodec ที่ 1.5 kbps | 69.84% และ 58.84% | Wu และคณะ, บทความ Codec-SUPERB (arXiv 2024) |
| พารามิเตอร์ของโมเดล: TAAE และ EnCodec | 950M และ 14M | Parker และคณะ, บทความ TAAE (ICLR 2025) |
| อัตราโทเคนและบิตเรตของ Mimi | 12.5 Hz, 1.1 kbps | Kyutai, บทความ Moshi (arXiv 2024) |
| ความหน่วงการสนทนาของ Moshi ในทางปฏิบัติ | 200 ms | Kyutai, บทความ Moshi (arXiv 2024) |
| ความเร็วที่เพิ่มขึ้นของการแปลงข้อความเป็นเสียงด้วย LLM จากโคเดก 21.5 เฟรมต่อวินาที | ราว 3 เท่า | NVIDIA, บทความโคเดกเสียงพูดอัตราเฟรมต่ำ (arXiv 2024) |
| อัตราความผิดพลาดของคำของ ASR: ต้นฉบับและ EnCodec ที่ 1.5 kbps | 2.96% และ 9.21% | Wu และคณะ, บทความ Codec-SUPERB (arXiv 2024) |
| MUSHRA: Mimi ที่ 1.1 kbps และ SpeechTokenizer ที่ 4.0 kbps | 81.0 และ 74.3 | Kyutai, บทความ Moshi (arXiv 2024) |
| Opus ที่เพิ่มคุณภาพด้วย NoLACE ที่ 9 kb/s เทียบกับ Opus ที่ไม่ได้เพิ่มคุณภาพ | ดีกว่าที่ 12 kb/s | Xiph.Org, การเปิดตัว Opus 1.5 (2024) |
| ขนาดโมเดล DRED, Opus 1.6 และ Opus 1.5 | 600 kB และ 1,800 kB | Xiph.Org, การเปิดตัว Opus 1.6 (2025) |
ระเบียบวิธีและแหล่งที่มา
- Google, SoundStream: An End-to-End Neural Audio Codec (arXiv 2107.03312, 2021; IEEE/ACM TASLP): อัตราส่วนบิตเรต MUSHRA เทียบกับ Opus และ EVS, ขนาดเฟรม, ผลประหยัดจากการเข้ารหัสเอนโทรปี
- Google Open Source Blog, Lyra V2 (กันยายน 2022): ความเทียบเท่ากับ Opus, ความหน่วง, การจับเวลาบน Pixel 6 Pro
- Meta AI, High Fidelity Neural Audio Compression (EnCodec), TMLR 2023 (arXiv 2210.13438): ตาราง MUSHRA, อัตราการบีบอัด, ปัจจัยเวลาจริง, การเข้ารหัสเอนโทรปี
- Meta Engineering, MLow: Meta’s low bitrate audio codec (13 มิถุนายน 2024): การเปรียบเทียบ POLQA กับ Opus โดยผู้พัฒนาเอง
- Copet et al., Simple and Controllable Music Generation (MusicGen), arXiv 2023: การกำหนดค่าตัวแปลงโทเคน EnCodec และชั่วโมงการฝึก
- Descript, High-Fidelity Audio Compression with Improved RVQGAN (DAC), NeurIPS 2023: ตัวคูณการบีบอัด, ตาราง ViSQOL, จำนวนพารามิเตอร์
- Kyutai, Moshi: a speech-text foundation model for real-time dialogue (arXiv 2410.00037, 2024): ข้อกำหนดโคเดก Mimi, MUSHRA เทียบกับตัวแปลงโทเคนเชิงความหมาย, ความหน่วงการสนทนา
- NVIDIA, Low Frame-rate Speech Codec (arXiv 2409.12117, 2024): อัตราเฟรม, บิตเรต, ความเร็วที่เพิ่มขึ้นของการอนุมาน TTS
- Microsoft, VALL-E: Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (arXiv 2301.02111, 2023): ชั่วโมงการฝึกและความยาวเสียงนำ
- Ji et al., WavTokenizer (ICLR 2025, arXiv 2408.16532): อัตราโทเคนของตัวควอนไทซ์ตัวเดียวและ UTMOS
- Parker et al., Scaling Transformers for Low-Bitrate High-Quality Speech Coding (TAAE), ICLR 2025: ผลที่ 400 และ 700 bps, จำนวนพารามิเตอร์
- Della Libera et al., FocalCodec (NeurIPS 2025, arXiv 2502.04465): ตารางเกณฑ์เปรียบเทียบต่ำกว่า 1 kbps พร้อม UTMOS, dWER และปัจจัยเวลาจริง
- Wu et al., Codec-SUPERB: An In-Depth Analysis of Sound Codec Models (arXiv 2402.13071, 2024): ผลงานปลายน้ำด้าน ASR, ผู้พูด, อารมณ์
- Mousavi et al., DASB: Discrete Audio and Speech Benchmark (arXiv 2406.14294, ปรับปรุงเมื่อ 21 เมษายน 2026): ข้อค้นพบเรื่องการแทนค่าแบบไม่ต่อเนื่องเทียบกับแบบต่อเนื่อง
- Xiph.Org, บันทึกการเปิดตัว Opus 1.5 (4 มีนาคม 2024) และบันทึกการเปิดตัว Opus 1.6 (15 ธันวาคม 2025): LACE, NoLACE, DRED, FARGAN, การขยายแบนด์วิดท์
- IETF, RFC 6716: Definition of the Opus Audio Codec (กันยายน 2012) และ IETF, draft-ietf-mlcodec-opus-dred: ช่วงบิตเรตและความหน่วงของ Opus, ภาระเพิ่มของ DRED
- 3GPP, Enhanced Voice Services codec for LTE (Release 12, 7 พฤศจิกายน 2014): ช่วงบิตเรตและแบนด์วิดท์ของ EVS
- ITU-R BS.1534-3 (MUSHRA), ตุลาคม 2015 และ ITU-T P.808 crowdsourced speech quality, มิถุนายน 2021: วิธีการทดสอบการฟังเบื้องหลังตัวเลข MUSHRA และ MOS ที่รวบรวมจากฝูงชน
- ข้อสังเกตเกี่ยวกับข้อมูล: (1) MUSHRA, MOS, ViSQOL, UTMOS และ PESQ ใช้แทนกันไม่ได้ และคะแนนมีความหมายก็ต่อเมื่อเทียบกับค่าอ้างอิงและค่าพื้นฐานในการทดสอบเดียวกันเท่านั้น โดยเฉพาะ UTMOS อาจให้คะแนนโคเดกสูงกว่าต้นฉบับ (FocalCodec 4.22 เทียบกับ 4.09) (2) บล็อก MLow ของ Meta พิมพ์ “POLQA MOS 1.89 เทียบกับ 3.9” โดยไม่ระบุว่าคะแนนใดเป็นของโคเดกใด บริบทของบทความบ่งชี้ว่า Opus 1.89 และ MLow 3.9 และไม่ได้ระบุเวอร์ชันของ Opus ที่ใช้ (3) ข้อความของ Codec-SUPERB ระบุว่าความแม่นยำด้านอารมณ์ของ DAC ที่ 24 kbps ลดลง “0.38%” แต่ค่าในตาราง (69.84% เป็น 69.56%) ให้ผลต่าง 0.28 คะแนน และจำนวนชุดข้อมูลของบทความแปรผันระหว่าง 20 ถึง 21 เรารายงานเฉพาะค่าในตาราง (4) การตั้งค่า 40 โทเคนของ WavTokenizer พิมพ์เป็น 0.5 kbps ในตาราง และ 0.48 kbps ในข้อความ (5) หน้า arXiv ของ EnCodec ยังระบุว่า “พรีพรินต์” ขณะที่รายการ TMLR 2023 ยืนยันการตีพิมพ์ในวารสาร Google ระบุ SoundStream ใน IEEE/ACM TASLP พร้อมวันที่ปี 2021 ขณะที่ดัชนีอื่นระบุปี 2022 (6) จำนวนพารามิเตอร์ของโคเดกเดียวกันต่างกันไปตามแหล่งที่มา Mimi ถูกระบุเป็น 80M ในบทความ TAAE, 82M ในบทความ FocalCodec และ 96.2M บนการ์ดโมเดล Hugging Face ของ Kyutai ซึ่งน่าจะขึ้นอยู่กับว่านับส่วนประกอบใดบ้าง นิยามของปัจจัยเวลาจริงก็ต่างกันระหว่างบทความ ดังนั้นแถวความเร็วข้ามบทความจึงเปรียบเทียบกันตรง ๆ ไม่ได้ (7) การเปรียบเทียบแบบเจอกันตรง ๆ กับ Opus ส่วนใหญ่เกิดก่อนฟีเจอร์นิวรัลของ Opus 1.5 และ 1.6 และไม่มีตัวเลขขนาดตลาดรวมอยู่ด้วย เพราะไม่พบข้อมูลตลาด Tier 1 สำหรับโคเดกนิวรัล
- อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการอัปเดตครั้งถัดไปจะเกิดขึ้นเมื่อคณะทำงาน mlcodec ของ IETF ผลักดัน draft-ietf-mlcodec-opus-dred ไปสู่การเผยแพร่เป็น RFC