เสียงพูดที่ถอดความแล้วเพียงสิบนาทีก็เพียงพอให้ wav2vec 2.0 ทำอัตราความผิดพลาดของคำได้ 4.8% บนชุด LibriSpeech test-clean (Meta AI, wav2vec 2.0, NeurIPS 2020) หลังจากที่โมเดลฝึกบนเสียงดิบที่ไม่มีบทถอดความจากมนุษย์มาก่อน แนวทางที่เรียกว่าการเรียนรู้ด้วยตนเอง บนชุดทดสอบที่ซ่อนไว้ของการแข่งขัน SUPERB @ SLT 2022 WavLM-large ทำคะแนนได้ 1242 บนสเกลที่ผลล้ำสมัยสุดของเดือนตุลาคม 2021 อยู่ที่ 1000 (Feng และคณะ, SUPERB @ SLT 2022) แต่มีเพียงราวครึ่งหนึ่งของ 33 โมเดลที่ทดสอบเท่านั้นที่เอาชนะเส้นฐานแบบดั้งเดิมได้ในทุกงาน (Yang และคณะ, IEEE/ACM TASLP 2024) โมเดลรุ่นเดิมยังคงถูกใช้งานทุกวัน facebook/wav2vec2-base-960h แสดงยอดดาวน์โหลดเดือนที่แล้ว 1,737,874 ครั้ง (Hugging Face, 31 ตุลาคม 2026) เรารวบรวมข้อมูลจากบทความเกณฑ์มาตรฐาน SUPERB, SUPERB-SG และ ML-SUPERB รายงานการแข่งขัน SUPERB @ SLT 2022 บทความโมเดล wav2vec 2.0, WavLM และ XEUS รวมถึงตัวนับยอดดาวน์โหลดแบบสดของ Hugging Face สิ่งที่อัตราความผิดพลาดต่ำเหล่านี้ไม่ได้บอกนั้นอยู่ในบทสรุปของเราเรื่องอัตราการเกิดภาพหลอนของการรู้จำเสียงพูด
ข้อควรระวังในการอ่านตัวเลขทุกตัวด้านล่าง คะแนน SUPERB ส่วนใหญ่มาจากช่วงปี 2021 ถึง 2024 เพราะบทความเกณฑ์มาตรฐานเป็นผู้บันทึกสถิติ และตารางอันดับแบบสดเข้าถึงไม่ได้สำหรับการอัปเดตครั้งนี้ (ดูข้อสังเกตเกี่ยวกับข้อมูล) สำหรับอัตราความผิดพลาด ค่าต่ำกว่าดีกว่า สำหรับความแม่นยำและคะแนน SUPERB ค่าสูงกว่าดีกว่า
สรุปโดยย่อ
- wav2vec 2.0 Large ทำ WER ได้ 4.8% / 8.2% ด้วยป้ายกำกับ 10 นาที เทียบกับ 16.3% / 25.2% ของวิธีที่ดีที่สุดก่อนหน้า (Meta AI, wav2vec 2.0, NeurIPS 2020)
- wav2vec-U ทำ WER ได้ 5.9% บน test-other โดยไม่ใช้เสียงพูดที่ถอดความเลย (Meta AI, wav2vec-U 2021)
- ตารางผลล้ำสมัยสุดของบทความทบทวนจาก IEEE ระบุ WER ของ LibriSpeech ที่ 1.4% / 2.6% เมื่อใช้การฝึกล่วงหน้าแบบเรียนรู้ด้วยตนเอง เทียบกับ 2.1% / 4.0% เมื่อไม่ใช้ (Mohamed และคณะ, IEEE JSTSP 2022)
- HuBERT Large ลดอัตราความผิดพลาดของหน่วยเสียงจาก 82.01% ของเส้นฐาน FBANK เหลือ 3.53% (Yang และคณะ, SUPERB, Interspeech 2021)
- การรู้จำอารมณ์ยังเป็นเพดานต่ำ โดย XEUS นำที่ความแม่นยำ 71.08% (Chen และคณะ, XEUS, EMNLP 2024)
- คะแนน BLEU ของการแปลคำพูดเพิ่มจาก 2.32 ด้วย FBANK เป็น 20.01 ด้วย HuBERT Large (Tsai และคณะ, SUPERB-SG, ACL 2022)
- ราวครึ่งหนึ่งของ 33 โมเดลเอาชนะ FBANK ได้ทั้ง 15 งาน (Yang และคณะ, IEEE/ACM TASLP 2024)
- WavLM Base+ ได้คะแนนรวม 73.4 ที่ 94.70M พารามิเตอร์ สูงกว่า HuBERT Large ที่ 72.2 ซึ่งมี 316.61M (Microsoft, WavLM, IEEE JSTSP 2022)
- โมเดลที่ใหญ่ที่สุดในการแข่งขัน ซึ่งมี 619.82M พารามิเตอร์ ได้ 848 เทียบกับ 1242 ของ WavLM-large ที่มี 315.45M (Feng และคณะ, SUPERB @ SLT 2022)
- บนชุด ML-SUPERB 10 นาที wav2vec2-large ได้ 598.3 และ wav2vec2-base ที่เล็กกว่าได้ 755.2 (Shi และคณะ, ML-SUPERB, Interspeech 2023)
- DistilHuBERT ทำให้ HuBERT เล็กลง 75% และเร็วขึ้น 73% (Chang และคณะ, ICASSP 2022)
- microsoft/wavlm-large แสดงยอดดาวน์โหลดเดือนที่แล้ว 1,068,711 ครั้ง (Hugging Face, 31 ตุลาคม 2026)
1. ข้อมูลมีป้ายกำกับ: จาก 960 ชั่วโมงเหลือ 10 นาที
อัตราความผิดพลาดของคำ (WER) คือสัดส่วนของคำที่ระบบทำผิด และ “ป้ายกำกับ” ในที่นี้หมายถึงบทถอดความจากมนุษย์ LibriSpeech มีชุดทดสอบมาตรฐานสองชุด คือ test-clean และ test-other ที่ยากกว่า การลดจากป้ายกำกับ 960 ชั่วโมงเหลือ 10 นาที ทำให้ WER บน test-other ของ wav2vec 2.0 เพิ่มจาก 3.3% เป็น 8.2% เนื่องจาก 960 ชั่วโมงเท่ากับ 57,600 นาที นั่นคือเสียงที่ถอดความน้อยลง 5,760 เท่า (57,600 / 10) แลกกับอัตราความผิดพลาดที่สูงขึ้นราว 2.5 เท่า (8.2 / 3.3)
คอขวดย้ายตำแหน่ง ในอดีตการถอดความเป็นตัวกำหนดพื้นของคุณภาพ หลัง wav2vec 2.0 ปัจจัยนำเข้าที่หายากกลายเป็นเสียงที่ไม่มีป้ายกำกับและเวลา GPU ค่า 8.2% บน test-other ยังต่ำกว่า 25.2% ของวิธีที่ดีที่สุดก่อนหน้าราว 67% ((25.2 - 8.2) / 25.2) และบทความทบทวนจาก IEEE ยกให้เป็นโมเดลแรกที่ทำ WER หลักเดียวบน LibriSpeech โดยใช้เพียงชุดย่อยทรัพยากรต่ำของ Libri-Light
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER ด้วยป้ายกำกับ 10 นาที wav2vec 2.0 Large เทียบกับ Discrete BERT ที่ดีที่สุดก่อนหน้า (test-clean / test-other) | 4.8% / 8.2% เทียบกับ 16.3% / 25.2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER ด้วยป้ายกำกับ 10 นาที HuBERT X-Large (test-clean / test-other) | 4.6% / 6.8% | Meta AI, HuBERT, IEEE/ACM TASLP 2021 |
| WER บน test-other ด้วยป้ายกำกับ 1 ชั่วโมง wav2vec 2.0 Large เทียบกับ WavLM Large | 5.8% เทียบกับ 5.1% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER ด้วยป้ายกำกับ 10 ชั่วโมง HuBERT Large และ WavLM Large (ทั้งคู่ test-clean / test-other) | 2.4% / 4.6% | Microsoft, WavLM, IEEE JSTSP 2022 |
| WER ด้วยป้ายกำกับ LibriSpeech ครบ 960 ชั่วโมง wav2vec 2.0 Large (test-clean / test-other) | 1.8% / 3.3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER บน test-other โดยไม่ใช้เสียงพูดที่ถอดความเลย wav2vec-U | 5.9% | Meta AI, wav2vec-U 2021 |
| WER ของ LibriSpeech ในตารางผลล้ำสมัยสุดของบทความทบทวน แบบไม่ใช้เทียบกับแบบใช้การฝึกล่วงหน้าแบบเรียนรู้ด้วยตนเอง (test-clean / test-other) | 2.1% / 4.0% เทียบกับ 1.4% / 2.6% | Mohamed และคณะ, IEEE JSTSP 2022 |
การเปรียบเทียบนี้ไม่ได้เท่าเทียมกันอย่างสมบูรณ์ Discrete BERT ใช้โมเดลภาษาแบบสี่คำต่อเนื่อง ขณะที่แถวของ wav2vec 2.0, HuBERT และ WavLM ข้างต้นใช้โมเดลภาษาแบบ Transformer ตอนถอดรหัส รายการแบบเรียนรู้ด้วยตนเองในแถวสุดท้ายรวมโมเดล Conformer XXL เข้ากับการฝึกตนเองแบบ Noisy Student ข้อมูลล่าสุดที่มี: บทความของ Meta AI และ Microsoft ปี 2020 ถึง 2022
2. งานด้านเนื้อหาของ SUPERB: การรู้ว่าพูดอะไร
SUPERB เริ่มต้นด้วย 10 งานและกฎที่เข้มงวดข้อเดียว คือโมเดลที่ฝึกล่วงหน้าแล้วต้องถูกตรึงไว้ และฝึกเฉพาะหัวงานขนาดเล็ก เส้นฐานคือ FBANK คุณลักษณะเสียงแบบฟิลเตอร์แบงก์ดั้งเดิมที่ไม่มีการฝึกล่วงหน้าเลย HuBERT Large ลดอัตราความผิดพลาดของหน่วยเสียงจาก 82.01% เหลือ 3.53% อัตราความผิดพลาดของหน่วยเสียงคือแนวคิดเดียวกับ WER แต่นับที่เสียงพูดแทนที่จะนับที่คำ
ช่องว่างตัวเลขพาดหัวทำให้เกินจริงอยู่หนึ่งเรื่อง บทความระบุว่า FBANK ใช้งานไม่ได้กับงานที่จำกัดอยู่ที่หัวแบบเชิงเส้น ซึ่งอธิบายคะแนนที่ต่ำถึง 8.63% ของการตรวจจับคำสำคัญ เมื่อใช้หัวแบบไม่เชิงเส้นกับ ASR FBANK แข่งขันได้พอสมควร จน 23.18% ของมันเป็นพื้นที่เป็นธรรมกว่า การค้นด้วยตัวอย่าง ซึ่งหาคำพูดจากตัวอย่างเสียงและให้คะแนนด้วยค่าถ่วงน้ำหนักคำสูงสุด (MTWV) ให้ตัวเลขสัมบูรณ์ต่ำสุดในกลุ่ม คะแนนสูงสุดในบทความต้นฉบับคือ 0.0736
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| อัตราความผิดพลาดของหน่วยเสียงบน LibriSpeech เส้นฐาน FBANK เทียบกับ HuBERT Large | 82.01% เทียบกับ 3.53% | Yang และคณะ, SUPERB, Interspeech 2021 |
| ความแม่นยำของการตรวจจับคำสำคัญบน Speech Commands FBANK เทียบกับ wav2vec 2.0 Large | 8.63% เทียบกับ 96.66% | Yang และคณะ, SUPERB, Interspeech 2021 |
| WER ของการรู้จำเสียงพูดอัตโนมัติโดยไม่ใช้โมเดลภาษา FBANK เทียบกับ HuBERT Large | 23.18% เทียบกับ 3.62% | Yang และคณะ, SUPERB, Interspeech 2021 |
| คะแนน MTWV ของการค้นด้วยตัวอย่าง FBANK เทียบกับ HuBERT Base | 0.0058 เทียบกับ 0.0736 | Yang และคณะ, SUPERB, Interspeech 2021 |
| WER ของการรู้จำเสียงพูดอัตโนมัติบน SUPERB WavLM Large เทียบกับ XEUS | 3.44% เทียบกับ 3.34% | Chen และคณะ, XEUS, EMNLP 2024 |
| ความแม่นยำของการตรวจจับคำสำคัญบน SUPERB WavLM Large เทียบกับ XEUS | 97.86% เทียบกับ 98.32% | Chen และคณะ, XEUS, EMNLP 2024 |
ตัวเลข SUPERB ภาษาอังกฤษล่าสุดในที่นี้มาจาก XEUS และส่วนต่างบางลงมาก คือ 0.10 จุดเปอร์เซ็นต์บน ASR กลุ่มงานนี้ดูใกล้จะอิ่มตัว
3. งานด้านผู้พูด เจตนา และอารมณ์
งานด้านผู้พูดถามว่าใครกำลังพูด ไม่ใช่พูดอะไร จึงทดสอบว่าตัวแทนเสียงเก็บอะไรไว้มากกว่าตัวคำหรือไม่ การระบุตัวผู้พูดเพิ่มจากแทบเป็นศูนย์ด้วย FBANK เป็น 90.33% ด้วย HuBERT Large WavLM Large ที่ปรับแต่งละเอียดแล้วทำอัตราความผิดพลาดเท่ากันได้ 0.383% บน VoxCeleb1-O เทียบกับ 1.010% ของระบบอ้างอิง ECAPA-TDNN อัตราความผิดพลาดเท่ากัน (EER) คือจุดปฏิบัติการที่การยอมรับผิดเท่ากับการปฏิเสธผิด ดังนั้นค่าต่ำกว่าดีกว่า
อารมณ์คือกรณีที่ผิดแปลกไปจากกลุ่ม ความแม่นยำของการรู้จำอารมณ์สี่คลาสบน IEMOCAP แทบไม่ขยับระหว่าง WavLM Large กับ XEUS และแม้แต่คะแนนที่ดีที่สุดก็ยังพลาดเกือบ 3 ใน 10 คลิป ขีดจำกัดในทางปฏิบัติอยู่ในสถิติความแม่นยำของการรู้จำอารมณ์จากเสียงพูดของเรา แถวของการแบ่งผู้พูดใช้ชุดข้อมูลต่างกัน ดังนั้นโปรดดูบทสรุปอัตราความผิดพลาดของการแบ่งผู้พูดของเราก่อนนำมาเทียบกัน อัตราความผิดพลาดของการแบ่งผู้พูด (DER) วัดว่าเวลาเสียงส่วนใดที่ตอบ “ใครพูดเมื่อไร” ผิด
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความแม่นยำของการระบุตัวผู้พูดบน VoxCeleb1 FBANK เทียบกับ HuBERT Large | 8.5E-4 เทียบกับ 90.33 (เปอร์เซ็นต์) | Yang และคณะ, SUPERB, Interspeech 2021 |
| ความแม่นยำของการจำแนกเจตนาบน Fluent Speech Commands FBANK เทียบกับ HuBERT Large | 9.10% เทียบกับ 98.76% | Yang และคณะ, SUPERB, Interspeech 2021 |
| ความแม่นยำของการจำแนกเจตนาในตารางผลล้ำสมัยสุดของบทความทบทวน แบบไม่ใช้เทียบกับแบบใช้การฝึกล่วงหน้าแบบเรียนรู้ด้วยตนเอง | 98.8% เทียบกับ 99.3% | Mohamed และคณะ, IEEE JSTSP 2022 |
| DER ของการแบ่งผู้พูดบน LibriMix สองผู้พูด WavLM Large เทียบกับ XEUS | 3.24% เทียบกับ 3.11% | Chen และคณะ, XEUS, EMNLP 2024 |
| ความแม่นยำของการรู้จำอารมณ์บน IEMOCAP (สี่คลาส) WavLM Large เทียบกับ XEUS | 70.62% เทียบกับ 71.08% | Chen และคณะ, XEUS, EMNLP 2024 |
| EER ของการยืนยันตัวผู้พูดบน VoxCeleb1-O ระบบอ้างอิง ECAPA-TDNN เทียบกับ WavLM Large ที่ปรับแต่งละเอียดแบบ Large-Margin และปรับเทียบคะแนน | 1.010% เทียบกับ 0.383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| DER ของการแบ่งผู้พูดบนสายโทรศัพท์ CALLHOME การจัดกลุ่มแบบ EEND-EDA เทียบกับ WavLM Large | 11.84% เทียบกับ 10.35% | Microsoft, WavLM, IEEE JSTSP 2022 |
โปรดสังเกตการเปลี่ยนวิธีในแถวการยืนยันตัวผู้พูด ผลนั้นมาจากการปรับแต่งละเอียด ไม่ใช่จากการตั้งค่าแบบตรึงโมเดลของ SUPERB จึงไม่ใช่คะแนนในตารางอันดับ บทความทบทวนจาก IEEE ยังแสดงให้เห็นว่าความได้เปรียบที่ด้านบนอาจเล็กได้เพียงใด คือ 0.5 จุดเปอร์เซ็นต์ในการจำแนกเจตนา
4. SUPERB-SG และเกณฑ์มาตรฐาน 15 งาน: จุดที่การเรียนรู้ด้วยตนเองไม่ช่วยอีกต่อไป
SUPERB-SG เพิ่มอีกห้างานที่ยากขึ้นด้านความหมายและการสร้าง การแปลแสดงการก้าวกระโดดที่ใหญ่ที่สุด คะแนน BLEU ซึ่งเป็นคะแนนคุณภาพการแปล เพิ่มจาก 2.32 เป็น 20.01 การแปลงเสียงก็ดีขึ้นอย่างชัดเจนเช่นกัน โดยวัดในที่นี้จากจำนวนคำที่ตัวรู้จำทำผิดบนเสียงที่แปลงแล้ว
หลังจากนั้นผลที่ได้ก็หยุด การปรับปรุงคุณภาพและการแยกเสียงขึ้นอยู่กับรายละเอียดสัญญาณระดับต่ำ และผู้เขียนพบว่างานสองอย่างนี้ไม่สัมพันธ์กับงานอื่นอย่างแข็งแรง wav2vec 2.0 Large อยู่ต่ำกว่า FBANK ในคะแนนคุณภาพเสียงพูด PESQ จริง ๆ ฉบับวารสาร ยืนยันเรื่องนี้ในระดับใหญ่ โมเดลที่สร้างมาเพื่อสรุปเสียงพูดไม่ได้เก่งในการสร้างเสียงขึ้นใหม่โดยอัตโนมัติ สำหรับด้านการแยกเสียงของภาพนี้ โปรดดูสถิติการแยกเสียงพูดของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คะแนน BLEU ของการแปลคำพูดบน CoVoST2 (อังกฤษเป็นเยอรมัน) FBANK เทียบกับ HuBERT Large | 2.32 เทียบกับ 20.01 | Tsai และคณะ, SUPERB-SG, ACL 2022 |
| WER ของการรู้จำเสียงพูดนอกโดเมน (สเปน จีนกลาง อาหรับ และอังกฤษแบบพูดเป็นธรรมชาติ) FBANK เทียบกับ HuBERT Large | 63.58% เทียบกับ 44.08% | Tsai และคณะ, SUPERB-SG, ACL 2022 |
| WER ของเสียงที่แปลงเสียงแล้วบน VCC2020 FBANK เทียบกับ HuBERT Large | 38.3% เทียบกับ 9.0% | Tsai และคณะ, SUPERB-SG, ACL 2022 |
| คะแนน SI-SDRi ของการแยกเสียงพูด (การปรับปรุงคุณภาพสัญญาณ ค่าสูงกว่าดีกว่า) FBANK เทียบกับ HuBERT Large | 9.23 เทียบกับ 10.45 | Tsai และคณะ, SUPERB-SG, ACL 2022 |
| คะแนน PESQ ของการปรับปรุงคุณภาพเสียงพูดบน Voicebank-DEMAND FBANK เทียบกับ wav2vec 2.0 Large เทียบกับ HuBERT Large | 2.55 เทียบกับ 2.52 เทียบกับ 2.64 | Tsai และคณะ, SUPERB-SG, ACL 2022 |
| ความสัมพันธ์ของผลลัพธ์งานกับ ASR สำหรับการแปลคำพูดและสำหรับ ASR นอกโดเมน | 0.92 ทั้งสองงาน | Tsai และคณะ, SUPERB-SG, ACL 2022 |
| สัดส่วนของ 33 โมเดลที่ทดสอบซึ่งเอาชนะ FBANK ได้ทั้ง 15 งาน | ราวครึ่งหนึ่ง | Yang และคณะ, IEEE/ACM TASLP 2024 |
| งานที่โมเดลส่วนที่เหลือตามหลัง FBANK | ราว 1 ถึง 3 งานจาก 15 งาน ส่วนมากคือการปรับปรุงคุณภาพและการแยกเสียง | Yang และคณะ, IEEE/ACM TASLP 2024 |
แถวนอกโดเมนควรได้รับความสนใจ HuBERT Large ยังมีอัตราความผิดพลาดเฉลี่ย 44.08% ในงานย่อยทั้งสี่นั้น (ภาษาจีนกลางให้คะแนนด้วยอัตราความผิดพลาดของตัวอักษร) ซึ่งสูงกว่า 3.62% บน LibriSpeech ภาษาอังกฤษมาก
5. การขยายขนาด: พารามิเตอร์ ชั่วโมงการฝึกล่วงหน้า และตารางอันดับ
โมเดลที่ใหญ่ที่สุดในการแข่งขัน SUPERB @ SLT 2022 มีพารามิเตอร์มากกว่า WavLM-large ราวสองเท่า และได้คะแนนต่ำกว่า 394 คะแนน (1242 - 848) ขนาดซื้อผลได้น้อยกว่าสูตรการฝึก หลักฐานที่ชัดที่สุดคือ WavLM Base+ ซึ่งคงขนาด Base ไว้ที่ 94.70M พารามิเตอร์ เพิ่มเสียงฝึกที่หลากหลายกว่า และเอาชนะโมเดลที่ใหญ่กว่า 3 เท่า (316.61 / 94.70 = 3.34) ได้
คะแนนการแข่งขันกำหนดเส้นฐาน FBANK ไว้ที่ 0 และผลล้ำสมัยสุดของวันที่ 15 ตุลาคม 2021 ไว้ที่ 1000 ดังนั้นสิ่งใดที่เกิน 1000 คือเอาชนะภาพ ณ เวลานั้นได้ คะแนนรวมในบทความ WavLM เป็นสเกลคนละอัน โดย FBANK อยู่ที่ 43.2 และสองสเกลนี้ต้องไม่นำมาเปรียบเทียบกัน ในขณะเดียวกัน ข้อมูลการฝึกล่วงหน้าเติบโตจาก 94,000 ชั่วโมงของ WavLM ไปเป็นหลายล้านชั่วโมง และต้นทุนตอนนี้ปรากฏเป็นเวลา GPU
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คะแนนรวม SUPERB HuBERT Large เทียบกับ WavLM Large (ทั้งคู่ราว 316.6M พารามิเตอร์) | 72.2 เทียบกับ 74.6 | Microsoft, WavLM, IEEE JSTSP 2022 |
| คะแนนรวม SUPERB WavLM Base+ (94.70M พารามิเตอร์) เทียบกับ HuBERT Large (316.61M พารามิเตอร์) | 73.4 เทียบกับ 72.2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| เสียงที่ใช้ฝึกล่วงหน้าของ WavLM | 94,000 ชั่วโมง (60,000 Libri-Light, 10,000 GigaSpeech, 24,000 VoxPopuli) | Microsoft, WavLM, IEEE JSTSP 2022 |
| คะแนนการแข่งขันบนชุดทดสอบที่ซ่อนไว้ของ WavLM-large พร้อมขนาดและการคำนวณ | 1242 (315.45M พารามิเตอร์, 4,326G MAC) | Feng และคณะ, SUPERB @ SLT 2022 |
| คะแนนการแข่งขันบนชุดทดสอบที่ซ่อนไว้ของผลงานที่ใหญ่ที่สุด Unsupervised ASR + T5 (619.82M พารามิเตอร์) | 848 | Feng และคณะ, SUPERB @ SLT 2022 |
| เสียงที่ใช้ฝึกล่วงหน้าของ XLS-R จากห้าชุดข้อมูล | 436,000 ชั่วโมง | Mohamed และคณะ, IEEE JSTSP 2022 |
| ขนาดโมเดล XEUS และการคำนวณการฝึกล่วงหน้า | 577M พารามิเตอร์ เสียงมากกว่า 1 ล้านชั่วโมง 63,000 ชั่วโมง GPU บน GPU A100 จำนวน 64 ตัวเป็นเวลาราว 40 วัน | Chen และคณะ, XEUS, EMNLP 2024 |
| เสียงที่ใช้ฝึกล่วงหน้าของ Google Universal Speech Model | 12 ล้านชั่วโมงในกว่า 300 ภาษา | Google, บทความ USM 2023 |
MAC (การดำเนินการคูณแล้วสะสม) ใช้ประมาณว่าโมเดลต้องใช้การคำนวณเท่าใดในการทำงาน แถวของ Google เป็นเพียงข้อมูลอ้างอิงด้านขนาด เราไม่พบคะแนน SUPERB ของโมเดลนั้น
6. ตารางอันดับหลายภาษา: อันดับภาษาอังกฤษใช้กับภาษาอื่นได้หรือไม่?
ได้เพียงบางส่วน WavLM ผู้นำของ SUPERB ภาษาอังกฤษ เป็นเส้นฐานที่อ่อนที่สุดในการแข่งขันหลายภาษาปี 2025 โดยมีอัตราความผิดพลาดของตัวอักษร 72.0% เทียบกับ 40.2% ของ XEUS บทความของการแข่งขันอธิบายว่าโมเดลนั้นรองรับเฉพาะภาษาอังกฤษ ซึ่งชี้ว่าอันดับในตารางบอกเรื่องเสียงที่ใช้ฝึกล่วงหน้าไม่น้อยกว่าเรื่องสถาปัตยกรรม สำหรับพฤติกรรมของตัวเข้ารหัสเสียงพูดข้ามภาษาในระดับเอมเบดดิง โปรดดูสถิติเอมเบดดิงเสียงพูดหลายภาษาของเรา
ML-SUPERB ปรับสเกลคะแนนด้วยวิธีเดียวกัน โดย FBANK อยู่ที่ 0 การขยายขนาดย้อนกลับมาเป็นผลเสียที่นี่ด้วย โมเดลใหญ่มักชนะใน ASR ภาษาเดียว แต่ผู้เขียนพบว่าโมเดลขนาดฐานมีแนวโน้มทำให้เป็นกรณีทั่วไปกับสถานการณ์หลายภาษาได้ดีกว่าเวอร์ชันใหญ่ของมัน จากนั้นการแข่งขัน ML-SUPERB 2.0 แสดงให้เห็นว่าสำเนียงท้องถิ่นเป็นส่วนที่ยังไม่ได้รับการแก้ โดยอัตราความผิดพลาดของตัวอักษรของ XEUS เพิ่มจาก 40.2% เป็น 68.7%
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เสียงฝึกของ ML-SUPERB ใน 143 ภาษา ชุด 10 นาที เทียบกับชุด 1 ชั่วโมง | 37.43 ชั่วโมง เทียบกับ 222.46 ชั่วโมง | Shi และคณะ, ML-SUPERB, Interspeech 2023 |
| คะแนน ML-SUPERB ของ XLSR-128 โมเดลอันดับหนึ่ง บนชุดฝึก 10 นาที เทียบกับชุดฝึก 1 ชั่วโมง | 947.5 เทียบกับ 996.0 | Shi และคณะ, ML-SUPERB, Interspeech 2023 |
| คะแนน ML-SUPERB ที่ 10 นาที wav2vec2-base เทียบกับ wav2vec2-large | 755.2 เทียบกับ 598.3 | Shi และคณะ, ML-SUPERB, Interspeech 2023 |
| คะแนน ML-SUPERB ที่ 10 นาที / 1 ชั่วโมง XEUS (577M พารามิเตอร์, 1M ชั่วโมง) เทียบกับ MMS 1B (1B, 491K ชั่วโมง) เทียบกับ w2v-BERT 2.0 v2 (580M, 4.5M ชั่วโมง) | 956 / 956 เทียบกับ 953 / 948 เทียบกับ 826 / 916 | Chen และคณะ, XEUS, EMNLP 2024 |
| อัตราความผิดพลาดของตัวอักษรบนเสียงพูดมาตรฐาน XEUS เทียบกับ WavLM ที่รองรับเฉพาะภาษาอังกฤษ | 40.2% เทียบกับ 72.0% | Chen และคณะ, ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| อัตราความผิดพลาดของตัวอักษรของ XEUS เสียงพูดมาตรฐาน เทียบกับเสียงพูดสำเนียงท้องถิ่น | 40.2% เทียบกับ 68.7% | Chen และคณะ, ML-SUPERB 2.0 Challenge, Interspeech 2025 |
w2v-BERT 2.0 v2 มีเสียงฝึกล่วงหน้ามากที่สุดในการเปรียบเทียบนั้นแต่ได้คะแนนต่ำที่สุด ดังนั้นจำนวนชั่วโมงที่มากขึ้นเพียงอย่างเดียวก็ไม่ได้ตัดสินผลเช่นกัน คะแนนจาก ML-SUPERB ฉบับดั้งเดิมและจากการเปรียบเทียบของ XEUS ควรอ่านภายในแต่ละบทความ ไม่ใช่ข้ามบทความ
7. ประสิทธิภาพและการนำไปใช้ในโลกจริง
โมเดลระดับนำมีราคาแพง และงานวิจัยสายหนึ่งพยายามทำให้เล็กลง DistilHuBERT เป็นตัวอย่างที่ชัดที่สุด แต่ข้อมูลการแข่งขันแสดงราคาที่ต้องจ่าย ที่ 27.03M พารามิเตอร์ มันได้ 617 เทียบกับ 784 ของ HuBERT-base ที่ 94.70M โมเดลที่เล็กที่สุดในการแข่งขันได้เพียง 104 การบีบอัดจึงยังสูญเสียมากกว่าที่ตัวเลขเปอร์เซ็นต์พาดหัวบอกเป็นนัย
การทำเกณฑ์มาตรฐานเองก็เป็นต้นทุนเช่นกัน ซึ่งเป็นสิ่งที่ MiniSUPERB มุ่งแก้ ยอดดาวน์โหลดเพิ่มสัญญาณที่ใหม่กว่า wav2vec2-base-960h ถูกดึงไปใช้มากกว่า WavLM Large และ HuBERT Large ทั้งที่ตารางอันดับวางไว้ต่ำกว่า การนำไปใช้ได้ง่ายและการเป็นรายแรกมีน้ำหนักมาก
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| DistilHuBERT เมื่อเทียบกับ HuBERT | เล็กลง 75% เร็วขึ้น 73% | Chang และคณะ, DistilHuBERT, ICASSP 2022 |
| คะแนนการแข่งขันบนชุดทดสอบที่ซ่อนไว้ DistilHuBERT (27.03M พารามิเตอร์) เทียบกับ HuBERT-base (94.70M พารามิเตอร์) | 617 เทียบกับ 784 | Feng และคณะ, SUPERB @ SLT 2022 |
| โมเดลที่เล็กที่สุดในการแข่งขัน Chimera MelHuBERT v1 | 22.50M พารามิเตอร์, 271G MAC, คะแนน 104 | Feng และคณะ, SUPERB @ SLT 2022 |
| การลดการคำนวณของ MiniSUPERB และความสัมพันธ์เชิงอันดับกับการแข่งขัน SUPERB | MAC น้อยลง 97% Spearman 0.982 | Wang และคณะ, MiniSUPERB, IEEE ASRU 2023 |
| GPU ที่ต้องใช้ สูตรของ SUPERB เทียบกับสูตรปรับแต่งละเอียดทางการของ wav2vec 2.0 Large | GPU 1 ตัว เทียบกับราว 4 ถึง 8 ตัว | Yang และคณะ, IEEE/ACM TASLP 2024 |
| ยอดดาวน์โหลดเดือนที่แล้ว facebook/wav2vec2-base-960h | 1,737,874 | หน้าโมเดลของ Hugging Face, 31 ตุลาคม 2026 |
| ยอดดาวน์โหลดเดือนที่แล้ว microsoft/wavlm-large | 1,068,711 | หน้าโมเดลของ Hugging Face, 31 ตุลาคม 2026 |
| ยอดดาวน์โหลดเดือนที่แล้ว facebook/hubert-large-ls960-ft | 616,230 | หน้าโมเดลของ Hugging Face, 31 ตุลาคม 2026 |
ตัวนับดาวน์โหลดบันทึกจำนวนครั้งที่ดึง ไม่ใช่จำนวนคน ดังนั้นโปรดอ่านแถวเหล่านี้เป็นสัญญาณของกิจกรรม ไม่ใช่จำนวนผู้ใช้
สรุป: ตารางอันดับ SUPERB ของโมเดลเสียงพูดแบบเรียนรู้ด้วยตนเองในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER ด้วยป้ายกำกับ 10 นาที wav2vec 2.0 Large (test-clean / test-other) | 4.8% / 8.2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| WER ด้วยป้ายกำกับครบ 960 ชั่วโมง wav2vec 2.0 Large (test-clean / test-other) | 1.8% / 3.3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| อัตราความผิดพลาดของหน่วยเสียง FBANK เทียบกับ HuBERT Large | 82.01% เทียบกับ 3.53% | Yang และคณะ, SUPERB, Interspeech 2021 |
| WER ของการรู้จำเสียงพูดบน SUPERB WavLM Large เทียบกับ XEUS | 3.44% เทียบกับ 3.34% | Chen และคณะ, XEUS, EMNLP 2024 |
| ความแม่นยำของการรู้จำอารมณ์บน IEMOCAP XEUS | 71.08% | Chen และคณะ, XEUS, EMNLP 2024 |
| EER ของการยืนยันตัวผู้พูดบน VoxCeleb1-O ระบบอ้างอิง ECAPA-TDNN เทียบกับ WavLM Large ที่ปรับแต่งละเอียด | 1.010% เทียบกับ 0.383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| คะแนน BLEU ของการแปลคำพูด FBANK เทียบกับ HuBERT Large | 2.32 เทียบกับ 20.01 | Tsai และคณะ, SUPERB-SG, ACL 2022 |
| โมเดลที่เอาชนะ FBANK ได้ทั้ง 15 งาน | ราวครึ่งหนึ่งของ 33 | Yang และคณะ, IEEE/ACM TASLP 2024 |
| คะแนนการแข่งขันบนชุดทดสอบที่ซ่อนไว้ของ WavLM-large | 1242 | Feng และคณะ, SUPERB @ SLT 2022 |
| คะแนนรวม SUPERB WavLM Base+ เทียบกับ HuBERT Large | 73.4 เทียบกับ 72.2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| การคำนวณการฝึกล่วงหน้าของ XEUS | 63,000 ชั่วโมง GPU | Chen และคณะ, XEUS, EMNLP 2024 |
| เสียงที่ใช้ฝึกล่วงหน้าของ Google Universal Speech Model | 12 ล้านชั่วโมง | Google, บทความ USM 2023 |
| คะแนน ML-SUPERB ของ XLSR-128 บนชุดฝึก 1 ชั่วโมง | 996.0 | Shi และคณะ, ML-SUPERB, Interspeech 2023 |
| อัตราความผิดพลาดของตัวอักษรบนเสียงพูดมาตรฐาน XEUS เทียบกับ WavLM ที่รองรับเฉพาะภาษาอังกฤษ | 40.2% เทียบกับ 72.0% | Chen และคณะ, ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| DistilHuBERT เมื่อเทียบกับ HuBERT | เล็กลง 75% เร็วขึ้น 73% | Chang และคณะ, DistilHuBERT, ICASSP 2022 |
| การลดการคำนวณของ MiniSUPERB | MAC น้อยลง 97% | Wang และคณะ, MiniSUPERB, IEEE ASRU 2023 |
| ยอดดาวน์โหลดเดือนที่แล้ว facebook/wav2vec2-base-960h | 1,737,874 | หน้าโมเดลของ Hugging Face, 31 ตุลาคม 2026 |
ระเบียบวิธีและแหล่งที่มา
- SUPERB: Speech processing Universal PERformance Benchmark (Yang และคณะ, Interspeech 2021)
- SUPERB-SG (Tsai และคณะ, ACL 2022)
- A Large-Scale Evaluation of Speech Foundation Models (Yang และคณะ, IEEE/ACM TASLP 2024)
- รายงานการแข่งขัน SUPERB @ SLT 2022 (Feng และคณะ, 2022)
- ML-SUPERB (Shi และคณะ, Interspeech 2023)
- The ML-SUPERB 2.0 Challenge (Chen และคณะ, Interspeech 2025)
- MiniSUPERB (Wang และคณะ, IEEE ASRU 2023)
- wav2vec 2.0 (Meta AI, NeurIPS 2020)
- HuBERT (Meta AI, IEEE/ACM TASLP 2021)
- wav2vec-U (Meta AI, 2021)
- WavLM (Microsoft, IEEE JSTSP 2022)
- XEUS: Towards Robust Speech Representation Learning for Thousands of Languages (Chen และคณะ, EMNLP 2024)
- Universal Speech Model (Google, 2023)
- DistilHuBERT (Chang และคณะ, ICASSP 2022)
- Self-Supervised Speech Representation Learning: A Review (Mohamed และคณะ, IEEE JSTSP 2022)
- หน้าโมเดลของ Hugging Face: facebook/wav2vec2-base-960h, microsoft/wavlm-large, facebook/hubert-large-ls960-ft (31 ตุลาคม 2026)
- ข้อสังเกตเกี่ยวกับข้อมูล: ตารางอันดับ SUPERB แบบสดอ่านไม่ได้เมื่อวันที่ 31 ตุลาคม 2026 (โฮสต์ปฏิเสธการเชื่อมต่อและหน้า GitHub ของเกณฑ์มาตรฐานไม่แสดงคะแนนใด ๆ) ตัวเลข SUPERB ทุกตัวในที่นี้จึงมาจากบทความที่ตีพิมพ์ และอาจมีผลงานที่ส่งภายหลังอยู่ มีสเกลคะแนนสามแบบปรากฏและใช้แทนกันไม่ได้ คือคะแนนรวมในบทความ WavLM คะแนนการแข่งขัน (เส้นฐาน 0 ผลล้ำสมัยสุดของวันที่ 15 ตุลาคม 2021 คือ 1000) และคะแนน ML-SUPERB คะแนน 586.9 ของ wav2vec2-large บนชุด 1 ชั่วโมงของ ML-SUPERB ตามหลังค่าการระบุภาษาที่พิมพ์ไว้ที่ 8.0 ในตารางของบทความนั้น ซึ่งต่ำกว่าค่าข้างเคียงมาก ช่องว่างเดี่ยวนั้นจึงควรอ่านด้วยความระมัดระวัง จำนวนพารามิเตอร์แตกต่างกันเล็กน้อยตามบทความ คือ 316.62M เทียบกับ 315.45M สำหรับ WavLM Large และ 94.70M เทียบกับ 94.38M สำหรับ WavLM Base+ ความขัดแย้งเล็กน้อยภายในแหล่งข้อมูล คือข้อความของ SUPERB ระบุ 5.10 สำหรับการยืนยันตัวผู้พูดของ HuBERT ขณะที่ตารางระบุ 5.11 (เราใช้ค่าในตาราง) ข้อความของ XEUS ให้ 33.3 สำหรับอัตราความผิดพลาดของตัวอักษร 10 นาทีที่ดีที่สุดของมัน ขณะที่ตารางให้ 30.3 สำหรับ XEUS และ 33.3 สำหรับ MMS 1B บทความ ML-SUPERB 2.0 ระบุทั้ง 149 และ 154 ภาษา และผลที่เพิ่มขึ้นในบทคัดย่อไม่ตรงกับหัวข้อ 4.1 เราจึงรายงานเฉพาะตารางเส้นฐานของบทความนั้น ยอดดาวน์โหลดของ Hugging Face เป็นยอดสะสมแบบเลื่อนของเดือนที่ผ่านมาและเปลี่ยนทุกวัน ผล SUPERB ส่วนใหญ่มาจากปี 2021 ถึง 2024 จึงควรถือเป็นข้อมูลล่าสุดที่มี ไม่ใช่การวัดผลปี 2026
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อมีการเผยแพร่ผลการแข่งขัน ML-SUPERB ครั้งถัดไป