Pemisahan ucapan dua pembicara pada tolok ukur WSJ0-2mix meningkat dari sekitar 6 dB perolehan sinyal dengan deep clustering pada 2015 menjadi 25,1 dB SI-SNRi pada 2024 (Hershey dkk., arXiv 2015; SepReformer, NeurIPS 2024), lompatan yang mengubah ‘masalah cocktail party’ dari rasa penasaran laboratorium menjadi fitur alat bantu dengar dan headset yang dijual bebas. Masalahnya, tolok ukur yang bersih terlalu memuji model: Conv-TasNet turun dari 15,3 dB pada campuran bersih menjadi 8,3 dB begitu noise dan gema ditambahkan (makalah MossFormer2, arXiv 2312.11825, tabel perbandingan). Sisi permintaannya sangat besar, dengan 430 juta orang membutuhkan rehabilitasi untuk gangguan pendengaran yang melumpuhkan (lembar fakta WHO, Maret 2026). Kami mengagregasi data dari makalah yang ditelaah sejawat di arXiv, IEEE ICASSP, Interspeech, dan NeurIPS, tantangan DNS dan NOTSOFAR-1 milik Microsoft, Google Research, MERL, WHO, FDA, MarkeTrak 2025, serta kelompok riset University of Washington dan Columbia University. Untuk sisi konsumen dari teknologi yang sama, lihat statistik pemisah audio AI kami.
TL;DR
- Hasil dua pembicara terbaik di WSJ0-2mix: 25,1 dB SI-SNRi (SepReformer-L dengan pencampuran dinamis, NeurIPS 2024; TF-Locoformer L, MERL 2024).
- Deep clustering memberikan peningkatan sekitar 6 dB pada campuran pembicara di 2015 (Hershey dkk., arXiv 1508.04306).
- Conv-TasNet mencapai 15,3 dB SI-SNRi dengan 5,1 M parameter dan latensi minimum 2 ms (Luo dan Mesgarani, IEEE/ACM TASLP 2019).
- SepReformer-B mencapai 23,8 dB pada 39,8 GMACs/s dibandingkan 23,5 dB pada 460,8 GMACs/s untuk TF-GridNet (SepReformer, NeurIPS 2024).
- SepFormer membutuhkan memori puncak pelatihan 35,3 GB dibandingkan 2,0 GB untuk SepMamba (S) (makalah SepMamba, 2024).
- Conv-TasNet meraih 15,3 dB pada kondisi bersih, 12,7 dB pada kondisi bising (WHAM!), dan 8,3 dB pada kondisi bising plus bergema (WHAMR!) (makalah MossFormer2, 2024).
- Pemisahan menurunkan tingkat kesalahan kata LibriCSS pada tumpang tindih 40% dari 43,3% menjadi 21,7% (Chen dkk., Microsoft, 2020).
- Sistem multisaluran NOTSOFAR-1 terbaik: tcpWER 10,8% dibandingkan baseline 28,3% (ringkasan NOTSOFAR-1, 2025).
- Model VoiceFilter-Lite di perangkat berukuran 2,2 MB meningkatkan WER pada ucapan yang tumpang tindih sebesar 25,1% (Google Research, 2020).
- 430 juta orang membutuhkan rehabilitasi untuk gangguan pendengaran yang melumpuhkan, naik melampaui 700 juta pada 2050 (WHO, Maret 2026).
- Adopsi alat bantu dengar di kalangan warga Amerika dengan kesulitan mendengar mencapai 51,3%, naik dari 46,9% pada 2022 (MarkeTrak 2025).
- UW Target Speech Hearing: 21 subjek menilai suara yang didaftarkan hampir dua kali lebih jelas dibandingkan audio yang tidak difilter (University of Washington, CHI 2024).
1. Satu Dekade Kemajuan Tolok Ukur di WSJ0-2mix
Tolok ukur WSJ0-2mix berperan bagi pemisahan ucapan seperti ImageNet bagi visi komputer: target tetap yang membuat kemajuan satu dekade dapat diukur. Skor dua pembicara terbaik naik dari sekitar 6 dB peningkatan sinyal pada 2015 menjadi 25,1 dB SI-SNRi pada 2024, dan karena skala desibel bersifat logaritmik, setiap tambahan 3 dB kira-kira memangkas separuh energi interferensi yang tersisa. Lompatan yang paling berarti terjadi pada 2018, ketika Conv-TasNet meninggalkan masker spektrogram dan bekerja pada bentuk gelombang mentah. Sistem ini menjadi yang pertama mengalahkan masker waktu-frekuensi ideal, yang lama dianggap sebagai batas atas praktis (Conv-TasNet, Luo dan Mesgarani).
Sejak itu kurvanya mendatar. Perolehan dari 2021 hingga 2024 datang dalam langkah sekitar 1 dB, dan dua model teratas 2024 sama-sama di 25,1 dB. Bidang ini praktis telah menjenuhkan tolok ukurnya sendiri, itulah sebabnya makalah-makalah terbaru bersaing dalam efisiensi dan ketahanan (bagian 2 dan 3).
| Metrik | Nilai | Sumber |
|---|---|---|
| Deep clustering, campuran pembicara (2015) | Peningkatan sekitar 6 dB | Hershey dkk., Deep Clustering, arXiv 2015 |
| Deep clustering yang ditingkatkan, dua pembicara (2016) | Peningkatan SDR 10,3 dB (baseline 6,0 dB) | Isik dkk., arXiv 1607.02173, 2016 |
| Conv-TasNet (2018) | 15,3 dB SI-SNRi, 15,6 dB SDRi | Luo dan Mesgarani, IEEE/ACM TASLP 2019 |
| DPRNN (2019) | 18,8 dB SI-SDRi | Luo, Chen dan Yoshioka, ICASSP 2020 |
| SepFormer dengan pencampuran dinamis (2020) | 22,3 dB SI-SNRi | Subakan dkk., ICASSP 2021 |
| TF-GridNet, tanpa augmentasi data (2022) | 23,5 dB SI-SDRi | Makalah TF-GridNet, arXiv 2211.12433 |
| MossFormer2 (2023) | 24,1 dB SI-SDRi | Makalah MossFormer2, arXiv 2312.11825 |
| SepReformer-L dan TF-Locoformer (L), keduanya dengan pencampuran dinamis (2024) | 25,1 dB SI-SNRi | SepReformer, NeurIPS 2024; Saijo dkk., MERL 2024 |
Perbandingan dengan masker ideal itulah yang menjadikan Conv-TasNet tonggak sejarah. Pada set uji yang sama, masker biner ideal meraih 13,0 dB SI-SNRi, masker rasio ideal 12,2 dB, dan masker mirip filter Wiener 13,4 dB, semuanya di bawah 15,3 dB milik Conv-TasNet. Pendengar manusia sependapat: keluaran Conv-TasNet menerima skor opini rata-rata 4,03 dibandingkan 3,51 untuk masker rasio ideal.
| Metrik | Nilai | Sumber |
|---|---|---|
| Masker biner ideal (IBM) | 13,0 dB SI-SNRi | Makalah Conv-TasNet, 2019 |
| Masker rasio ideal (IRM) | 12,2 dB SI-SNRi | Makalah Conv-TasNet, 2019 |
| Masker mirip filter Wiener (WFM) | 13,4 dB SI-SNRi | Makalah Conv-TasNet, 2019 |
| MOS pendengar: Conv-TasNet berbanding IRM | 4,03 berbanding 3,51 | Makalah Conv-TasNet, 2019 |
| Ukuran WSJ0-2mix | 30 jam latih, 10 jam validasi, 5 jam uji | Makalah Conv-TasNet, 2019 |
| Rentang pencampuran | SNR acak antara -5 dan 5 dB | Makalah Conv-TasNet, 2019 |
Catatan konteks: ‘pencampuran dinamis’ (DM) membuat campuran pelatihan baru secara langsung dan menambah sekitar 1 hingga 2 dB. SepFormer meraih 22,3 dB dengan DM dan 20,4 dB tanpa DM, sehingga perbandingan antarmakalah perlu memeriksa penanda itu terlebih dahulu (SepFormer, arXiv 2010.13154). Data terbaru yang tersedia untuk baseline 2015 hingga 2019 berasal dari makalah aslinya.
2. Efisiensi: Parameter, Komputasi, Memori, dan Latensi
Akurasi telah mandek, sehingga perlombaan senjata berpindah ke biaya. SepReformer-B mencapai 23,8 dB SI-SNRi dengan 39,8 GMACs per detik audio, sementara TF-GridNet membutuhkan 460,8 GMACs/s untuk 23,5 dB, selisih komputasi lebih dari sebelas kali lipat untuk skor yang sedikit lebih baik (SepReformer, NeurIPS 2024). Jumlah parameter bercerita serupa: DPRNN menyamai kinerja terbaik pada 2019 dengan model yang 20 kali lebih kecil dari sistem terbaik sebelumnya.
Memori adalah biaya tersembunyi yang menentukan siapa yang mampu melatih model-model ini. SepFormer memuncak di 35,3 GB memori, dibandingkan 2,0 GB untuk SepMamba (S), yang masih meraih 21,2 dB (SepMamba, Technical University of Denmark dan WS Audiology, 2024). Untuk apa pun yang berjalan di ponsel, headset, atau alat bantu dengar, perbedaan itu menentukan apakah sebuah desain layak dirilis.
| Metrik | Nilai | Sumber |
|---|---|---|
| SepReformer-T | 22,4 dB pada 3,7 M parameter, 10,4 GMACs/s | SepReformer, NeurIPS 2024 |
| SepReformer-B | 23,8 dB pada 14,2 M parameter, 39,8 GMACs/s | SepReformer, NeurIPS 2024 |
| SepReformer-L dengan DM | 25,1 dB pada 55,3 M parameter, 155,5 GMACs/s | SepReformer, NeurIPS 2024 |
| TF-GridNet | 23,5 dB pada 14,5 M parameter, 460,8 GMACs/s | SepReformer, NeurIPS 2024 (tabel perbandingan) |
| QDPN | 200,0 M parameter | Makalah TF-GridNet, 2022 |
| MossFormer2 | 55,7 M parameter, faktor waktu nyata 0,053 | Makalah MossFormer2, 2023 |
| DPRNN | 2,6 M parameter, 20 kali lebih kecil dari yang terbaik sebelumnya | Luo dkk., ICASSP 2020 |
| Latensi minimum Conv-TasNet | 2 ms (berbanding jendela STFT 32 ms) | Makalah Conv-TasNet, 2019 |
| Metrik | Nilai | Sumber |
|---|---|---|
| Memori puncak SepFormer | 35,30 GB | Makalah SepMamba, 2024 |
| Memori puncak MossFormer2 dengan DM | 12,30 GB | Makalah SepMamba, 2024 |
| SepMamba (S) | 21,2 dB, 7,2 M parameter, memori puncak 2,00 GB | Makalah SepMamba, 2024 |
| SepMamba (M) | 22,7 dB, 22 M parameter, memori puncak 3,04 GB | Makalah SepMamba, 2024 |
| EConv-TasNet (September 2026) | 18,4 dB pada 3,8 M parameter | Liu, Novatek, arXiv 2609.11342 |
| EConv-TasNet berbanding Conv-TasNet | 22,4% lebih kecil, inferensi 18,9% lebih cepat | Liu, arXiv 2609.11342 |
Catatan pencilan: makalah terbaru dalam rangkuman ini, EConv-TasNet dari produsen chip Novatek (September 2026), sama sekali tidak mengejar rekor 25 dB. Makalah itu menargetkan penerapan di perangkat tepi dan menambah 3,1 dB pada Conv-TasNet dengan parameter yang lebih sedikit (EConv-TasNet). Itu sinyal yang baik tentang ke mana minat komersial mengarah.
3. Ketahanan di Dunia Nyata: Noise, Gema, dan Lebih Banyak Pembicara
Ucapan bersih yang dibacakan di studio dan dicampur pada level terkontrol bukanlah suasana restoran. Conv-TasNet kehilangan 7 dB ketika campuran ujinya mendapat noise lingkungan nyata dan gema: 15,3 dB pada WSJ0-2mix, 12,7 dB pada WHAM!, dan 8,3 dB pada WHAMR! (tabel perbandingan MossFormer2). WHAM! menambahkan noise yang direkam di kafe, restoran, dan bar di Area Teluk San Francisco, dan para penulisnya mencatat bahwa sebagian besar studi pemisahan menggunakan pengaturan terbatas dengan laju sampel rendah dan tanpa noise latar (WHAM!, Interspeech 2019).
Model yang lebih baru menutup sebagian besar kesenjangan itu tetapi tidak seluruhnya. Hasil terbaik pada kondisi bergema berada di 17 hingga 18,5 dB, masih 6 hingga 7 dB di belakang tolok ukur bersih. Pembicara ketiga mengurangi 1,9 hingga 2,8 dB lagi untuk model yang sama (MossFormer2: 24,1 menjadi 22,2 dB; SepFormer: 22,3 menjadi 19,5 dB), dan para penulis LibriMix menunjukkan bahwa model yang dilatih pada WSJ0-2mix mengalami penurunan kinerja yang berarti pada dataset serupa, itulah sebabnya LibriMix dibangun dari ucapan LibriSpeech ditambah noise WHAM! (LibriMix, Interspeech 2020).
| Metrik | Nilai | Sumber |
|---|---|---|
| Conv-TasNet: WSJ0-2mix / WHAM! / WHAMR! | 15,3 / 12,7 / 8,3 dB SI-SDRi | Makalah MossFormer2, 2023 |
| SepFormer: WHAM! / WHAMR! | 16,4 / 14,0 dB | Makalah MossFormer2, 2023 |
| MossFormer2: WHAM! / WHAMR! | 18,1 / 17,0 dB | Makalah MossFormer2, 2023 |
| SepReformer-L dengan DM: WHAM! / WHAMR! | 18,5 / 17,2 dB | SepReformer, NeurIPS 2024 |
| TF-Locoformer (M): WHAMR! | 18,5 dB | Saijo dkk., MERL 2024 |
| TF-GridNet, SMS-WSJ 6 saluran (pipeline lengkap) | 22,8 dB SI-SDR, PESQ 4,08 | Makalah TF-GridNet, 2022 |
| Metrik | Nilai | Sumber |
|---|---|---|
| Tiga pembicara, Conv-TasNet (WSJ0-3mix) | 12,7 dB SI-SNRi | Makalah Conv-TasNet, 2019 |
| Tiga pembicara, SepFormer (WSJ0-3mix) | 19,5 dB SI-SNRi | Makalah SepFormer, 2020 |
| Tiga pembicara, MossFormer2 (WSJ0-3mix) | 22,2 dB SI-SDRi | Makalah MossFormer2, 2023 |
| Tiga pembicara, deep clustering yang ditingkatkan (2016) | Peningkatan SDR 7,1 dB | Isik dkk., 2016 |
| Libri2Mix: Conv-TasNet / SepFormer / MossFormer2 | 14,7 / 19,2 / 21,7 dB | Makalah MossFormer2, 2023 |
| Libri2Mix: SepReformer-M / TF-Locoformer (M) | 22,1 / 22,1 dB | SepReformer, 2024; Saijo dkk., 2024 |
Peringatan: tolok ukurnya sendiri memiliki cacat. Studi 2025 yang diterima di IEEE ASRU menemukan bahwa noise pada sinyal referensi WSJ0-2mix membatasi SI-SDR yang dapat dicapai dan bahwa SI-SDR berkorelasi negatif dengan tingkat kebisingan yang dirasakan di berbagai set uji (Jepsen dkk., arXiv 2508.14623). Sebagian dari desibel terakhir ‘kemajuan’ mungkin hanyalah model yang belajar mereproduksi referensi yang bising.
4. Pemisahan untuk Rapat dan Pengenalan Ucapan
Untuk transkripsi, kata lebih penting daripada desibel. Pada dataset LibriCSS milik Microsoft, menjalankan pemisahan sebelum pengenalan menurunkan tingkat kesalahan kata pada tumpang tindih pembicara 40% dari 43,3% menjadi 21,7%, sementara hasil pada audio tanpa tumpang tindih nyaris tidak berubah (11,8% menjadi 8,4%) (Chen dkk., Continuous Speech Separation, 2020). Para penulis yang sama memperingatkan bahwa metrik tingkat sinyal hanya berkorelasi lemah dengan akurasi ASR atau kualitas yang dirasakan, itulah sebabnya tolok ukur rapat menilai kata, bukan SI-SNR. Statistik asisten rapat AI kami menunjukkan seberapa cepat pasar yang bergantung pada akurasi ini tumbuh.
| Metrik | Nilai | Sumber |
|---|---|---|
| Ukuran LibriCSS | 10 jam, 10 sesi, tumpang tindih 0% hingga 40% | Chen dkk., Microsoft, 2020 |
| WER pada tumpang tindih 10%: tanpa pemisahan berbanding dengan pemisahan | 18,8% berbanding 11,6% | Chen dkk., 2020 (per ujaran, 7 saluran) |
| WER pada tumpang tindih 20% | 27,2% berbanding 15,8% | Chen dkk., 2020 |
| WER pada tumpang tindih 30% | 35,6% berbanding 18,7% | Chen dkk., 2020 |
| WER pada tumpang tindih 40% | 43,3% berbanding 21,7% | Chen dkk., 2020 |
| WER pada tumpang tindih 40%, masukan berkelanjutan | 40,5% berbanding 21,9% | Chen dkk., 2020 |
| ASR dengan deep clustering pada campuran dua pembicara | WER 89,1% turun menjadi 30,8% | Isik dkk., 2016 |
Rapat sungguhan lebih sulit daripada yang disimulasikan. Tantangan NOTSOFAR-1 dari Microsoft, yang berjalan di dalam CHiME-8, merekam rapat dengan 4 hingga 8 peserta di 30 ruangan. Sistem saluran tunggal pemenang masih salah pada 22,2% kata (tcpWER dengan batasan waktu), dibandingkan 10,8% untuk sistem multisaluran terbaik (ringkasan NOTSOFAR-1, arXiv 2501.17304). Susunan mikrofon tetap menjadi pengungkit tunggal terbesar, dan para penyelenggara menemukan bahwa pemisahan sumber terpandu masih menjadi teknik pemisahan dominan dalam pipeline pemenang.
| Metrik | Nilai | Sumber |
|---|---|---|
| Rapat rekaman NOTSOFAR-1 | 315 rapat bahasa Inggris unik, 30 ruangan, 4-8 peserta | Ringkasan NOTSOFAR-1, 2025 |
| Data pelatihan simulasi | Sekitar 1.000 jam, 15.000 fungsi transfer akustik nyata | Ringkasan NOTSOFAR-1, 2025 |
| Saluran tunggal: terbaik berbanding baseline tcpWER | 22,2% berbanding 41,4% | Ringkasan NOTSOFAR-1, 2025 |
| Multisaluran: terbaik berbanding baseline tcpWER | 10,8% berbanding 28,3% | Ringkasan NOTSOFAR-1, 2025 |
| Peserta: jalur saluran tunggal / multisaluran | 9 / 5 | Ringkasan NOTSOFAR-1, 2025 |
| Ukuran model VoiceFilter-Lite di perangkat | 2,2 MB (terkuantisasi) | Google Research, November 2020 |
| Peningkatan WER VoiceFilter-Lite, ucapan tumpang tindih | 25,1% (14,7% dengan gema) | Google Research, November 2020 |
Catatan konteks: hasil VoiceFilter-Lite dari Google (2020) adalah angka publik di perangkat paling baru yang tersedia dari platform besar. Sistem yang dirilis sejak itu jarang mempublikasikan tolok ukur tingkat kata.
5. Taruhan bagi Kesehatan Pendengaran
Masalah cocktail party bukan urusan akademis bagi orang yang hidup dengannya. WHO memperkirakan 430 juta orang, lebih dari 5% populasi dunia, membutuhkan rehabilitasi untuk gangguan pendengaran yang melumpuhkan, dan memproyeksikan lebih dari 700 juta pada 2050 (lembar fakta WHO tentang ketulian dan gangguan pendengaran, Maret 2026). Amplifikasi saja menaikkan volume semua pembicara di ruangan ramai sekaligus, itulah sebabnya pemisahan berbasis DNN kini menjadi fitur andalan alat bantu dengar premium. Statistik alat bantu dengar kami membahas pasar perangkatnya sendiri.
| Metrik | Nilai | Sumber |
|---|---|---|
| Orang yang membutuhkan rehabilitasi untuk gangguan pendengaran yang melumpuhkan | 430 juta (lebih dari 5% populasi dunia) | Lembar fakta WHO, Maret 2026 |
| Anak dengan gangguan pendengaran yang melumpuhkan | 34 juta | Lembar fakta WHO, Maret 2026 |
| Orang dengan sejumlah gangguan pendengaran pada 2050 | Hampir 2,5 miliar | Lembar fakta WHO, Maret 2026 |
| Orang yang membutuhkan rehabilitasi pada 2050 | Lebih dari 700 juta (1 dari 10) | Lembar fakta WHO, Maret 2026 |
| Gangguan pendengaran yang melumpuhkan pada orang di atas 60 tahun | Di atas 25% | Lembar fakta WHO, Maret 2026 |
| Biaya global tahunan gangguan pendengaran yang tidak tertangani | Hampir US$1 triliun | Lembar fakta WHO, Maret 2026 |
| Porsi yang tinggal di negara berpendapatan rendah dan menengah | Hampir 80% | Lembar fakta WHO, Maret 2026 |
Adopsi terus meningkat. MarkeTrak 2025, berdasarkan survei terhadap 16.148 rumah tangga AS dan 42.982 individu pada Oktober dan November 2024, menemukan bahwa adopsi alat bantu dengar di kalangan orang dengan kesulitan mendengar yang dilaporkan sendiri mencapai 51,3%, naik dari 46,9% pada 2022, dengan kepuasan perangkat secara keseluruhan di 83% (MarkeTrak 2025, Seminars in Hearing). Earbud konsumen juga memasuki kategori ini: pada September 2024 FDA mengizinkan perangkat lunak alat bantu dengar bebas resep pertama, Fitur Alat Bantu Dengar milik Apple untuk AirPods Pro (siaran pers FDA).
| Metrik | Nilai | Sumber |
|---|---|---|
| Adopsi alat bantu dengar di AS, orang dengan kesulitan mendengar | 51,3% (46,9% pada 2022) | MarkeTrak 2025 |
| Kesulitan mendengar yang dilaporkan sendiri, AS | 9,1% | MarkeTrak 2025 |
| Kepuasan pemilik alat bantu dengar | 83% | MarkeTrak 2025 |
| Studi klinis FDA untuk perangkat lunak alat bantu dengar bebas resep | 118 subjek, gangguan ringan hingga sedang | FDA, 12 September 2024 |
| Phonak Spheric Speech Clarity 2.0 (DNN) | Peningkatan SNR 10,2 dB dalam skenario dunia nyata | Artikel pakar AudiologyOnline, 2026 |
| Phonak Spheric Speech Clarity 2.0 | Hingga 37% pengurangan upaya mendengar, 30% lebih efisien | Artikel pakar AudiologyOnline, 2026 |
| Studi Mayo Clinic dan Sonova, pengurangan noise DNN pada SNR 10 dB | +23 dan +32 poin persentase pengenalan ucapan | Audiology Research, 2024 |
| Studi yang sama, manfaat SNR pada program noise keras | 4,8 hingga 5,0 dB | Audiology Research, 2024 |
Peringatan: klaim SNR dari produsen berasal dari pengujian yang dijalankan vendor sendiri, dan studi independen Mayo Clinic dan Sonova hanya memiliki 10 peserta. Angka Phonak dilaporkan melalui tanya jawab pakar AudiologyOnline, bukan makalah yang ditelaah sejawat.
6. Garis Depan: Memilih Suara yang Ingin Didengar
Memisahkan setiap suara baru separuh masalah; perangkat juga harus tahu suara mana yang diinginkan pendengar. Prototipe Target Speech Hearing dari University of Washington mendaftarkan pembicara setelah pemakai menatapnya selama 3 hingga 5 detik, dan 21 subjek uji menilai kejelasan suara itu hampir dua kali lebih tinggi dibandingkan audio yang tidak difilter (UW News, Mei 2024). Lanjutan pada Desember 2025 menghapus kebutuhan menatap: ‘asisten pendengaran proaktif’-nya mendeteksi lawan bicara dari ritme giliran bicara dalam 2 hingga 4 detik audio (UW News, Desember 2025).
Petunjuk lain juga sedang diuji. Model Looking to Listen dari Google pada 2018 menggunakan gerakan bibir, dilatih pada klip yang diambil dari 100.000 video YouTube (blog Google Research). Pendekatan kendali otak dari Columbia University membandingkan suara yang dipisahkan dengan sinyal saraf: versi 2019 diuji pada tiga pasien bedah saraf (Science Advances, 2019), dan studi Nature Neuroscience pada Mei 2026 melaporkan uji coba pertama pada manusia untuk sistem waktu nyata (Columbia Zuckerman Institute melalui EurekAlert). Pendaftaran yang dipersonalisasi juga menjadi standar dalam komunikasi: Deep Noise Suppression Challenge kelima dari Microsoft meminta model menekan pembicara di sekitar menggunakan klip pendaftaran 10 hingga 30 detik (ICASSP 2023 DNS Challenge). Pembersihan yang sadar pembicara semacam itulah yang menjaga obrolan suara Discord tetap jelas ketika teman serumah berbicara di latar belakang.
| Metrik | Nilai | Sumber |
|---|---|---|
| UW Target Speech Hearing: waktu pendaftaran | 3 hingga 5 detik menatap pembicara | University of Washington, CHI 2024 |
| UW Target Speech Hearing: subjek dan penilaian kejelasan | 21 subjek, hampir 2 kali lebih jelas dibandingkan yang tidak difilter | University of Washington, CHI 2024 |
| UW Target Speech Hearing: toleransi arah | Margin kesalahan 16 derajat | University of Washington, 2024 |
| Asisten pendengaran proaktif UW: audio yang dibutuhkan | 2 hingga 4 detik | University of Washington, EMNLP 2025 |
| Asisten pendengaran proaktif UW: lawan bicara dan penguji | 1 hingga 4 lawan bicara; 11 peserta menilainya lebih dari 2 kali lebih baik | University of Washington, Desember 2025 |
| Asisten pendengaran proaktif UW: bahasa pelatihan | Inggris, Mandarin, Jepang | University of Washington, Desember 2025 |
| Google Looking to Listen: sumber pelatihan | 100.000 video, sekitar 2.000 jam klip bersih | Blog Google Research, April 2018 |
| Pendengaran kendali otak Columbia (2019) | 3 pasien bedah saraf | Han dkk., Science Advances, 2019 |
| Metrik | Nilai | Sumber |
|---|---|---|
| Edisi DNS Challenge di ICASSP 2023 | Ke-5 | Dubey dkk., Microsoft, 2023 |
| Format audio DNS 2023 | Fullband 48 kHz | Dubey dkk., 2023 |
| Klip pendaftaran DNS 2023 | 10 hingga 30 detik dari pembicara utama | Dubey dkk., 2023 |
| Peningkatan skor pemenang DNS 2023 terhadap masukan bising | 0,145 (headset) dan 0,141 (speakerphone) | Dubey dkk., 2023 |
| TF-Locoformer (M) pada peningkatan kualitas DNS 2020 | 23,3 dB SI-SNR, STOI 98,8, PESQ-WB 3,72 | Saijo dkk., MERL 2024 |
Catatan pencilan: tim UW menyebutkan sistem proaktif paling kesulitan ketika percakapan menjadi dinamis, dengan peserta saling memotong pembicaraan, yang persis merupakan kasus cocktail party. Minat terhadap headphone peredam bising memberi fitur-fitur ini basis perangkat keras yang sudah siap.
Ringkasan: Pemisahan Ucapan dan Masalah Cocktail Party dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Skor WSJ0-2mix terbaik | 25,1 dB SI-SNRi | SepReformer-L, NeurIPS 2024; TF-Locoformer (L), MERL 2024 |
| Deep clustering, 2015 | Peningkatan sekitar 6 dB | Hershey dkk., 2015 |
| Conv-TasNet, 2018 | 15,3 dB SI-SNRi, 5,1 M parameter | Luo dan Mesgarani, 2019 |
| SepFormer dengan / tanpa pencampuran dinamis | 22,3 / 20,4 dB | SepFormer, 2021; TF-GridNet, 2022 |
| MossFormer2 | 24,1 dB, 55,7 M parameter | MossFormer2, 2023 |
| Latensi minimum Conv-TasNet | 2 ms | Makalah Conv-TasNet, 2019 |
| Komputasi TF-GridNet berbanding SepReformer-B | 460,8 berbanding 39,8 GMACs/s | SepReformer, NeurIPS 2024 |
| Memori puncak SepFormer berbanding SepMamba (S) | 35,3 GB berbanding 2,0 GB | SepMamba, 2024 |
| Conv-TasNet bersih / bising / bergema | 15,3 / 12,7 / 8,3 dB | MossFormer2, 2023 |
| WHAMR! terbaik (bising, bergema) | 18,5 dB | TF-Locoformer (M), MERL 2024 |
| WSJ0-3mix, MossFormer2 | 22,2 dB | MossFormer2, 2023 |
| WER LibriCSS pada tumpang tindih 40%, tanpa pemisahan berbanding dengan pemisahan | 43,3% berbanding 21,7% | Microsoft, Chen dkk., 2020 |
| tcpWER multisaluran terbaik NOTSOFAR-1 | 10,8% (baseline 28,3%) | Ringkasan NOTSOFAR-1, 2025 |
| tcpWER saluran tunggal terbaik NOTSOFAR-1 | 22,2% (baseline 41,4%) | Ringkasan NOTSOFAR-1, 2025 |
| Peningkatan WER VoiceFilter-Lite pada ucapan tumpang tindih | 25,1% pada 2,2 MB | Google Research, 2020 |
| Orang yang membutuhkan rehabilitasi pendengaran | 430 juta, lebih dari 700 juta pada 2050 | WHO, Maret 2026 |
| Adopsi alat bantu dengar di AS pada orang dengan kesulitan mendengar | 51,3% | MarkeTrak 2025 |
| Peningkatan SNR DNN Phonak | 10,2 dB | AudiologyOnline, 2026 |
| Pendaftaran UW Target Speech Hearing | 3 hingga 5 detik, 21 subjek | University of Washington, 2024 |
| Model perangkat tepi EConv-TasNet | 18,4 dB pada 3,8 M parameter | Novatek, September 2026 |
Metodologi dan Sumber
Setiap angka tolok ukur di atas diambil dari makalah yang melaporkannya, atau dari tabel perbandingan makalah berikutnya jika disebutkan. Kami mengecualikan angka yang hanya muncul di cuplikan pencarian, ringkasan sekunder, atau pemasaran vendor yang tidak dapat kami buka. Agregator papan peringkat hanya digunakan untuk memastikan tidak ada hasil WSJ0-2mix yang lebih tinggi yang pernah dipublikasikan.
- Hershey, Chen, Le Roux, Watanabe: Deep Clustering, arXiv 1508.04306 (2015)
- Isik, Le Roux, Chen, Watanabe, Hershey: Single-Channel Multi-Speaker Separation using Deep Clustering (2016)
- Luo dan Mesgarani: Conv-TasNet, IEEE/ACM TASLP (2019); tabel teks lengkap dibaca melalui ar5iv
- Luo, Chen, Yoshioka: Dual-path RNN, ICASSP 2020
- Subakan dkk.: Attention Is All You Need in Speech Separation (SepFormer), ICASSP 2021
- TF-GridNet: Integrating Full- and Sub-Band Modeling for Speech Separation (2022)
- MossFormer2 (Desember 2023)
- Separate and Reconstruct: Asymmetric Encoder-Decoder for Speech Separation (SepReformer), NeurIPS 2024
- Saijo, Wichern, Germain, Pan, Le Roux (MERL): TF-Locoformer (2024)
- Avenstrup dkk. (DTU, WS Audiology): SepMamba (2024)
- Liu (Novatek): EConv-TasNet (September 2026)
- Wichern dkk.: WHAM!, Interspeech 2019
- Cosentino dkk.: LibriMix, Interspeech 2020
- Jepsen, Christensen, Jensen: SI-SDR dengan referensi bising, IEEE ASRU 2025
- Chen dkk. (Microsoft): Continuous Speech Separation: Dataset and Analysis (LibriCSS) (2020)
- Abramovski dkk. (Microsoft): Summary of the NOTSOFAR-1 Challenge (2025); Cornell dkk.: CHiME-8 DASR Challenge (2024)
- Google Research: VoiceFilter-Lite (2020) dan Looking to Listen (2018)
- Dubey dkk. (Microsoft): ICASSP 2023 Deep Noise Suppression Challenge
- WHO: Lembar fakta ketulian dan gangguan pendengaran (Maret 2026)
- Dobyan dan Kihm: MarkeTrak 2025, Seminars in Hearing
- FDA: otorisasi pertama perangkat lunak alat bantu dengar bebas resep (September 2024)
- Saoji dkk. (Mayo Clinic, Sonova): DNN noise reduction and cochlear implant candidacy, Audiology Research 2024
- AudiologyOnline: How has AI evolved with Phonak Infinio devices?
- University of Washington: Target Speech Hearing (2024) dan asisten pendengaran proaktif (2025)
- Columbia University: Han dkk., Science Advances (2019) dan rilis studi Nature Neuroscience melalui EurekAlert (Mei 2026)
- Catatan data: Makalah-makalah berbeda dalam angka baseline. QDPN tercantum 22,1 dB di makalah TF-GridNet tetapi 23,6 dB di makalah MossFormer2; Conv-TasNet pada Libri2Mix muncul sebagai 14,7 dB (MossFormer2) dan 12,1 dB (EConv-TasNet); komputasi SepFormer dilaporkan 86,9 GMACs/s (SepReformer) dan 257,94 GMACs/s (SepMamba), dan jumlah parameternya 25,7 M atau 26,0 M. Makalah yang berbeda memakai panjang masukan, laju sampel, dan alat penghitung yang berbeda, jadi bandingkan angka di dalam satu tabel, bukan antartabel. SI-SNRi dan SI-SDRi digunakan secara bergantian dalam literatur ini; angka deep clustering 2015 dan 2016 memakai peningkatan SDR biasa dan tidak dapat langsung dibandingkan dengan skor SI-SNRi yang lebih baru. Abstrak NOTSOFAR-1 menyebut 280 rapat rekaman, sedangkan isi makalah menjelaskan 315 rapat unik yang terbagi atas set pelatihan, pengembangan, dan evaluasi. Tidak ditemukan estimasi ukuran pasar publik yang kredibel khusus untuk pemisahan ucapan, sehingga tidak ada yang disertakan. Angka Conv-TasNet, deep clustering, Looking to Listen, dan VoiceFilter-Lite berusia lebih dari tiga tahun dan ditampilkan sebagai data terbaru yang tersedia. Rilis Columbia 2026 tidak memberikan hasil kuantitatif; kami mengutipnya hanya karena keberadaan dan lokasi publikasinya.
Terakhir diperbarui: 3 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika makalah yang diterima di ICASSP 2027 dan hasil tantangan CHiME berikutnya dipublikasikan.