A separação de fala de dois falantes no benchmark WSJ0-2mix passou de cerca de 6 dB de ganho de sinal com deep clustering em 2015 para 25,1 dB de SI-SNRi em 2024 (Hershey et al., arXiv 2015; SepReformer, NeurIPS 2024), um salto que transformou o ‘problema da festa de coquetel’ de curiosidade de laboratório em recursos de aparelhos auditivos e headsets que já estão no mercado. O porém é que benchmarks limpos favorecem os modelos: o Conv-TasNet cai de 15,3 dB em misturas limpas para 8,3 dB quando se adicionam ruído e reverberação (artigo do MossFormer2, arXiv 2312.11825, tabelas de comparação). A demanda é enorme, com 430 milhões de pessoas precisando de reabilitação por perda auditiva incapacitante (informativo da OMS, março de 2026). Reunimos dados de artigos revisados por pares no arXiv, IEEE ICASSP, Interspeech e NeurIPS, dos desafios DNS e NOTSOFAR-1 da Microsoft, do Google Research, do MERL, da OMS, da FDA, do MarkeTrak 2025 e dos grupos de pesquisa da Universidade de Washington e da Universidade Columbia. Para o lado do consumidor da mesma tecnologia, veja nossas estatísticas de separadores de áudio com IA.
TL;DR
- Melhor resultado do WSJ0-2mix para dois falantes: 25,1 dB de SI-SNRi (SepReformer-L com mistura dinâmica, NeurIPS 2024; TF-Locoformer L, MERL 2024).
- O deep clustering entregou cerca de 6 dB de melhoria em misturas de falantes em 2015 (Hershey et al., arXiv 1508.04306).
- O Conv-TasNet atingiu 15,3 dB de SI-SNRi com 5,1 M de parâmetros e latência mínima de 2 ms (Luo e Mesgarani, IEEE/ACM TASLP 2019).
- O SepReformer-B chega a 23,8 dB com 39,8 GMACs/s, contra 23,5 dB a 460,8 GMACs/s do TF-GridNet (SepReformer, NeurIPS 2024).
- O SepFormer exige 35,3 GB de memória de pico no treino, contra 2,0 GB do SepMamba (S) (artigo do SepMamba, 2024).
- O Conv-TasNet marca 15,3 dB em áudio limpo, 12,7 dB com ruído (WHAM!) e 8,3 dB com ruído mais reverberação (WHAMR!) (artigo do MossFormer2, 2024).
- A separação reduziu a taxa de erro de palavras do LibriCSS com 40% de sobreposição de 43,3% para 21,7% (Chen et al., Microsoft, 2020).
- Melhor sistema multicanal do NOTSOFAR-1: 10,8% de tcpWER, contra 28,3% da linha de base (resumo do NOTSOFAR-1, 2025).
- Um modelo VoiceFilter-Lite de 2,2 MB no próprio dispositivo melhorou o WER em fala sobreposta em 25,1% (Google Research, 2020).
- 430 milhões de pessoas precisam de reabilitação por perda auditiva incapacitante, número que passará de 700 milhões até 2050 (OMS, março de 2026).
- A adoção de aparelhos auditivos entre norte-americanos com dificuldade de audição chegou a 51,3%, ante 46,9% em 2022 (MarkeTrak 2025).
- UW Target Speech Hearing: 21 voluntários avaliaram a voz cadastrada como quase duas vezes mais clara do que o áudio sem filtro (Universidade de Washington, CHI 2024).
1. Uma Década de Avanços no Benchmark WSJ0-2mix
O benchmark WSJ0-2mix fez pela separação de fala o que o ImageNet fez pela visão computacional: um alvo fixo que tornou mensurável uma década de progresso. A melhor pontuação para dois falantes subiu de cerca de 6 dB de melhoria de sinal em 2015 para 25,1 dB de SI-SNRi em 2024, e a escala de decibéis é logarítmica, de modo que cada 3 dB adicionais reduzem aproximadamente pela metade a energia de interferência residual. O salto mais importante foi em 2018, quando o Conv-TasNet abandonou as máscaras de espectrograma e passou a trabalhar com formas de onda brutas. Foi o primeiro sistema a superar as máscaras ideais de tempo-frequência, tratadas por muito tempo como um teto prático (Conv-TasNet, Luo e Mesgarani).
Desde então a curva se achatou. Os ganhos de 2021 a 2024 vieram em passos de cerca de 1 dB, e os dois melhores modelos de 2024 empatam em 25,1 dB. O campo praticamente saturou o próprio benchmark, e é por isso que os artigos recentes competem em eficiência e robustez (seções 2 e 3).
| Métrica | Valor | Fonte |
|---|---|---|
| Deep clustering, misturas de falantes (2015) | Cerca de 6 dB de melhoria | Hershey et al., Deep Clustering, arXiv 2015 |
| Deep clustering aprimorado, dois falantes (2016) | 10,3 dB de melhoria de SDR (linha de base de 6,0 dB) | Isik et al., arXiv 1607.02173, 2016 |
| Conv-TasNet (2018) | 15,3 dB de SI-SNRi, 15,6 dB de SDRi | Luo e Mesgarani, IEEE/ACM TASLP 2019 |
| DPRNN (2019) | 18,8 dB de SI-SDRi | Luo, Chen e Yoshioka, ICASSP 2020 |
| SepFormer com mistura dinâmica (2020) | 22,3 dB de SI-SNRi | Subakan et al., ICASSP 2021 |
| TF-GridNet, sem aumento de dados (2022) | 23,5 dB de SI-SDRi | artigo do TF-GridNet, arXiv 2211.12433 |
| MossFormer2 (2023) | 24,1 dB de SI-SDRi | artigo do MossFormer2, arXiv 2312.11825 |
| SepReformer-L e TF-Locoformer (L), ambos com mistura dinâmica (2024) | 25,1 dB de SI-SNRi | SepReformer, NeurIPS 2024; Saijo et al., MERL 2024 |
A comparação com as máscaras ideais é o que fez do Conv-TasNet um marco. No mesmo conjunto de teste, a máscara binária ideal marcou 13,0 dB de SI-SNRi, a máscara de razão ideal 12,2 dB e a máscara semelhante ao filtro de Wiener 13,4 dB, todas abaixo dos 15,3 dB do Conv-TasNet. Os ouvintes humanos concordaram: a saída do Conv-TasNet recebeu uma nota média de opinião (MOS) de 4,03, contra 3,51 da máscara de razão ideal.
| Métrica | Valor | Fonte |
|---|---|---|
| Máscara binária ideal (IBM) | 13,0 dB de SI-SNRi | artigo do Conv-TasNet, 2019 |
| Máscara de razão ideal (IRM) | 12,2 dB de SI-SNRi | artigo do Conv-TasNet, 2019 |
| Máscara semelhante ao filtro de Wiener (WFM) | 13,4 dB de SI-SNRi | artigo do Conv-TasNet, 2019 |
| MOS dos ouvintes: Conv-TasNet vs IRM | 4,03 vs 3,51 | artigo do Conv-TasNet, 2019 |
| Tamanho do WSJ0-2mix | 30 h de treino, 10 h de validação, 5 h de teste | artigo do Conv-TasNet, 2019 |
| Faixa de mistura | SNR aleatória entre -5 e 5 dB | artigo do Conv-TasNet, 2019 |
Nota de contexto: a ‘mistura dinâmica’ (DM) cria novas misturas de treino em tempo real e acrescenta cerca de 1 a 2 dB. O SepFormer marca 22,3 dB com DM e 20,4 dB sem ela, então comparações entre artigos precisam checar primeiro essa opção (SepFormer, arXiv 2010.13154). Os dados mais recentes disponíveis sobre as linhas de base de 2015 a 2019 vêm dos artigos originais.
2. Eficiência: Parâmetros, Computação, Memória e Latência
A precisão estagnou, então a corrida armamentista migrou para o custo. O SepReformer-B atinge 23,8 dB de SI-SNRi com 39,8 GMACs por segundo de áudio, enquanto o TF-GridNet precisa de 460,8 GMACs/s para 23,5 dB, uma diferença de computação de mais de onze vezes por uma pontuação ligeiramente melhor (SepReformer, NeurIPS 2024). A contagem de parâmetros conta uma história parecida: o DPRNN igualou o estado da arte em 2019 com um modelo 20 vezes menor que o melhor sistema anterior.
A memória é o custo oculto que decide quem consegue treinar esses modelos. O SepFormer chega a um pico de 35,3 GB de memória, contra 2,0 GB do SepMamba (S), que ainda marca 21,2 dB (SepMamba, Universidade Técnica da Dinamarca e WS Audiology, 2024). Para qualquer coisa que rode em um celular, um headset ou um aparelho auditivo, essa diferença decide se um projeto é viável para lançamento.
| Métrica | Valor | Fonte |
|---|---|---|
| SepReformer-T | 22,4 dB com 3,7 M de parâmetros, 10,4 GMACs/s | SepReformer, NeurIPS 2024 |
| SepReformer-B | 23,8 dB com 14,2 M de parâmetros, 39,8 GMACs/s | SepReformer, NeurIPS 2024 |
| SepReformer-L com DM | 25,1 dB com 55,3 M de parâmetros, 155,5 GMACs/s | SepReformer, NeurIPS 2024 |
| TF-GridNet | 23,5 dB com 14,5 M de parâmetros, 460,8 GMACs/s | SepReformer, NeurIPS 2024 (tabela de comparação) |
| QDPN | 200,0 M de parâmetros | artigo do TF-GridNet, 2022 |
| MossFormer2 | 55,7 M de parâmetros, fator de tempo real 0,053 | artigo do MossFormer2, 2023 |
| DPRNN | 2,6 M de parâmetros, 20 vezes menor que o melhor anterior | Luo et al., ICASSP 2020 |
| Latência mínima do Conv-TasNet | 2 ms (contra uma janela STFT de 32 ms) | artigo do Conv-TasNet, 2019 |
| Métrica | Valor | Fonte |
|---|---|---|
| Memória de pico do SepFormer | 35,30 GB | artigo do SepMamba, 2024 |
| Memória de pico do MossFormer2 com DM | 12,30 GB | artigo do SepMamba, 2024 |
| SepMamba (S) | 21,2 dB, 7,2 M de parâmetros, 2,00 GB de memória de pico | artigo do SepMamba, 2024 |
| SepMamba (M) | 22,7 dB, 22 M de parâmetros, 3,04 GB de memória de pico | artigo do SepMamba, 2024 |
| EConv-TasNet (set. 2026) | 18,4 dB com 3,8 M de parâmetros | Liu, Novatek, arXiv 2609.11342 |
| EConv-TasNet vs Conv-TasNet | 22,4% menor, inferência 18,9% mais rápida | Liu, arXiv 2609.11342 |
Nota sobre um caso atípico: o artigo mais recente deste levantamento, o EConv-TasNet, da fabricante de chips Novatek (setembro de 2026), não persegue o recorde de 25 dB. Ele mira a implantação na borda (edge), acrescentando 3,1 dB ao Conv-TasNet com menos parâmetros (EConv-TasNet). É um bom sinal de onde está o interesse comercial.
3. Robustez no Mundo Real: Ruído, Reverberação e Mais Falantes
Fala limpa, lida em estúdio e misturada em níveis controlados não é um restaurante. O Conv-TasNet perde 7 dB quando suas misturas de teste ganham ruído ambiente e reverberação reais: 15,3 dB no WSJ0-2mix, 12,7 dB no WHAM! e 8,3 dB no WHAMR! (tabelas de comparação do MossFormer2). O WHAM! adiciona ruído gravado em cafeterias, restaurantes e bares da Área da Baía de São Francisco, e seus autores observam que a maioria dos estudos de separação usava uma configuração restrita, com taxas de amostragem baixas e sem ruído de fundo (WHAM!, Interspeech 2019).
Os modelos mais novos fecham boa parte dessa lacuna, mas não toda. Os melhores resultados com reverberação ficam entre 17 e 18,5 dB, ainda 6 a 7 dB atrás do benchmark limpo. Um terceiro falante custa mais 1,9 a 2,8 dB para o mesmo modelo (MossFormer2: de 24,1 para 22,2 dB; SepFormer: de 22,3 para 19,5 dB), e os autores do LibriMix mostraram que modelos treinados no WSJ0-2mix sofrem quedas importantes de desempenho em conjuntos de dados semelhantes, razão pela qual o LibriMix foi construído a partir de fala do LibriSpeech mais ruído do WHAM! (LibriMix, Interspeech 2020).
| Métrica | Valor | Fonte |
|---|---|---|
| Conv-TasNet: WSJ0-2mix / WHAM! / WHAMR! | 15,3 / 12,7 / 8,3 dB de SI-SDRi | artigo do MossFormer2, 2023 |
| SepFormer: WHAM! / WHAMR! | 16,4 / 14,0 dB | artigo do MossFormer2, 2023 |
| MossFormer2: WHAM! / WHAMR! | 18,1 / 17,0 dB | artigo do MossFormer2, 2023 |
| SepReformer-L com DM: WHAM! / WHAMR! | 18,5 / 17,2 dB | SepReformer, NeurIPS 2024 |
| TF-Locoformer (M): WHAMR! | 18,5 dB | Saijo et al., MERL 2024 |
| TF-GridNet, SMS-WSJ de 6 canais (pipeline completo) | 22,8 dB de SI-SDR, PESQ 4,08 | artigo do TF-GridNet, 2022 |
| Métrica | Valor | Fonte |
|---|---|---|
| Três falantes, Conv-TasNet (WSJ0-3mix) | 12,7 dB de SI-SNRi | artigo do Conv-TasNet, 2019 |
| Três falantes, SepFormer (WSJ0-3mix) | 19,5 dB de SI-SNRi | artigo do SepFormer, 2020 |
| Três falantes, MossFormer2 (WSJ0-3mix) | 22,2 dB de SI-SDRi | artigo do MossFormer2, 2023 |
| Três falantes, deep clustering aprimorado (2016) | 7,1 dB de melhoria de SDR | Isik et al., 2016 |
| Libri2Mix: Conv-TasNet / SepFormer / MossFormer2 | 14,7 / 19,2 / 21,7 dB | artigo do MossFormer2, 2023 |
| Libri2Mix: SepReformer-M / TF-Locoformer (M) | 22,1 / 22,1 dB | SepReformer, 2024; Saijo et al., 2024 |
Ressalva: o próprio benchmark tem uma falha. Um estudo de 2025 aceito no IEEE ASRU constatou que o ruído nos sinais de referência do WSJ0-2mix limita o SI-SDR alcançável e que o SI-SDR teve correlação negativa com o ruído percebido entre os conjuntos de teste (Jepsen et al., arXiv 2508.14623). Parte do último decibel de ‘progresso’ pode ser os modelos aprendendo a reproduzir referências ruidosas.
4. Separação para Reuniões e Reconhecimento de Fala
Na transcrição, os decibéis importam menos do que as palavras. No conjunto LibriCSS da Microsoft, executar a separação antes do reconhecimento reduziu a taxa de erro de palavras com 40% de sobreposição de falantes de 43,3% para 21,7%, quase sem alterar o resultado em áudio sem sobreposição (de 11,8% para 8,4%) (Chen et al., Continuous Speech Separation, 2020). Os mesmos autores alertam que métricas em nível de sinal têm apenas correlação fraca com a precisão do ASR ou com a qualidade percebida, e é por isso que os benchmarks de reuniões pontuam palavras, não SI-SNR. Nossas estatísticas de assistentes de reunião com IA mostram a velocidade com que cresce o mercado que depende dessa precisão.
| Métrica | Valor | Fonte |
|---|---|---|
| Tamanho do LibriCSS | 10 horas, 10 sessões, sobreposição de 0% a 40% | Chen et al., Microsoft, 2020 |
| WER com 10% de sobreposição: sem separação vs com separação | 18,8% vs 11,6% | Chen et al., 2020 (por enunciado, 7 canais) |
| WER com 20% de sobreposição | 27,2% vs 15,8% | Chen et al., 2020 |
| WER com 30% de sobreposição | 35,6% vs 18,7% | Chen et al., 2020 |
| WER com 40% de sobreposição | 43,3% vs 21,7% | Chen et al., 2020 |
| WER com 40% de sobreposição, entrada contínua | 40,5% vs 21,9% | Chen et al., 2020 |
| ASR com deep clustering em misturas de dois falantes | WER de 89,1% reduzido para 30,8% | Isik et al., 2016 |
Reuniões reais são mais difíceis do que as simuladas. O desafio NOTSOFAR-1 da Microsoft, realizado dentro do CHiME-8, gravou reuniões com 4 a 8 participantes em 30 salas. O sistema monocanal vencedor ainda errou 22,2% das palavras (tcpWER, restrito ao tempo), contra 10,8% do melhor sistema multicanal (resumo do NOTSOFAR-1, arXiv 2501.17304). Os arrays de microfones continuam sendo a maior alavanca individual, e os organizadores constataram que a separação guiada de fontes (guided source separation) ainda é a técnica de separação dominante nos pipelines vencedores.
| Métrica | Valor | Fonte |
|---|---|---|
| Reuniões gravadas do NOTSOFAR-1 | 315 reuniões únicas em inglês, 30 salas, 4 a 8 participantes | resumo do NOTSOFAR-1, 2025 |
| Dados de treino simulados | Cerca de 1.000 horas, 15.000 funções de transferência acústica reais | resumo do NOTSOFAR-1, 2025 |
| Monocanal: melhor vs linha de base de tcpWER | 22,2% vs 41,4% | resumo do NOTSOFAR-1, 2025 |
| Multicanal: melhor vs linha de base de tcpWER | 10,8% vs 28,3% | resumo do NOTSOFAR-1, 2025 |
| Submissões: trilha monocanal / multicanal | 9 / 5 | resumo do NOTSOFAR-1, 2025 |
| Tamanho do modelo VoiceFilter-Lite no dispositivo | 2,2 MB (quantizado) | Google Research, nov. 2020 |
| Melhoria de WER do VoiceFilter-Lite, fala sobreposta | 25,1% (14,7% com reverberação) | Google Research, nov. 2020 |
Nota de contexto: os resultados do VoiceFilter-Lite do Google (2020) são os números públicos mais recentes disponíveis de uma grande plataforma para execução no próprio dispositivo. Os sistemas lançados desde então raramente publicam benchmarks em nível de palavra.
5. O Que Está em Jogo para a Saúde Auditiva
O problema da festa de coquetel não é acadêmico para quem convive com ele. A OMS estima que 430 milhões de pessoas, mais de 5% da população mundial, precisam de reabilitação por perda auditiva incapacitante, e projeta mais de 700 milhões até 2050 (informativo da OMS sobre surdez e perda auditiva, março de 2026). A amplificação sozinha eleva todos os falantes de uma sala cheia ao mesmo tempo, e é por isso que a separação baseada em DNN é hoje o recurso de destaque dos aparelhos auditivos premium. Nossas estatísticas de aparelhos auditivos cobrem o mercado dos dispositivos em si.
| Métrica | Valor | Fonte |
|---|---|---|
| Pessoas que precisam de reabilitação por perda auditiva incapacitante | 430 milhões (mais de 5% da população mundial) | informativo da OMS, março de 2026 |
| Crianças com perda auditiva incapacitante | 34 milhões | informativo da OMS, março de 2026 |
| Pessoas com alguma perda auditiva até 2050 | Quase 2,5 bilhões | informativo da OMS, março de 2026 |
| Pessoas que precisarão de reabilitação até 2050 | Mais de 700 milhões (1 em cada 10) | informativo da OMS, março de 2026 |
| Perda auditiva incapacitante entre pessoas com mais de 60 anos | Mais de 25% | informativo da OMS, março de 2026 |
| Custo global anual da perda auditiva não tratada | Quase US$ 1 trilhão | informativo da OMS, março de 2026 |
| Parcela que vive em países de renda baixa e média | Quase 80% | informativo da OMS, março de 2026 |
A adoção está crescendo. O MarkeTrak 2025, baseado em 16.148 domicílios e 42.982 indivíduos dos EUA pesquisados em outubro e novembro de 2024, constatou que a adoção de aparelhos auditivos entre pessoas com dificuldade de audição autodeclarada chegou a 51,3%, ante 46,9% em 2022, com satisfação geral com os dispositivos de 83% (MarkeTrak 2025, Seminars in Hearing). Os fones de ouvido de consumo também estão entrando na categoria: em setembro de 2024, a FDA autorizou o primeiro software de aparelho auditivo de venda livre, o Hearing Aid Feature da Apple para AirPods Pro (comunicado da FDA).
| Métrica | Valor | Fonte |
|---|---|---|
| Adoção de aparelhos auditivos nos EUA, pessoas com dificuldade de audição | 51,3% (46,9% em 2022) | MarkeTrak 2025 |
| Dificuldade de audição autodeclarada, EUA | 9,1% | MarkeTrak 2025 |
| Satisfação de quem possui aparelho auditivo | 83% | MarkeTrak 2025 |
| Estudo clínico da FDA para software de aparelho auditivo de venda livre | 118 participantes, perda leve a moderada | FDA, 12 de set. de 2024 |
| Phonak Spheric Speech Clarity 2.0 (DNN) | Melhoria de 10,2 dB de SNR em cenários reais | artigo de especialista do AudiologyOnline, 2026 |
| Phonak Spheric Speech Clarity 2.0 | Redução de até 37% no esforço auditivo, 30% mais eficiente | artigo de especialista do AudiologyOnline, 2026 |
| Estudo da Mayo Clinic e da Sonova, redução de ruído por DNN com SNR de 10 dB | +23 e +32 pontos percentuais no reconhecimento de fala | Audiology Research, 2024 |
| Mesmo estudo, ganho de SNR no programa para ruído intenso | 4,8 a 5,0 dB | Audiology Research, 2024 |
Ressalva: as alegações de SNR dos fabricantes vêm de testes conduzidos pelos próprios fornecedores, e o estudo independente da Mayo Clinic e da Sonova teve apenas 10 participantes. Os números da Phonak são relatados por meio de uma sessão de perguntas e respostas com especialista no AudiologyOnline, não de um artigo revisado por pares.
6. A Fronteira: Escolher Qual Voz Ouvir
Separar todas as vozes é só metade do problema; o dispositivo também precisa saber qual delas o ouvinte quer. O protótipo Target Speech Hearing da Universidade de Washington cadastra um falante depois que quem usa o fone olha para ele por 3 a 5 segundos, e 21 voluntários avaliaram a clareza dessa voz como quase o dobro da do áudio sem filtro (UW News, maio de 2024). Um estudo de continuação de dezembro de 2025 dispensou o olhar: seu ‘assistente auditivo proativo’ detecta parceiros de conversa pelo ritmo de alternância de turnos em 2 a 4 segundos de áudio (UW News, dezembro de 2025).
Outras pistas também estão sendo testadas. O modelo Looking to Listen, do Google, de 2018, usava movimentos labiais, treinado com trechos extraídos de 100.000 vídeos do YouTube (blog do Google Research). A abordagem controlada pelo cérebro da Universidade Columbia compara vozes separadas com sinais neurais: a versão de 2019 foi testada em três pacientes neurocirúrgicos (Science Advances, 2019), e um estudo da Nature Neuroscience de maio de 2026 relatou os primeiros testes em humanos de um sistema em tempo real (Instituto Zuckerman da Columbia via EurekAlert). O cadastro personalizado também é padrão em comunicações: o quinto Deep Noise Suppression Challenge da Microsoft pediu que os modelos suprimissem falantes vizinhos usando um trecho de cadastro de 10 a 30 segundos (DNS Challenge do ICASSP 2023). A mesma limpeza sensível ao falante é o que mantém um chat de voz no Discord inteligível quando um colega de quarto está falando ao fundo.
| Métrica | Valor | Fonte |
|---|---|---|
| UW Target Speech Hearing: tempo de cadastro | 3 a 5 segundos olhando para o falante | Universidade de Washington, CHI 2024 |
| UW Target Speech Hearing: voluntários e nota de clareza | 21 voluntários, quase 2 vezes mais claro que o áudio sem filtro | Universidade de Washington, CHI 2024 |
| UW Target Speech Hearing: tolerância de direção | Margem de erro de 16 graus | Universidade de Washington, 2024 |
| Assistente auditivo proativo da UW: áudio necessário | 2 a 4 segundos | Universidade de Washington, EMNLP 2025 |
| Assistente auditivo proativo da UW: parceiros e testadores | 1 a 4 parceiros; 11 participantes o avaliaram de forma mais de 2 vezes mais favorável | Universidade de Washington, dez. 2025 |
| Assistente auditivo proativo da UW: idiomas de treino | Inglês, mandarim, japonês | Universidade de Washington, dez. 2025 |
| Google Looking to Listen: fonte de treino | 100.000 vídeos, cerca de 2.000 horas de trechos limpos | blog do Google Research, abril de 2018 |
| Audição controlada pelo cérebro da Columbia (2019) | 3 pacientes neurocirúrgicos | Han et al., Science Advances, 2019 |
| Métrica | Valor | Fonte |
|---|---|---|
| Edição do DNS Challenge no ICASSP 2023 | 5ª | Dubey et al., Microsoft, 2023 |
| Formato de áudio do DNS 2023 | Fullband, 48 kHz | Dubey et al., 2023 |
| Trecho de cadastro do DNS 2023 | 10 a 30 segundos do falante principal | Dubey et al., 2023 |
| Ganho da pontuação vencedora do DNS 2023 sobre a entrada ruidosa | 0,145 (headset) e 0,141 (viva-voz) | Dubey et al., 2023 |
| TF-Locoformer (M) na melhoria de fala do DNS 2020 | 23,3 dB de SI-SNR, STOI 98,8, PESQ-WB 3,72 | Saijo et al., MERL 2024 |
Nota sobre um caso atípico: a equipe da UW diz que o sistema proativo tem mais dificuldade quando as conversas ficam dinâmicas, com participantes falando uns por cima dos outros, que é exatamente o caso da festa de coquetel. O interesse por fones de ouvido com cancelamento de ruído dá a esses recursos uma base de hardware pronta.
Resumo: Separação de Fala e o Problema da Festa de Coquetel em Números
| Métrica | Valor | Fonte |
|---|---|---|
| Melhor pontuação no WSJ0-2mix | 25,1 dB de SI-SNRi | SepReformer-L, NeurIPS 2024; TF-Locoformer (L), MERL 2024 |
| Deep clustering, 2015 | Cerca de 6 dB de melhoria | Hershey et al., 2015 |
| Conv-TasNet, 2018 | 15,3 dB de SI-SNRi, 5,1 M de parâmetros | Luo e Mesgarani, 2019 |
| SepFormer com / sem mistura dinâmica | 22,3 / 20,4 dB | SepFormer, 2021; TF-GridNet, 2022 |
| MossFormer2 | 24,1 dB, 55,7 M de parâmetros | MossFormer2, 2023 |
| Latência mínima do Conv-TasNet | 2 ms | artigo do Conv-TasNet, 2019 |
| Computação do TF-GridNet vs SepReformer-B | 460,8 vs 39,8 GMACs/s | SepReformer, NeurIPS 2024 |
| Memória de pico do SepFormer vs SepMamba (S) | 35,3 GB vs 2,0 GB | SepMamba, 2024 |
| Conv-TasNet limpo / ruidoso / reverberante | 15,3 / 12,7 / 8,3 dB | MossFormer2, 2023 |
| Melhor WHAMR! (ruidoso, reverberante) | 18,5 dB | TF-Locoformer (M), MERL 2024 |
| WSJ0-3mix, MossFormer2 | 22,2 dB | MossFormer2, 2023 |
| WER do LibriCSS com 40% de sobreposição, sem separação vs com separação | 43,3% vs 21,7% | Microsoft, Chen et al., 2020 |
| Melhor tcpWER multicanal do NOTSOFAR-1 | 10,8% (linha de base 28,3%) | resumo do NOTSOFAR-1, 2025 |
| Melhor tcpWER monocanal do NOTSOFAR-1 | 22,2% (linha de base 41,4%) | resumo do NOTSOFAR-1, 2025 |
| Ganho de WER do VoiceFilter-Lite em fala sobreposta | 25,1% com 2,2 MB | Google Research, 2020 |
| Pessoas que precisam de reabilitação auditiva | 430 milhões, mais de 700 milhões até 2050 | OMS, março de 2026 |
| Adoção de aparelhos auditivos nos EUA entre pessoas com dificuldade | 51,3% | MarkeTrak 2025 |
| Melhoria de SNR da DNN da Phonak | 10,2 dB | AudiologyOnline, 2026 |
| Cadastro do UW Target Speech Hearing | 3 a 5 segundos, 21 voluntários | Universidade de Washington, 2024 |
| Modelo de borda EConv-TasNet | 18,4 dB com 3,8 M de parâmetros | Novatek, set. 2026 |
Metodologia e Fontes
Todo número de benchmark acima foi extraído do artigo que o relatou, ou da tabela de comparação de um artigo posterior, quando indicado. Excluímos números que apareciam apenas em trechos de busca, resumos secundários ou materiais de marketing de fornecedores que não conseguimos abrir. Agregadores de leaderboards foram usados apenas para checar que nenhum resultado mais alto no WSJ0-2mix havia sido publicado.
- Hershey, Chen, Le Roux, Watanabe: Deep Clustering, arXiv 1508.04306 (2015)
- Isik, Le Roux, Chen, Watanabe, Hershey: Single-Channel Multi-Speaker Separation using Deep Clustering (2016)
- Luo e Mesgarani: Conv-TasNet, IEEE/ACM TASLP (2019); tabelas do texto completo lidas via ar5iv
- Luo, Chen, Yoshioka: Dual-path RNN, ICASSP 2020
- Subakan et al.: Attention Is All You Need in Speech Separation (SepFormer), ICASSP 2021
- TF-GridNet: Integrating Full- and Sub-Band Modeling for Speech Separation (2022)
- MossFormer2 (dezembro de 2023)
- Separate and Reconstruct: Asymmetric Encoder-Decoder for Speech Separation (SepReformer), NeurIPS 2024
- Saijo, Wichern, Germain, Pan, Le Roux (MERL): TF-Locoformer (2024)
- Avenstrup et al. (DTU, WS Audiology): SepMamba (2024)
- Liu (Novatek): EConv-TasNet (setembro de 2026)
- Wichern et al.: WHAM!, Interspeech 2019
- Cosentino et al.: LibriMix, Interspeech 2020
- Jepsen, Christensen, Jensen: SI-SDR with noisy references, IEEE ASRU 2025
- Chen et al. (Microsoft): Continuous Speech Separation: Dataset and Analysis (LibriCSS) (2020)
- Abramovski et al. (Microsoft): Summary of the NOTSOFAR-1 Challenge (2025); Cornell et al.: CHiME-8 DASR Challenge (2024)
- Google Research: VoiceFilter-Lite (2020) e Looking to Listen (2018)
- Dubey et al. (Microsoft): ICASSP 2023 Deep Noise Suppression Challenge
- OMS: informativo sobre surdez e perda auditiva (março de 2026)
- Dobyan e Kihm: MarkeTrak 2025, Seminars in Hearing
- FDA: autorização do primeiro software de aparelho auditivo de venda livre (setembro de 2024)
- Saoji et al. (Mayo Clinic, Sonova): DNN noise reduction and cochlear implant candidacy, Audiology Research 2024
- AudiologyOnline: How has AI evolved with Phonak Infinio devices?
- Universidade de Washington: Target Speech Hearing (2024) e assistente auditivo proativo (2025)
- Universidade Columbia: Han et al., Science Advances (2019) e comunicado do estudo da Nature Neuroscience via EurekAlert (maio de 2026)
- Nota sobre os dados: os artigos divergem nos números de linha de base. O QDPN aparece com 22,1 dB no artigo do TF-GridNet, mas com 23,6 dB no artigo do MossFormer2; o Conv-TasNet no Libri2Mix aparece como 14,7 dB (MossFormer2) e 12,1 dB (EConv-TasNet); a computação do SepFormer é reportada como 86,9 GMACs/s (SepReformer) e 257,94 GMACs/s (SepMamba), e sua contagem de parâmetros como 25,7 M ou 26,0 M. Artigos diferentes usam comprimentos de entrada, taxas de amostragem e ferramentas de contagem diferentes, então compare números dentro de uma mesma tabela, não entre tabelas. SI-SNRi e SI-SDRi são usados de forma intercambiável nessa literatura; os números de deep clustering de 2015 e 2016 usam a melhoria de SDR simples e não são diretamente comparáveis com as pontuações posteriores de SI-SNRi. O resumo do NOTSOFAR-1 cita 280 reuniões gravadas, enquanto o corpo do artigo descreve 315 reuniões únicas divididas entre os conjuntos de treino, desenvolvimento e avaliação. Não encontramos nenhuma estimativa pública e confiável de tamanho de mercado específica para separação de fala, então nenhuma foi incluída. Os números do Conv-TasNet, do deep clustering, do Looking to Listen e do VoiceFilter-Lite têm mais de três anos e são apresentados como os dados mais recentes disponíveis. O comunicado da Columbia de 2026 não traz resultados quantitativos; nós o citamos apenas pela existência e pelo veículo de publicação.
Última atualização: 3 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando os artigos aceitos do ICASSP 2027 e os resultados do próximo desafio CHiME forem publicados.