No benchmark de chamadas telefônicas CALLHOME, o mesmo sistema de diarização ponta a ponta que marca 8,50% de DER em chamadas com dois locutores marca 40,29% em chamadas com seis (Horiguchi et al., EEND-EDA, Interspeech 2020). A diarização de locutores é a etapa do “quem falou quando”: ela divide uma gravação em trechos e rotula cada um com um locutor, antes ou junto da transcrição. Em benchmarks curados ela melhorou rápido, com o DER mediano do DIHARD Track 1 caindo de mais de 30% no DIHARD I para menos de 20% no DIHARD III (Ryant et al., Terceiro Desafio DIHARD 2021), mas áudio de jantar entre amigos ainda gerou um DER de referência de 62,0% no CHiME-6 (Watanabe et al., visão geral do desafio CHiME-6 2020). Reunimos dados dos organizadores dos desafios DIHARD e VoxSRC, dos desafios CHiME-6, NOTSOFAR-1 e DISPLACE, do benchmark de diarização de 2025 da ETH Zurique, da Brno University of Technology, dos model cards do projeto pyannote e de estudos clínicos revisados por pares. Para o lado do nível de palavra do mesmo pipeline, veja nosso levantamento sobre viés de sotaque no reconhecimento de fala e taxa de erro de palavras.
Uma observação para ler cada número abaixo: o DER (taxa de erro de diarização) é melhor quanto menor, e só é comparável quando dois resultados compartilham o mesmo benchmark, o mesmo “collar” (uma curta janela de tolerância, sem pontuação, em torno de cada troca de locutor) e a mesma regra para a fala sobreposta. Cada tabela informa a configuração quando a fonte a indica.
TL;DR
- O DER no CALLHOME sobe de 8,50% com 2 locutores para 40,29% com 6 locutores no mesmo sistema (Horiguchi et al., Interspeech 2020).
- O DER mediano do DIHARD Track 1 caiu de mais de 30% (DIHARD I) para 25% (DIHARD II) e para menos de 20% (DIHARD III) (Ryant et al., Terceiro Desafio DIHARD 2021).
- Os vencedores do VoxSRC marcaram 3,71% de DER em 2020 e 4,30% em 2023 em áudio do YouTube, cerca de metade da referência em cada ano (Huh et al., retrospectiva do VoxSRC, IEEE TASLP 2024).
- Remover o collar de 0,25 s eleva o DER do AMI de 9,8% para 15,4% no mesmo sistema (Han et al., Brno University of Technology 2024).
- Mais de 33% dos erros em dados de reuniões do NIST com um único microfone ocorrem a até 0,5 s de uma troca de locutor (Knox, UC Berkeley 2013).
- Em média, de 12% a 15% da fala em gravações de reuniões é sobreposta (Park et al., Computer Speech and Language 2022).
- Os diálogos médico-paciente tiveram em média 33,38% de DER, contra 15,18% da conversa geral, em oito sistemas (Okocha et al., 2025).
- A referência do CHiME-6, com jantares entre amigos, marcou 62,0% de DER no conjunto de avaliação (Watanabe et al., visão geral do CHiME-6 2020).
- O melhor sistema de reuniões do NOTSOFAR-1 reduziu a taxa de erro de palavras com atribuição de locutor para 10,8%, partindo de uma referência de 28,3% (Abramovski et al., resumo do NOTSOFAR-1 2025).
- O modelo mais rápido de um benchmark de 2025 processou áudio 214,3 vezes mais rápido que o tempo real (Lanzendoerfer et al., ETH Zurique 2025).
1. O Que o DER Mede e Por Que a Configuração de Avaliação Move o Número
O DER soma três tipos de tempo e divide pelo total de fala de referência: fala perdida (alguém falou, o sistema ouviu silêncio), falso alarme (o sistema marcou fala onde não havia) e confusão de locutores (a fala foi detectada, mas atribuída à pessoa errada). O model card do pyannote 3.1 mostra a conta com clareza: no áudio de headset do AMI, seu DER de 18,8% é 3,6% de falso alarme mais 9,5% de fala perdida mais 5,7% de confusão.
A armadilha maior é a janela de tolerância (collar). Desde as avaliações NIST Rich Transcription, a maioria dos artigos ignora 0,25 s de cada lado de toda fronteira de referência, porque anotadores humanos raramente concordam sobre o milissegundo exato em que um turno começa. Essa única escolha elimina 5,6 pontos, ou 36% do valor sem collar: o mesmo sistema da Brno University of Technology marca 15,4% no AMI sem collar e 9,8% com collar (Han et al., 2024). A zona perdoada é exatamente onde os sistemas mais falham, já que um terço ou mais de todos os erros ficam a até meio segundo de uma troca de locutor (Knox, relatório técnico da UC Berkeley 2013).
| Métrica | Valor | Fonte |
|---|---|---|
| Janela de tolerância (collar) padrão sem pontuação em torno de cada fronteira de segmento de referência (avaliação no estilo RT) | 0,25 s, descrita como o esquema mais usado | Park et al., Computer Speech and Language 2022 |
| Regra de avaliação do DIHARD e do CHiME-6 | Sem collar, fala sobreposta pontuada | Park et al., Computer Speech and Language 2022 |
| DER no AMI, sistema da BUT baseado em WavLM, sem collar vs collar de 0,25 s | 15,4% vs 9,8% | Han et al., Brno University of Technology 2024 |
| DER no AliMeeting, mesmo sistema, sem collar vs collar de 0,25 s | 17,6% vs 10,2% | Han et al., Brno University of Technology 2024 |
| DER no AMI, referência pyannote 3, sem collar vs collar de 0,25 s | 21,1% vs 13,7% | Han et al., Brno University of Technology 2024 |
| Parcela dos erros a até 0,5 s de uma troca de locutor, reuniões do NIST RT-09, um único microfone distante vs vários | Mais de 33% vs 40% | Knox, UC Berkeley 2013 |
| DER no AMI com mixagem de headsets, pyannote 3.1, dividido em falso alarme + fala perdida + confusão | 18,8% = 3,6% + 9,5% + 5,7% (informado pelo projeto) | pyannote, model card do speaker-diarization-3.1 |
Contexto: a análise de erros de Berkeley é o dado mais recente disponível sobre a posição dos erros (Knox, UC Berkeley 2013). O benchmark de 2025 da ETH aponta na mesma direção: a fala perdida foi o tipo de erro dominante na maioria dos modelos, e os autores atribuem os segmentos perdidos, que têm em média cerca de 350 ms, ao tempo de início e de fim da fala, e não a enunciados inteiros que deixaram de ser ouvidos (Lanzendoerfer et al., Benchmarking Diarization Models 2025).
2. Estado da Arte por Benchmark e Quão Rápido o DER Caiu
O progresso é real, mas específico de cada benchmark. No DIHARD, uma mistura deliberadamente difícil de 11 domínios, o DER mediano do Track 1 caiu de mais de 30% para menos de 20% ao longo de três edições (Ryant et al., The Third DIHARD Diarization Challenge 2021). O Track 1 (categoria do desafio) entrega aos sistemas as regiões reais de fala; o Track 2 os obriga a encontrar a fala sozinhos, e por isso seus números são mais altos.
Em áudio do YouTube de estilo broadcast, os vencedores do VoxSRC ficam em torno de 4%, cerca de metade da referência dos organizadores em cada ano (Huh et al., The VoxCeleb Speaker Recognition Challenge: A Retrospective, IEEE TASLP 2024). Os vencedores de 2020 e 2023 não formam uma série temporal, porém: o conjunto de teste passou de 232 arquivos para 413, então um valor ligeiramente maior em 2023 não significa que a área andou para trás.
| Métrica | Valor | Fonte |
|---|---|---|
| DER mediano do DIHARD Track 1 (regiões reais de fala fornecidas), DIHARD I vs II vs III | Mais de 30% vs 25% vs menos de 20% | Ryant et al., Terceiro Desafio DIHARD 2021 |
| DER mediano do DIHARD Track 2 (o sistema detecta a fala sozinho), DIHARD I vs III | 40% vs menos de 25% | Ryant et al., Terceiro Desafio DIHARD 2021 |
| Vencedor do DIHARD III (USTC-NELSLIP), conjunto de avaliação principal, Track 1 vs Track 2 | 13,45% vs 19,37% (sem collar, sobreposição pontuada) | Resultados do desafio DIHARD III |
| Trilha de diarização do VoxSRC, conjunto de teste de 2020, vencedor vs referência | 3,71% vs 8,15% (collar de 0,25 s, sobreposição pontuada) | Huh et al., retrospectiva do VoxSRC 2024 |
| Trilha de diarização do VoxSRC, conjunto de teste de 2023, vencedor vs referência | 4,30% vs 8,54% (collar de 0,25 s, sobreposição pontuada) | Huh et al., retrospectiva do VoxSRC 2024 |
| DER no CALLHOME, todas as chamadas, EEND-EDA ponta a ponta vs agrupamento por x-vector | 15,29% vs 19,43% (collar de 0,25 s) | Horiguchi et al., Interspeech 2020 |
| DER médio do sistema do ICSI em reuniões do NIST RT-09, um único microfone distante | 31,3% | Sinclair e King, Universidade de Edimburgo 2013 |
Contexto: o DER do vencedor do DIHARD III no conjunto de avaliação completo foi de 11,3% no Track 1 e 16,78% no Track 2, contra uma referência de 20,65% e 27,34% no conjunto principal (resultados do desafio DIHARD III). O valor do RT-09 é o dado mais recente disponível para essa avaliação (Sinclair e King, Where are the challenges in speaker diarization? 2013), e vem de dados e de uma época diferentes dos do DIHARD, portanto não deve ser lido como uma comparação direta de antes e depois.
3. Fala Sobreposta e Número de Locutores: os Dois Maiores Fatores do DER
A sobreposição não é um caso raro. Em média, de 12% a 15% da fala em gravações de reuniões é sobreposta, e a revisão que reuniu esse número observa que ela pode subir ainda mais na conversa cotidiana (Park et al., A Review of Speaker Diarization, Computer Speech and Language 2022). Os pipelines de agrupamento mais antigos atribuem exatamente um locutor a cada instante, então, em uma sobreposição de duas pessoas, pelo menos metade do tempo pontuado está errada antes mesmo de qualquer outro erro acontecer.
O número de locutores agrava o problema. No CALLHOME, o mesmo modelo EEND-EDA vai de 8,50% de DER em chamadas com dois locutores para 40,29% em chamadas com seis (Horiguchi et al., EEND-EDA, Interspeech 2020), e os modelos com limite fixo de locutores pagam duas vezes: a família Sortformer, limitada a quatro locutores, mostrou mais confusão de locutores em gravações cheias no benchmark da ETH. A captação com vários microfones ajuda, como mostram os resultados de reuniões do NOTSOFAR-1 na seção 5, um padrão também visível em nossos dados sobre beamforming de campo distante e precisão de palavra de ativação.
| Métrica | Valor | Fonte |
|---|---|---|
| Parcela média de fala sobreposta em gravações de reuniões | 12% a 15% | Park et al., Computer Speech and Language 2022 |
| Parcela média de sobreposição: AliMeeting vs AMI vs CALLHOME vs VoxConverse | 19% vs 15,94% vs 12,58% vs 3,52% | Lanzendoerfer et al., ETH Zurique 2025 |
| DER no CALLHOME, EEND-EDA, chamadas com 2 vs 3 vs 4 locutores | 8,50% vs 13,24% vs 21,46% | Horiguchi et al., Interspeech 2020 |
| DER no CALLHOME, EEND-EDA, chamadas com 5 vs 6 locutores | 33,16% vs 40,29% | Horiguchi et al., Interspeech 2020 |
| DER no CALLHOME, agrupamento por x-vector, chamadas com 2 vs 6 locutores | 15,45% vs 34,27% | Horiguchi et al., Interspeech 2020 |
| DER em gravações com 4 locutores: Sortformer (limite de 4 locutores) vs DiariZen | 21,3% vs 12,7% (collar de 0,25 s, sobreposição pontuada) | Lanzendoerfer et al., ETH Zurique 2025 |
| Média de locutores por gravação, conjunto de teste do VoxSRC 2020 | 6,5 locutores ao longo de 675,6 s em média | Huh et al., retrospectiva do VoxSRC 2024 |
Contexto: o número de locutores sozinho não decide a pontuação. No benchmark da ETH, o melhor sistema marcou 6,6% em gravações com 5 ou mais locutores, mas 10,1% nas de 4 locutores, um lembrete de que a sobreposição e as condições de gravação importam tanto quanto o número de pessoas. Os resultados do CALLHOME com 5 e 6 locutores também se apoiam em poucos arquivos: os autores do EEND-EDA observam que o CALLHOME tem apenas dez gravações com mais de quatro locutores.
4. Lacunas de Domínio: Áudio Clínico, Infantil, Multilíngue e em Condições Reais
Um modelo ajustado para reuniões e chamadas telefônicas não leva sua precisão para uma clínica, uma casa de família ou um vídeo online. Em oito sistemas de diarização, os diálogos médico-paciente tiveram em média 33,38% de DER, contra 15,18% nas conversas gerais, uma diferença de 18,20 pontos percentuais (teste t pareado p < 10⁻⁴), e os falsos alarmes causaram a maior parte da penalidade clínica (Okocha et al., Domain-Aware Speaker Diarization on African-Accented English 2025). O ajuste fino com fala com sotaque reduziu pela metade o erro de um modelo aberto, mas a lacuna clínica diminuiu em vez de desaparecer.
As crianças são uma fronteira à parte. No estudo do BabyHuBERT, as gravações de dia inteiro centradas na criança são pontuadas por tipo de locutor (criança-alvo, outras crianças, homens adultos, mulheres adultas) com a pontuação F1, em que maior é melhor, e o melhor modelo de 2026 ainda fica abaixo de um segundo anotador humano (Charlot et al., BabyHuBERT 2026). O DIHARD III apontou a mesma fraqueza, destacando as crianças em entrevistas clínicas como um desafio particular.
| Métrica | Valor | Fonte |
|---|---|---|
| DER mediano do DIHARD III Track 1, domínios de reunião, vídeo da web e restaurante | 35% a 45% | Ryant et al., Terceiro Desafio DIHARD 2021 |
| DER do DIHARD III, entrevistas clínicas e fala telefônica, Track 1 vs Track 2 | Em geral 10% a 20% vs 15% a 25% | Ryant et al., Terceiro Desafio DIHARD 2021 |
| DER médio em 8 sistemas, diálogos médico-paciente vs gerais em inglês com sotaque africano | 33,38% vs 15,18% (sem collar, sobreposição pontuada) | Okocha et al., 2025 |
| DER do pyannote antes vs depois do ajuste fino com fala com sotaque africano, diálogos médicos | 31,46% vs 15,73% | Okocha et al., 2025 |
| Gravações centradas na criança, F1 médio entre os tipos de locutor: LENA vs BabyHuBERT-VTC vs segundo anotador humano | 40,8% vs 65,1% vs 69,8% (maior é melhor) | Charlot et al., BabyHuBERT 2026 |
| DER nos benchmarks de vídeo em condições reais Ego4D (desenvolvimento) e AVA-AVD, pyannote community-1 | 46,8% e 44,6% (informado pelo projeto, sem collar) | pyannote, model card do community-1 2025 |
| DER por idioma nos conjuntos de dados do benchmark da ETH, melhor sistema (pyannoteAI), espanhol vs inglês | 14,3% vs 6,6% | Lanzendoerfer et al., ETH Zurique 2025 |
| Conversas multilíngues indianas (DISPLACE), DER da melhor equipe nos mesmos dados de avaliação, 2023 vs 2024 | 27,8% vs 21,27% | Kalluri et al., Segundo Desafio DISPLACE 2024 |
Contexto: os dados do DISPLACE cobrem 9 idiomas indianos mais inglês indiano, com 3 a 5 participantes por sessão (Kalluri et al., The Second DISPLACE Challenge 2024). Os autores da ETH ligam a lacuna entre idiomas à escassez de dados para alguns deles e apontam o espanhol como o mais difícil dos cinco testados.
5. Implantações no Mundo Real: Reuniões, Call Centers e Clínicas
Em produção, os erros de diarização aparecem como linhas da transcrição creditadas à pessoa errada, e é por isso que estudos de reuniões e médicos costumam informar métricas em nível de palavra. Duas aparecem abaixo: tcpWER, uma taxa de erro de palavras que também conta as palavras atribuídas ao locutor errado dentro de uma janela de tempo, e WDER, a parcela de palavras que recebeu o rótulo de locutor errado. Um dos cenários mais difíceis já avaliados é o jantar entre amigos: a referência do CHiME-6 marcou 62,0% de DER no conjunto de avaliação, e os organizadores atribuem cerca de 15% absolutos da diferença de taxa de erro de palavras entre suas categorias principalmente à diarização (Watanabe et al., CHiME-6 Challenge overview 2020).
As reuniões de escritório são mais tratáveis. No NOTSOFAR-1, construído com 315 reuniões reais de 4 a 8 participantes cada, em 30 ambientes, o melhor sistema multicanal chegou a 10,8% de tcpWER (Abramovski et al., Summary of the NOTSOFAR-1 Challenge, Computer Speech and Language 2025). A transcrição jurídica tem suas próprias exigências de rotulagem de locutores, tratadas em nossas estatísticas de precisão da transcrição de fala em tribunais, e os erros de texto que se somam aos erros de locutor estão em nossos dados sobre alucinação no reconhecimento de fala.
| Métrica | Valor | Fonte |
|---|---|---|
| DER de referência do CHiME-6 com jantares entre amigos, conjunto de desenvolvimento vs avaliação | 61,6% vs 62,0% | Watanabe et al., visão geral do CHiME-6 2020 |
| Diferença de taxa de erro de palavras entre categorias atribuída principalmente à diarização no CHiME-6 | Cerca de 15% absolutos | Watanabe et al., visão geral do CHiME-6 2020 |
| Transcrição de reuniões do NOTSOFAR-1, tcpWER do melhor sistema vs referência, multicanal | 10,8% vs 28,3% | Abramovski et al., resumo do NOTSOFAR-1 2025 |
| Transcrição de reuniões do NOTSOFAR-1, tcpWER do melhor sistema vs referência, canal único | 22,2% vs 41,4% | Abramovski et al., resumo do NOTSOFAR-1 2025 |
| DER no CALLHOME telefônico, community-1 aberto vs precision-2 comercial | 26,7% vs 16,6% (informado pelo fornecedor, sem collar) | pyannote, model card do community-1 2025 |
| WDER em quatro modelos de fala comerciais, 36 conversas de atenção primária | 1,8% a 13,9% | Tran et al., AMIA Annual Symposium 2022 |
| WDER em conversas médico-paciente, pipeline convencional vs modelo conjunto de reconhecimento e diarização | 15,8% vs 2,2% | El Shafey et al., Interspeech 2019 |
Contexto: as gravações de atenção primária foram encenadas por dois falantes nativos de inglês em um estúdio silencioso, e por isso os autores descrevem seus valores como um provável limite superior do desempenho em clínicas reais (Tran et al., AMIA Annual Symposium Proceedings 2022). O resultado do modelo conjunto é o dado mais recente disponível de um corpus que não é público (El Shafey et al., Interspeech 2019). O valor do precision-2 é a alegação do próprio fornecedor para o seu modelo comercial.
6. Velocidade, Modelos Abertos e Escala da Pesquisa
A precisão é só metade de uma decisão de implantação. O sistema mais rápido do benchmark da ETH rodou 214,3 vezes mais rápido que o tempo real, mais de dez vezes a velocidade do modelo aberto DiariZen, que rodou a 20,2 vezes o tempo real e marcou 13,3% de DER no geral (Lanzendoerfer et al., ETH Zurique 2025). Esse compromisso pesa muito mais na legendagem ao vivo do que em um processamento em lote durante a noite.
Os modelos abertos são amplamente usados. Os pipelines do pyannote mostram milhões de downloads mensais, e o benchmark de setembro de 2025 do próprio projeto informa um DER menor para a versão aberta atual do que para a anterior na maioria dos conjuntos de dados, com a camada comercial à frente de ambas (pyannote, model card do speaker-diarization-community-1). Trate essas pontuações como informadas pelo projeto: elas são executadas pela mesma equipe que distribui os modelos.
| Métrica | Valor | Fonte |
|---|---|---|
| Fator de tempo real (duração do áudio dividida pelo tempo de processamento), Sortformer v2 vs Sortformer v2 em streaming | 214,3x vs 209,5x | Lanzendoerfer et al., ETH Zurique 2025 |
| Fator de tempo real, pyannote aberto vs DiariZen | 45,0x vs 20,2x | Lanzendoerfer et al., ETH Zurique 2025 |
| DER geral no benchmark da ETH, pyannoteAI vs DiariZen | 11,2% vs 13,3% (collar de 0,25 s, sobreposição pontuada) | Lanzendoerfer et al., ETH Zurique 2025 |
| DER no DIHARD 3 completo, pyannote 3.1 vs community-1 vs precision-2 | 21,4% vs 20,2% vs 14,7% (informado pelo projeto e pelo fornecedor, sem collar) | pyannote, model card do community-1 2025 |
| Downloads mensais no Hugging Face, pyannote speaker-diarization-3.1 vs community-1 | 6.886.119 vs 5.051.937 (consultado em outubro de 2026) | Páginas de modelos do Hugging Face |
| Dados de treinamento simulados do NOTSOFAR-1 liberados aos participantes | Cerca de 1.000 horas | Abramovski et al., resumo do NOTSOFAR-1 2025 |
| Tamanho do AMI Meeting Corpus | 100 horas, cerca de dois terços de reuniões de design encenadas | Universidade de Edimburgo, AMI Meeting Corpus |
Contexto: o AMI Meeting Corpus, ainda um benchmark central de diarização, grava microfones de proximidade e de campo distante em sincronia (Universidade de Edimburgo, AMI Meeting Corpus). O benchmark da ETH não pôde medir a velocidade do pyannoteAI porque só havia acesso por API.
Resumo: Taxa de Erro de Diarização de Locutores em Números
| Métrica | Valor | Fonte |
|---|---|---|
| DER no CALLHOME, EEND-EDA, 2 vs 6 locutores (collar de 0,25 s) | 8,50% vs 40,29% | Horiguchi et al., Interspeech 2020 |
| DER no CALLHOME, EEND-EDA vs agrupamento por x-vector, todas as chamadas | 15,29% vs 19,43% | Horiguchi et al., Interspeech 2020 |
| DER mediano do DIHARD Track 1, DIHARD I vs III | Mais de 30% vs menos de 20% | Ryant et al., Terceiro Desafio DIHARD 2021 |
| Vencedor do DIHARD III, conjunto de avaliação principal, Track 1 vs Track 2 | 13,45% vs 19,37% | Resultados do desafio DIHARD III |
| Vencedor do VoxSRC vs referência, conjunto de teste de 2023 | 4,30% vs 8,54% | Huh et al., retrospectiva do VoxSRC 2024 |
| DER no AMI, mesmo sistema, sem collar vs collar de 0,25 s | 15,4% vs 9,8% | Han et al., Brno University of Technology 2024 |
| Erros a até 0,5 s de uma troca de locutor, NIST RT-09, um único microfone distante | Mais de 33% | Knox, UC Berkeley 2013 |
| DER do sistema do ICSI, NIST RT-09, um único microfone distante | 31,3% | Sinclair e King, Universidade de Edimburgo 2013 |
| Parcela sobreposta da fala em gravações de reuniões | 12% a 15% | Park et al., Computer Speech and Language 2022 |
| Parcela de sobreposição, AliMeeting vs AMI | 19% vs 15,94% | Lanzendoerfer et al., ETH Zurique 2025 |
| DER de diálogos médico-paciente vs gerais, média de 8 sistemas | 33,38% vs 15,18% | Okocha et al., 2025 |
| Gravações centradas na criança, F1 médio, melhor modelo vs segundo anotador humano | 65,1% vs 69,8% | Charlot et al., BabyHuBERT 2026 |
| DER da melhor equipe no DISPLACE, 2023 vs 2024 | 27,8% vs 21,27% | Kalluri et al., Segundo Desafio DISPLACE 2024 |
| DER de referência do CHiME-6 com jantares entre amigos, conjunto de avaliação | 62,0% | Watanabe et al., visão geral do CHiME-6 2020 |
| tcpWER do melhor sistema do NOTSOFAR-1 vs referência, multicanal | 10,8% vs 28,3% | Abramovski et al., resumo do NOTSOFAR-1 2025 |
| Faixa de WDER, quatro modelos de fala comerciais, atenção primária | 1,8% a 13,9% | Tran et al., AMIA Annual Symposium 2022 |
| Downloads mensais do pyannote 3.1 no Hugging Face | 6.886.119 | Hugging Face, página do modelo pyannote speaker-diarization-3.1 |
Metodologia e Fontes
- Ryant et al., The Third DIHARD Diarization Challenge (2021): 11 domínios, medianas ao longo das edições do DIHARD, faixas por domínio, avaliação sem collar e com sobreposição.
- Resultados do desafio DIHARD III: ranking oficial do Track 1 e do Track 2, conjuntos de avaliação principal e completo.
- Huh et al., The VoxCeleb Speaker Recognition Challenge: A Retrospective (IEEE TASLP 2024): vencedores e referências da trilha de diarização, collar de 0,25 s com sobreposição pontuada.
- Horiguchi et al., End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors (Interspeech 2020): DER no CALLHOME por número de locutores.
- Han et al., Leveraging Self-Supervised Learning for Speaker Diarization (Brno University of Technology, 2024): resultados com collar de 0 s vs 0,25 s no AMI, AISHELL-4 e AliMeeting.
- Lanzendoerfer et al., Benchmarking Diarization Models (ETH Zurique, 2025): cerca de 196,6 horas entre CALLHOME, VoxConverse, AMI e AliMeeting; parcelas de sobreposição, DER por idioma e por número de locutores, velocidade.
- Park et al., A Review of Speaker Diarization: Recent Advances with Deep Learning (Computer Speech and Language, 2022): convenções de collar e parcela de sobreposição em reuniões.
- Knox, Speaker Diarization: Current Limitations and New Directions (relatório técnico da UC Berkeley, 2013): posição dos erros em relação às trocas de locutor no NIST RT-09.
- Sinclair e King, Where are the challenges in speaker diarization? (Universidade de Edimburgo, 2013): DER em reuniões do RT-09.
- Watanabe et al., CHiME-6 Challenge overview (2020): DER de referência com jantares entre amigos e a parcela da diarização na diferença de taxa de erro de palavras.
- Abramovski et al., Summary of the NOTSOFAR-1 Challenge (Computer Speech and Language, 2025): conjunto de dados de reuniões e resultados de tcpWER.
- Kalluri et al., The Second DISPLACE Challenge (2024): resultados de diarização de conversas multilíngues.
- Okocha et al., Domain-Aware Speaker Diarization on African-Accented English (2025): DER clínico vs geral em oito sistemas.
- Charlot et al., BabyHuBERT (2026): segmentação de locutores em gravações longas centradas na criança.
- Tran et al., Automatic speech recognition performance for digital scribes (AMIA Annual Symposium Proceedings, 2022): WDER em conversas de atenção primária.
- El Shafey et al., Joint Speech Recognition and Speaker Diarization via Sequence Transduction (Interspeech 2019): WDER em conversas médico-paciente.
- pyannote, model card do speaker-diarization-3.1 e pyannote, model card do speaker-diarization-community-1: DER informado pelo projeto (sem collar, sobreposição pontuada), contagens de downloads; os valores do precision-2 são alegações do próprio fornecedor para um modelo comercial.
- Universidade de Edimburgo, AMI Meeting Corpus: tamanho do corpus e configuração das gravações.
- Nota sobre os dados: os valores de DER só são comparáveis dentro de um mesmo benchmark e de uma mesma configuração de avaliação; o VoxSRC usa collar de 0,25 s, enquanto o DIHARD, os model cards do pyannote e o estudo clínico com sotaque africano não usam nenhum, então não compare os 4,30% do VoxSRC com os 13,45% do DIHARD. O model card do pyannote 3.1 lista 21,7% no DIHARD 3 completo, enquanto o card mais novo do community-1 lista 21,4% para o mesmo pipeline anterior, uma pequena discrepância vinda de atualizações da avaliação; usamos a tabela do community-1 nas comparações entre versões. As linhas de 2021 e 2022 da retrospectiva do VoxSRC são internamente inconsistentes entre a tabela e o texto, então informamos apenas 2020 e 2023. A tabela de erro por componente do estudo clínico com sotaque africano não soma exatamente o DER médico declarado, então citamos apenas as médias principais. O resumo do NOTSOFAR-1 rotula de forma inconsistente, em uma tabela, seus melhores resultados de canal único e multicanal; seguimos o texto, cuja melhora relativa de 51% corresponde aos valores acima. As contagens de downloads do Hugging Face são um retrato mensal contínuo e mudam diariamente. Os valores de Berkeley, Edimburgo, CHiME-6, DIHARD III, EEND-EDA, Interspeech 2019 e AMIA 2022 são os dados mais recentes disponíveis para as respectivas medições.
- Última atualização: 27 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando forem publicados os artigos-resumo dos desafios do Interspeech 2026 e a próxima atualização do benchmark nos model cards do pyannote.