No Voice Conversion Challenge 2020, oito sistemas intralinguísticos foram estatisticamente indistinguíveis do locutor-alvo real nos testes de similaridade, com mais de 90% de suas amostras convertidas julgadas como a mesma pessoa (Zhao et al., visão geral do VCC 2020). Quatro anos antes, o melhor sistema do VCC 2016 obteve média de apenas 3,0 em uma escala de naturalidade de 5 pontos, e os melhores sistemas convenceram os ouvintes cerca de 70% das vezes. A naturalidade não fechou a lacuna de forma tão limpa: nenhum sistema do VCC 2020 atingiu naturalidade de nível humano, e no Singing Voice Conversion Challenge 2025 os melhores sistemas pontuaram cerca de 3,7 contra cerca de 3,9 das gravações reais. Este levantamento examina como a conversão de voz é medida, e não como é vendida; para dados de adoção e de mercado, veja nossas estatísticas de clonagem de voz, e para as notas de audição de síntese de fala, veja nossas estatísticas de MOS de naturalidade da fala sintética. Reunimos dados dos Voice Conversion Challenges de 2016, 2018 e 2020, dos Singing Voice Conversion Challenges de 2023 e 2025, de artigos revisados por pares do Interspeech, ICLR, AAAI e IEEE JSTSP, e de estudos recentes sobre métricas de similaridade de locutor e vieses em testes de audição.
TL;DR
- 8 sistemas intralinguísticos do VCC 2020 não foram significativamente diferentes do locutor-alvo em similaridade (Zhao et al., visão geral do VCC 2020, 2020).
- Um sistema zero-shot de 2025 obteve 3,96 de MOS de naturalidade contra 4,33 da referência real (Yao et al., StableVC, AAAI 2025).
- A similaridade de locutor de um sistema no espaço de codec, em 2026, caiu de 0,63 em inglês para 0,49 na conversão de chinês para inglês (Zheng et al., X-VC 2026).
- A similaridade de um sistema baseado em atributos autossupervisionados caiu de 59% para 28% ao passar da conversão qualquer-para-um para a qualquer-para-qualquer (Huang et al., IEEE JSTSP 2022).
- 20 de 31 sistemas do VCC 2020 enganaram um sistema de verificação de locutor em mais de 90% das vezes (Das et al., avaliação objetiva do VCC 2020, 2020).
- A similaridade por embedding de locutor teve correlação de 0,768 com as avaliações humanas em fala real, mas de apenas 0,512 em fala convertida do VCC 2018 (Ahn et al., VoxSim, Interspeech 2024).
- Cerca de metade dos enunciados do VCC 2018 tinha desvio padrão acima de 1 ponto entre suas quatro avaliações de ouvintes (Lo et al., MOSNet 2019).
- O MOS de um sistema pode cair em até cerca de um ponto inteiro quando ele é avaliado apenas ao lado de sistemas mais fortes (Cooper e Yamagishi, Interspeech 2023).
- O melhor sistema de canto do SVCC 2023 igualou a naturalidade da referência real (cerca de 3,9), mas atingiu 65% de similaridade contra 80% (Violeta et al., análise do SVCC 2025, 2025).
- O canto soproso foi o estilo mais difícil de converter no SVCC 2025, com 37,3% de precisão de estilo (Violeta et al., análise do SVCC 2025, 2025).
1. Uma Década de Resultados dos Desafios: De 70% à Similaridade em Nível do Locutor-Alvo
A conversão de voz (VC) muda de quem a gravação parece ser a voz, mantendo o que é dito. A régua comum do campo é o Voice Conversion Challenge (VCC), em que todas as equipes convertem as mesmas frases entre os mesmos locutores e um grande teste de audição pontua todas elas. A naturalidade é avaliada em uma escala de nota média de opinião (MOS) de 5 pontos; a similaridade é julgada perguntando aos ouvintes se um trecho convertido e um trecho real vêm do mesmo locutor.
A trajetória é íngreme. O melhor sistema do VCC 2016 obteve média de 3,0 em naturalidade, enquanto no VCC 2020 oito sistemas empataram estatisticamente com o locutor-alvo real em similaridade (Zhao et al., visão geral do VCC 2020). A ordem do progresso é a parte interessante: os ouvintes deixaram de separar os trechos convertidos do alvo, em inglês limpo e no mesmo idioma, antes que qualquer sistema atingisse naturalidade de nível humano.
| Métrica | Valor | Fonte |
|---|---|---|
| Grupos de pesquisa que submeteram sistemas ao VCC 2016 | 17 | Toda et al., The Voice Conversion Challenge 2016, Interspeech 2016 |
| Ouvintes no teste do VCC 2016, realizado em ambiente controlado | 200 | Toda et al., The Voice Conversion Challenge 2016, Interspeech 2016 |
| Melhores sistemas do VCC 2016, parcela de amostras julgadas como o mesmo locutor do alvo | cerca de 70% | Wester et al., Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| Melhor sistema do VCC 2016, naturalidade média na escala de 5 pontos | 3,0 | Zhao et al., visão geral do VCC 2020, 2020 |
| Melhor sistema do VCC 2018 (N10): naturalidade / parcela julgada igual ao alvo | cerca de 4,1 / cerca de 80% | Lorenzo-Trueba et al., artigo do VCC 2018 |
| Sistemas do VCC 2020 no mesmo idioma sem diferença significativa em relação ao locutor-alvo em similaridade | 8 | Zhao et al., visão geral do VCC 2020, 2020 |
Nota de contexto: o vencedor do VCC 2018 dependia de um extrator de conteúdo treinado com centenas de horas de fala externa e de um vocoder WaveNet dependente do locutor (Lorenzo-Trueba et al., VCC 2018). Apenas 3 equipes do VCC 2018 usaram a opção de dados externos. Dados mais recentes disponíveis para os desafios de fala: VCC 2020, pois a quarta edição, em 2023, mudou para o canto e foi renomeada (veja a seção 6).
2. A Lacuna de Naturalidade: A Que Distância os Melhores Sistemas Estão da Fala Real
Um veredito de “mesmo locutor” não significa que o trecho soe humano. Todos os desafios mantiveram gravações naturais dentro do teste como âncoras, e essas âncoras mostram uma lacuna persistente. Uma comparação de 2022 lista o USTC-2020, o melhor sistema da tarefa intralinguística do VCC 2020, com 4,41 de MOS de naturalidade contra 4,57 das gravações-alvo reais, uma diferença de 0,16 ponto (4,57 menos 4,41) (Huang et al., IEEE JSTSP 2022). Esse sistema também atingiu 82% no teste de similaridade.
A lacuna é maior nos sistemas zero-shot, que convertem para uma voz nunca vista no treinamento a partir de um trecho de referência curto. Um artigo da AAAI de 2025 mediu 3,96 de MOS para o seu sistema contra 4,33 da referência real em locutores do VCTK, uma diferença de 0,37 ponto, embora um preditor automático de MOS tenha colocado os dois a apenas 0,12 de distância (Yao et al., StableVC, AAAI 2025). Nesse teste, o preditor automático foi o juiz mais condescendente, um motivo para ler esses números ao lado de um teste de audição.
| Métrica | Valor | Fonte |
|---|---|---|
| Gravações naturais no VCC 2016: naturalidade / parcela julgada como o mesmo locutor | 4,5 / 90% | Violeta et al., análise do SVCC 2025, 2025 |
| Sistemas do VCC 2016 avaliados como significativamente menos naturais que os locutores reais de origem e alvo | todos os sistemas | Wester et al., Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| Melhor sistema do VCC 2018 vs fala-alvo real (postos sinalizados de Wilcoxon, Bonferroni, α = 0,01) | significativamente diferente tanto em naturalidade quanto em similaridade | Lorenzo-Trueba et al., artigo do VCC 2018 |
| Melhor sistema do VCC 2020 (USTC-2020) vs gravações-alvo, MOS de naturalidade no mesmo idioma | 4,41 vs 4,57 | Huang et al., IEEE JSTSP 2022 |
| Melhor sistema de atributos autossupervisionados vs linha de base de espectrograma mel simples, MOS de naturalidade | 3,59 vs 2,61 | Huang et al., IEEE JSTSP 2022 |
| Sistema zero-shot vs referência real, MOS de naturalidade dos ouvintes (locutores do VCTK) | 3,96 ±0,04 vs 4,33 ±0,04 | Yao et al., StableVC, AAAI 2025 |
| Mesma comparação com o UTMOS, um preditor automático de naturalidade | 4,12 vs 4,24 | Yao et al., StableVC, AAAI 2025 |
| Melhor de seis linhas de base zero-shot publicadas, MOS de naturalidade dos ouvintes | 3,67 ±0,07 | Yao et al., StableVC, AAAI 2025 |
Nota sobre o valor atípico: no VCC 2020, os ouvintes japoneses avaliaram a naturalidade no mesmo idioma do sistema líder T10 como comparável à do locutor-alvo, enquanto os ouvintes ingleses não (Zhao et al., visão geral do VCC 2020). Um veredito de paridade pode, portanto, depender de quem está ouvindo, de modo que o grupo de ouvintes deve constar em qualquer resultado divulgado.
3. Inteligibilidade e Métricas Espectrais: O Que WER e MCD Podem e Não Podem Revelar
As métricas objetivas são baratas e repetíveis, por isso os artigos se apoiam nelas. Duas famílias se repetem: a inteligibilidade, medida pela taxa de erro de palavras (WER) ou de caracteres (CER) de um reconhecedor automático de fala que transcreve o áudio convertido, e a distância espectral, geralmente a distorção mel-cepstral (MCD), que mede o quanto o espectro convertido está distante do espectro do alvo. Quanto menor, melhor, nos dois casos.
Os dados do VCC mostram que o WER acompanha razoavelmente bem a naturalidade e mal a similaridade. No VCC 2018, o WER teve correlação de -0,7127 com a naturalidade na tarefa não paralela, mas de apenas -0,2272 com a similaridade de locutor (Lorenzo-Trueba et al., VCC 2018). A MCD parece ainda mais fraca como indicador de naturalidade: no Singing Voice Conversion Challenge 2023, ela não teve correlação significativa com as avaliações de naturalidade no domínio de nenhum dos dois grupos de ouvintes (Huang et al., SVCC 2023). Os reconhecedores também têm seus próprios modos de falha, tratados em nossas estatísticas de alucinação em reconhecimento de fala, de modo que um WER baixo indica que as palavras sobreviveram, não que a voz soa certa.
| Métrica | Valor | Fonte |
|---|---|---|
| Taxa de erro de palavras do ASR em fala de origem natural, VCC 2018 | 6,40% | Lorenzo-Trueba et al., artigo do VCC 2018 |
| Menor / maior WER entre os sistemas Hub convertidos do VCC 2018 | 8,60% / 35,60% | Lorenzo-Trueba et al., artigo do VCC 2018 |
| Correlação do WER com o MOS de naturalidade / com a similaridade, tarefa Hub com dados paralelos e tarefa Spoke não paralela do VCC 2018 | Hub -0,6587 / -0,3218; Spoke -0,7127 / -0,2272 | Lorenzo-Trueba et al., artigo do VCC 2018 |
| Equipes do VCC 2020 no mesmo idioma com WER abaixo de 5% / acima de 50% | 7 / 7 | Das et al., avaliação objetiva do VCC 2020, 2020 |
| MCD, linha de base de espectrograma mel simples vs melhor sistema do VCC 2020 (dados do VCC 2020) | 8,47 vs 6,98 | Huang et al., IEEE JSTSP 2022 |
| Correlação de Spearman da MCD com o MOS de naturalidade no domínio, SVCC 2023 (ouvintes japoneses / ingleses) | -0,28 / -0,24 (não significativa) | Huang et al., artigo do SVCC 2023 |
| Correlação de Spearman do CER baseado no Whisper com o MOS de naturalidade no domínio, SVCC 2023 (ouvintes japoneses) | -0,80 (p < 0,01) | Huang et al., artigo do SVCC 2023 |
Nota de contexto: a dispersão no VCC 2020 é grande. A pior inscrição no mesmo idioma registrou 96,17% de WER, ou seja, quase nada sobreviveu à conversão para o reconhecedor, enquanto sete equipes ficaram abaixo de 5% (Das et al., avaliação objetiva do VCC 2020).
4. Similaridade por Embedding de Locutor: Útil, Popular e Frágil
Uma pontuação automática de similaridade padrão é a similaridade de cosseno entre embeddings de locutor (frequentemente chamada de SECS ou SIM): os dois trechos passam por uma rede de verificação de locutor e o ângulo entre os vetores resultantes é comparado. Nos dados dos desafios, ela concorda bem com os ouvintes no nível do sistema. No VCC 2020, a taxa de erro da verificação de locutor teve correlação de 0,89 e 0,90 com a similaridade dos ouvintes nas duas tarefas (Das et al., avaliação objetiva do VCC 2020), e 20 de 31 sistemas no mesmo idioma foram aceitos como o alvo pelo verificador em mais de 90% das vezes. A taxa de “falsa aceitação” aqui é a parcela de trechos convertidos que o verificador aceita, erroneamente, como o locutor-alvo real, portanto quanto maior, mais convincente é a conversão.
A concordância por enunciado é outra história. Um embedding ECAPA-TDNN pré-treinado atingiu correlação linear de 0,768 com as avaliações humanas em pares de vozes reais, mas caiu para 0,512 em fala convertida do VCC 2018 (Ahn et al., VoxSim, Interspeech 2024). Um estudo de 2025 da Ubisoft La Forge e da Stellenbosch University constatou que os modelos de verificação separam trechos curtos e longos do mesmo locutor muito acima do acaso, e que ruído e equalização deslocam as pontuações, de modo que um número de SIM mede em parte as condições de gravação (Carbonneau et al. 2025). Quem compara software de clonagem de voz a partir de valores de SIM publicados deve verificar se foram usados o mesmo modelo de embedding, o mesmo conjunto de teste e as mesmas durações de trecho.
| Métrica | Valor | Fonte |
|---|---|---|
| Sistemas do VCC 2020 no mesmo idioma aceitos como o alvo por um verificador de locutor em mais de 90% das vezes | 20 de 31 | Das et al., avaliação objetiva do VCC 2020, 2020 |
| Sistemas do VCC 2020 entre idiomas acima do mesmo nível de 90% de falsa aceitação | 10 | Das et al., avaliação objetiva do VCC 2020, 2020 |
| Correlação de Pearson da taxa de erro do verificador com a similaridade dos ouvintes, VCC 2020 Tarefa 1 / Tarefa 2 | 0,89 / 0,90 | Das et al., avaliação objetiva do VCC 2020, 2020 |
| Correlação de Pearson da distância de cosseno entre embeddings com a similaridade dos ouvintes, VCC 2020 Tarefa 1 / Tarefa 2 | 0,85 / 0,82 | Das et al., avaliação objetiva do VCC 2020, 2020 |
| Reconhecedor de locutor ECAPA-TDNN pré-treinado vs similaridade humana, pares de fala real (correlação linear) | 0,768 | Ahn et al., VoxSim, Interspeech 2024 |
| Mesmo modelo pré-treinado em fala convertida do VCC 2018 (correlação linear) | 0,512 | Ahn et al., VoxSim, Interspeech 2024 |
| Similaridade por embedding vs avaliações humanas de similaridade de voz em um estudo de síntese zero-shot (nível do enunciado) | 0,55 | Li et al., DMOSpeech 2025 |
| Taxa de erro igual do verificador ao comparar trechos curtos de um locutor com seus próprios trechos longos (ECAPA-TDNN; 0,50 significa indistinguível) | 0,34 ±0,04 | Carbonneau et al. 2025 |
Nota sobre o valor atípico: adicionar ruído com relação sinal-ruído de 20 dB elevou para 0,34 a taxa de erro igual do mesmo ECAPA-TDNN entre os trechos limpos e ruidosos de um locutor, e a 0 dB para 0,05 (Carbonneau et al. 2025). Em palavras simples, o verificador passa a tratar uma cópia ruidosa de uma voz como outra pessoa.
5. Dentro do Domínio vs Entre Idiomas e Qualquer-para-Qualquer: Onde as Pontuações Desmoronam
Os números de benchmark costumam ser divulgados para o cenário mais favorável: mesmo idioma, áudio de estúdio e um locutor-alvo com o qual o modelo foi treinado (conversão qualquer-para-um). Mude qualquer um desses fatores e as pontuações caem. O sistema líder do VCC 2020, T10, perdeu 0,75 ponto de MOS em naturalidade ao passar da conversão no mesmo idioma para a conversão entre idiomas, e nessa tarefa menos de 80% das amostras foram julgadas como o locutor-alvo (Zhao et al., visão geral do VCC 2020). Os ouvintes também deram notas de similaridade menores quando o trecho de referência estava no segundo idioma do locutor, e não em inglês.
A queda mais acentuada vem de locutores-alvo não vistos no treinamento (conversão qualquer-para-qualquer). Na comparação do IEEE JSTSP, um sistema de atributos autossupervisionados manteve a naturalidade quase inalterada, mas a similaridade caiu pela metade (Huang et al., IEEE JSTSP 2022). Sistemas zero-shot recentes ainda mostram a lacuna: em fala com sotaque e emocional, os autores do ICLR 2025 mediram 0,762 de similaridade de locutor para as gravações de referência real contra 0,517 para a melhor saída convertida (Zhang et al., Vevo, ICLR 2025).
| Métrica | Valor | Fonte |
|---|---|---|
| USTC-2020, parcela julgada igual ao alvo, mesmo idioma vs entre idiomas | 82% vs 43% | Huang et al., IEEE JSTSP 2022 |
| Sistema de atributos autossupervisionados, locutor-alvo conhecido (qualquer-para-um) vs locutor-alvo não visto (qualquer-para-qualquer): similaridade / MOS de naturalidade | 59% vs 28% / 3,59 vs 3,58 | Huang et al., IEEE JSTSP 2022 |
| Sistemas Hub do VCC 2018 além do vencedor, MOS de naturalidade para pares do mesmo gênero vs de gêneros diferentes | 3,08 vs 2,78 | Lorenzo-Trueba et al., artigo do VCC 2018 |
| Similaridade de locutor de um sistema zero-shot no espaço de codec, mesmo idioma (inglês / chinês) vs entre idiomas (inglês para chinês / chinês para inglês) | 0,63 / 0,73 vs 0,52 / 0,49 | Zheng et al., X-VC 2026 |
| Similaridade de locutor em fala com sotaque e emocional, gravações reais vs melhor saída convertida | 0,762 vs 0,517 | Zhang et al., Vevo, ICLR 2025 |
Nota de contexto: o artigo de 2026 sobre o sistema no espaço de codec avaliou os pares entre idiomas em um subconjunto diferente (os primeiros 1.000 enunciados por idioma), de modo que seus números no mesmo idioma e entre idiomas são indicativos, e não uma comparação controlada (Zheng et al., X-VC 2026). Sua versão em streaming operou com 240 ms de latência do modelo.
6. Conversão de Voz Cantada: Paridade de Naturalidade, Lacuna de Identidade
O canto exige da conversão de voz mais do que a fala: tessitura mais ampla, notas sustentadas e técnicas como o vibrato. O Singing Voice Conversion Challenge (SVCC) assumiu o formato do desafio em 2023. O melhor sistema do SVCC 2023 igualou a naturalidade da referência real, em cerca de 3,9, mas atingiu apenas 65% de similaridade contra 80% do cantor real (Violeta et al., análise do SVCC 2025). É o inverso da história da fala, em que a identidade foi igualada primeiro.
O SVCC 2025 acrescentou a conversão de estilo de canto, e nenhum sistema atingiu naturalidade de nível humano. O estilo foi a parte difícil: o canto soproso, o glissando (deslizar entre notas) e o vibrato foram as técnicas reproduzidas com menos precisão. Os autores também questionaram se o teste de similaridade padrão é adequado para julgar o estilo. A identidade do cantor também é difícil de pontuar: até as amostras de referência real atingiram apenas cerca de 70% nesse teste.
| Métrica | Valor | Fonte |
|---|---|---|
| Submissões ao SVCC 2023 mais linhas de base | 24 + 2 | Huang et al., artigo do SVCC 2023 |
| Ouvintes do SVCC 2023, inglês / japonês | 40 / 319 | Huang et al., artigo do SVCC 2023 |
| Equipes do SVCC 2023 com naturalidade acima de 3,0, tarefa no domínio vs entre domínios | 14 vs 8 | Huang et al., artigo do SVCC 2023 |
| Melhor sistema do SVCC 2023 vs referência real: naturalidade / similaridade | cerca de 3,9 / 65% vs cerca de 3,9 / 80% | Violeta et al., análise do SVCC 2025, 2025 |
| Melhores sistemas do SVCC 2025 vs referência real: naturalidade / similaridade de estilo | cerca de 3,7 / 70% vs cerca de 3,9 / 90% | Violeta et al., análise do SVCC 2025, 2025 |
| Precisão de estilo no SVCC 2025 para canto soproso / glissando / vibrato | 37,3% / 42,6% / 43,9% | Violeta et al., análise do SVCC 2025, 2025 |
| Correlação de Spearman máxima entre qualquer métrica objetiva e as pontuações subjetivas, SVCC 2025 | cerca de 0,8 | Violeta et al., análise do SVCC 2025, 2025 |
Nota de contexto: no SVCC 2023, a diferença de similaridade entre o alvo e o melhor sistema foi de cerca de 0,4 ponto na escala de 4 pontos nas duas tarefas (Huang et al., SVCC 2023), e a distância entre embeddings de locutor foi a métrica objetiva mais correlacionada com a similaridade (-0,83 de Spearman para ouvintes japoneses, tarefa no domínio).
7. Confiabilidade da Avaliação: Número de Ouvintes, Variância e Viés
Todos os números acima se apoiam em avaliações humanas, e essas avaliações são ruidosas. Em cerca de metade dos enunciados do VCC 2018, o desvio padrão entre suas quatro avaliações de ouvintes foi maior que 1 ponto na escala de 5 pontos (Lo et al., MOSNet). A média corrige boa parte disso no nível do sistema, e é por isso que os preditores automáticos parecem fortes ali (correlação de 0,957) e fracos por enunciado (0,642).
O desenho do teste também desloca as pontuações. Cooper e Yamagishi mostraram que avaliar apenas os sistemas mais fortes em conjunto pode reduzir o MOS de um sistema em até cerca de um ponto inteiro, porque os ouvintes distribuem suas notas por toda a escala, qualquer que seja a faixa de qualidade (Cooper e Yamagishi, Interspeech 2023). Um levantamento de 80 artigos de síntese de fala do Interspeech 2022 constatou que 51 não davam instruções aos ouvintes (Chiang et al. 2023), e no mesmo estudo participantes de crowdsourcing do Reino Unido avaliaram um sistema com 2,64, enquanto os dos EUA o avaliaram com 3,73.
| Métrica | Valor | Fonte |
|---|---|---|
| Ouvintes únicos / enunciados avaliados no VCC 2018 | 267 / 113.168 | Lorenzo-Trueba et al., artigo do VCC 2018 |
| Enunciados do VCC 2018 cujas quatro avaliações tinham desvio padrão acima de 1 | cerca de metade | Lo et al., MOSNet 2019 |
| Preditor automático de MOS vs MOS humano no VCC 2018, nível do enunciado vs nível do sistema (correlação linear) | 0,642 vs 0,957 | Lo et al., MOSNet 2019 |
| Custo dos dois testes de audição do VCC 2020 (ouvintes de inglês e de japonês) | 738.128 ienes (aprox. 6.900 USD) | Zhao et al., visão geral do VCC 2020, 2020 |
| Concordância entre as pontuações dos ouvintes japoneses e ingleses, VCC 2020 | correlações de 0,965 a 0,984 | Zhao et al., visão geral do VCC 2020, 2020 |
| Maior queda de MOS de um sistema quando avaliado apenas ao lado dos 6% melhores sistemas | 1,28 ponto | Cooper e Yamagishi, Interspeech 2023 |
| Artigos de síntese de fala do Interspeech 2022 (de 80) sem instruções aos ouvintes | 51 | Chiang et al., Interspeech 2023 |
| Respostas de crowdsourcing invalidadas em um teste de audição com 501 participantes | cerca de 30% | Li et al., DMOSpeech 2025 |
Nota de contexto: os artigos individuais realizam testes muito menores que os dos desafios. Um artigo do Interspeech de 2023 sobre conversão por vizinhos mais próximos coletou 2.144 avaliações de naturalidade de 61 ouvintes e 1.636 avaliações de similaridade de 208 ouvintes (Baas et al., Interspeech 2023). Seus intervalos informados ficaram em torno de ±0,1 ponto, de modo que uma diferença menor que essa entre dois sistemas próximos diz pouco.
Resumo: Benchmark de Similaridade de Locutor e Naturalidade em Conversão de Voz em Números
| Métrica | Valor | Fonte |
|---|---|---|
| Melhor sistema do VCC 2016, naturalidade / maior similaridade | 3,0 / cerca de 70% | Zhao et al., visão geral do VCC 2020, 2020; Wester et al., Interspeech 2016 |
| Melhor sistema do VCC 2018, naturalidade / similaridade | cerca de 4,1 / cerca de 80% | Lorenzo-Trueba et al., artigo do VCC 2018 |
| Gravações naturais no VCC 2016: naturalidade / similaridade | 4,5 / 90% | Violeta et al., análise do SVCC 2025, 2025 |
| USTC-2020 vs gravações-alvo, MOS de naturalidade | 4,41 vs 4,57 | Huang et al., IEEE JSTSP 2022 |
| Sistema zero-shot vs referência real, MOS de naturalidade dos ouvintes | 3,96 vs 4,33 | Yao et al., StableVC, AAAI 2025 |
| Correlação da MCD com a naturalidade no domínio, SVCC 2023 | -0,28 / -0,24 (não significativa) | Huang et al., artigo do SVCC 2023 |
| Sistemas do VCC 2020 no mesmo idioma que enganam um verificador de locutor em mais de 90% das vezes | 20 de 31 | Das et al., avaliação objetiva do VCC 2020, 2020 |
| Similaridade por embedding vs avaliações humanas, fala real vs fala convertida | 0,768 vs 0,512 | Ahn et al., VoxSim, Interspeech 2024 |
| Taxa de erro do verificador, trechos curtos vs longos do mesmo locutor (0,50 = indistinguível) | 0,34 | Carbonneau et al. 2025 |
| Similaridade, conversão qualquer-para-um vs qualquer-para-qualquer | 59% vs 28% | Huang et al., IEEE JSTSP 2022 |
| Similaridade, mesmo idioma vs conversão de chinês para inglês (sistema de 2026) | 0,63 vs 0,49 | Zheng et al., X-VC 2026 |
| Similaridade de locutor, gravações reais vs melhor saída convertida em fala com sotaque e emocional | 0,762 vs 0,517 | Zhang et al., Vevo, ICLR 2025 |
| Similaridade do melhor sistema do SVCC 2023 vs referência real | 65% vs 80% | Violeta et al., análise do SVCC 2025, 2025 |
| Enunciados do VCC 2018 com desvio padrão das avaliações acima de 1 | cerca de metade | Lo et al., MOSNet 2019 |
| Maior queda de MOS causada pelo viés de equalização de faixa | 1,28 ponto | Cooper e Yamagishi, Interspeech 2023 |
Metodologia e Fontes
- Toda et al.: The Voice Conversion Challenge 2016, Interspeech 2016 (ISCA Archive)
- Wester, Wu e Yamagishi: Analysis of the Voice Conversion Challenge 2016 Evaluation Results, Interspeech 2016
- Lorenzo-Trueba et al.: The Voice Conversion Challenge 2018: Promoting Development of Parallel and Nonparallel Methods (2018)
- Zhao et al.: Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion (2020)
- Das et al.: Predictions of Subjective Ratings and Spoofing Assessments of Voice Conversion Challenge 2020 Submissions (2020)
- Huang, Yang, Hayashi e Toda: A Comparative Study of Self-supervised Speech Representation Based Voice Conversion, IEEE JSTSP 2022
- Huang et al.: The Singing Voice Conversion Challenge 2023
- Violeta et al.: An Extensive Analysis of the Singing Voice Conversion Challenge 2025 Evaluation Results (2025, revisado em 2026)
- Lo et al.: MOSNet: Deep Learning-based Objective Assessment for Voice Conversion (2019)
- Ahn et al. (KAIST e Samsung Research): VoxSim: A perceptual voice similarity dataset, Interspeech 2024
- Carbonneau et al. (Ubisoft La Forge e Stellenbosch University): Analyzing and Improving Speaker Similarity Assessment for Speech Synthesis (2025)
- Li, Kumar e Jin (Columbia University e Adobe Research): DMOSpeech (2025)
- Cooper e Yamagishi (NII): Investigating Range-Equalizing Bias in Mean Opinion Score Ratings of Synthesized Speech, Interspeech 2023
- Chiang, Huang e Lee (National Taiwan University): Why We Should Report the Details in Subjective Evaluation of TTS More Rigorously (2023)
- Yao et al. (Northwestern Polytechnical University e Ximalaya): StableVC, AAAI 2025
- Zhang et al. (CUHK-Shenzhen e Meta AI): Vevo: Controllable Zero-Shot Voice Imitation, ICLR 2025
- Zheng et al.: X-VC: Zero-shot Streaming Voice Conversion in Codec Space (abril de 2026)
- Baas, van Niekerk e Kamper (Stellenbosch University): Voice Conversion With Just Nearest Neighbors, Interspeech 2023
- Nota sobre os dados: a análise do SVCC 2025 relata os resultados entre idiomas do VCC 2020 como cerca de 4,0 de naturalidade e cerca de 90% de similaridade, enquanto o próprio artigo dos organizadores do VCC 2020 diz que menos de 80% das amostras entre idiomas foram julgadas iguais ao alvo; usamos o número dos organizadores. Vários artigos divergem internamente por pequenas margens (texto do MOSNet com 0,624 contra 0,642 na tabela para a correlação por enunciado, caso em que usamos a tabela; texto do VoxSim com 0,733 contra 0,752 na tabela para um modelo pré-treinado; DMOSpeech com -0,15 contra -0,16 para a correlação do WER), e o número de sistemas do artigo do SVCC 2025 difere entre versões (26 na versão anterior, 33 na atual). O artigo do JSTSP lista o USTC-2020 na mesma tabela de seus próprios sistemas sem dizer se essas pontuações vieram de seu próprio teste de audição. O artigo do SVCC 2025 não define suas pontuações de precisão de estilo por estilo nem diz de quais sistemas elas são médias, então leia-as como um ranking de dificuldade, e não como valores absolutos. As pontuações de similaridade de locutor de artigos diferentes usam modelos de embedding, conjuntos de teste e grupos de ouvintes diferentes, portanto não são comparáveis entre linhas, e os números entre idiomas de 2026 usam um subconjunto de teste diferente do dos números no mesmo idioma. Os dados mais recentes disponíveis para os desafios apenas de fala são do VCC 2020; as evidências mais novas de VC para fala vêm de artigos individuais, não de um teste de audição comum.
Última atualização: 31 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando forem publicados os resultados dos testes de audição do próximo Voice Conversion Challenge ou Singing Voice Conversion Challenge.