Três segundos de fala de um desconhecido são uma condição de teste padrão na pesquisa de clonagem de voz zero-shot, a configuração por trás tanto do VALL-E quanto do Voicebox. Nesse teste, o Voicebox elevou a similaridade de locutor para 0,681, ante 0,580 do VALL-E no LibriSpeech, e o NaturalSpeech 3 relatou depois 0,67 contra 0,68 das gravações reais em sua própria execução do mesmo conjunto de dados. Os ouvintes não são uma grande barreira: em um estudo de 2025 da Scientific Reports, as pessoas julgaram que clones de IA eram o locutor real cerca de 80% das vezes. Para o panorama comercial e de mercado, veja nossas estatísticas de clonagem de voz; este levantamento se concentra em uma única pergunta: quanto áudio de referência a clonagem exige e o que cada segundo extra traz. Reunimos dados da Microsoft Research, Meta, ByteDance, Barcelona Supercomputing Center, Comissão Federal de Comércio dos EUA, Consumer Reports, McAfee, Starling Bank, além de artigos revisados por pares e do arXiv do ICML, NeurIPS, ICLR e Scientific Reports.
TL;DR
- O Voicebox foi testado com 3,0 segundos de áudio de prompt e igualou a similaridade de locutor do VALL-E com cerca de dois terços do áudio de entrada (Meta, artigo do Voicebox, NeurIPS 2023).
- No VCTK, a similaridade do VALL-E 2 subiu de 0,447 com 3 segundos para 0,558 com 10 segundos, enquanto a taxa de erro de palavras subiu de 0,9% para 3,3% (Microsoft Research, artigo do VALL-E 2, 2024).
- Reduzir o prompt médio de 7,7 para 5,5 segundos derrubou a similaridade do F5-TTS de 0,35 para 0,24 em fala in-the-wild (Barcelona Supercomputing Center, submissão ao WildSpoof, 2026).
- O XTTS-v2 alcançou clonagem de alta fidelidade com 6 a 10 segundos de áudio de referência, com retornos decrescentes além de 20 segundos (Zhu, dissertação da Universidade de Groningen, 2025).
- Um modelo zero-shot com prompt de 300 segundos obteve similaridade de 0,932 contra 0,934 de um baseline com ajuste fino em 300 segundos (Jiang et al., Mega-TTS 2, ICLR 2024).
- O ajuste fino com 20 segundos de fala em português elevou as notas humanas de similaridade de 2,77 para 4,43 (Casanova et al., YourTTS, ICML 2022).
- Os ouvintes julgaram que vozes de IA eram a mesma pessoa que o locutor real cerca de 80% das vezes (Barrington, Cooper e Farid, Scientific Reports 2025).
- Pesquisadores da McAfee relataram uma correspondência de voz estimada em 85% a partir de três a quatro segundos de áudio, uma medição do fornecedor (McAfee, Beware the Artificial Impostor 2023).
- 28% dos adultos do Reino Unido dizem ter sido alvo de um golpe de clonagem de voz por IA no último ano (pesquisa do Starling Bank e da Mortar Research, 2024).
- Quatro de seis produtos de clonagem de voz não adotaram medidas básicas para impedir a clonagem não autorizada (Consumer Reports, avaliação de clonagem de voz 2025).
1. O Teste de 3 Segundos: Quanto Áudio os Sistemas Zero-Shot Recebem
“Zero-shot” significa que o sistema nunca foi treinado no locutor-alvo: ele ouve um trecho curto de referência, chamado de “prompt”, no momento da geração e o imita na hora. VALL-E e Voicebox foram ambos avaliados com um prompt de apenas 3 segundos, e essa escolha diz mais sobre ambição do que sobre limites. Esses artigos não perguntam se uma voz pode ser copiada a partir de poucos segundos. Eles competem em quão bem isso é feito.
Os requisitos dos produtos são maiores. A OpenAI descreveu o Voice Engine como capaz de funcionar com “uma única amostra de áudio de 15 segundos” (publicação da OpenAI sobre vozes sintéticas 2024), e a documentação da ElevenLabs recomenda de um a dois minutos. Esses são parâmetros de produto, não limiares medidos.
| Métrica | Valor | Fonte |
|---|---|---|
| Duração do prompt e dados de treinamento do VALL-E em locutores inéditos do LibriSpeech | 3 segundos; 60K horas de fala em inglês, mais de 7.000 locutores | Microsoft Research, artigo do VALL-E 2023 |
| Áudio de prompt usado nos testes zero-shot em inglês do Voicebox | 3,0 segundos | Meta, artigo do Voicebox (NeurIPS 2023) |
| Duração do trecho de referência usado para avaliar o XTTS | Um segmento entre 3 e 8 segundos | Casanova et al., artigo do XTTS (INTERSPEECH 2024) |
| Faixa de duração do enunciado de referência no conjunto de teste do Seed-TTS | 3 a 20 segundos | ByteDance, artigo do Seed-TTS 2024 |
| Amostra de áudio com a qual o OpenAI Voice Engine trabalha | Uma única amostra de 15 segundos | OpenAI, publicação sobre vozes sintéticas 2024 |
| Áudio mínimo e recomendado para a clonagem instantânea da ElevenLabs | No mínimo 10 segundos no total, 1 a 2 minutos recomendados (orientação do próprio fornecedor) | ElevenLabs, documentação do Instant Voice Cloning 2026 |
Se você está comparando software de clonagem de voz para desktop, as seções 2 e 3 mostram o que esses segundos mudam.
2. Como a Similaridade de Locutor Escala de 3 a 10 Segundos
A similaridade de locutor (SIM, ou SECS) é a similaridade de cosseno entre duas “impressões digitais” de locutor calculadas por uma rede de reconhecimento de locutor, em que valores maiores indicam maior proximidade. Duas gravações reais da mesma pessoa pontuam bem abaixo de 1,0, por isso os valores de fala real abaixo são o ponto de referência para a leitura. Passar de um prompt de 3 segundos para um de 10 segundos elevou a similaridade do VALL-E 2 no conjunto de dados VCTK de 0,447 para 0,558, um ganho de 0,111 (0,558 menos 0,447), que é a curva publicada mais clara para essa pergunta (artigo do VALL-E 2, 2024).
A curva muda de inclinação em pontos diferentes em cada sistema. A equipe do Voicebox, da Meta, relatou que a similaridade “cresce rapidamente e se estabiliza com prompts de áudio mais longos” (artigo do Voicebox), e uma dissertação de 2025 sobre o XTTS-v2 situou o patamar em torno de 10 a 20 segundos (Zhu, Universidade de Groningen). Nesses três artigos, os dez primeiros segundos fazem a maior parte do trabalho, embora o VALL-E 2 ainda estivesse melhorando aos dez.
| Métrica | Valor | Fonte |
|---|---|---|
| Similaridade do VALL-E no VCTK (108 locutores) com prompts de 3, 5 e 10 segundos | 0,382, 0,423, 0,484 (gravações reais: 0,546, 0,591, 0,620) | Microsoft Research, artigo do VALL-E 2023 |
| Similaridade do VALL-E 2 (tamanho de grupo 1) no VCTK com prompts de 3, 5 e 10 segundos | Amostra única: 0,447, 0,487, 0,558; melhor de cinco amostras: 0,508, 0,552, 0,620 (gravações reais: 0,623, 0,679, 0,709) | Microsoft Research, artigo do VALL-E 2 2024 |
| Parcela do áudio de entrada de que o Voicebox precisa para igualar a similaridade de locutor do VALL-E | Cerca de dois terços | Meta, artigo do Voicebox (NeurIPS 2023) |
| Similaridade do F5-TTS com prompts longos (média de 7,7 s) vs curtos (média de 5,5 s) em fala in-the-wild | 0,35 vs 0,24 | Barcelona Supercomputing Center, submissão ao WildSpoof TTS 2026 |
| Similaridade do StyleTTS2 com prompts longos (média de 7,7 s) vs curtos (média de 5,5 s) | 0,19 vs 0,14 | Barcelona Supercomputing Center, submissão ao WildSpoof TTS 2026 |
| Duração de referência em que o XTTS-v2 alcançou clonagem de alta fidelidade (testados 1, 3, 6, 10, 20 e 40 segundos) | 6 a 10 segundos, com retornos decrescentes além de 20 segundos | Zhu, dissertação de mestrado da Universidade de Groningen 2025 |
Nota sobre valores atípicos: a submissão do Barcelona Supercomputing Center é o único resultado de 2026 aqui e usa o conjunto de dados TTS In the Wild. Um prompt 2,2 segundos mais curto em média (7,7 menos 5,5) custou ao F5-TTS 0,11 de similaridade (0,35 menos 0,24). É o mesmo tamanho de perda que o VALL-E 2 mostrou ao longo de uma diferença de 7 segundos no VCTK, um indício de que prompts curtos podem prejudicar mais em áudio do dia a dia, embora os dois testes não sejam diretamente comparáveis.
3. A Inteligibilidade Nem Sempre Melhora com Prompts Mais Longos
A taxa de erro de palavras (WER) mede a inteligibilidade: um reconhecedor de fala transcreve o áudio clonado e conta-se a parcela de palavras erradas, de modo que menor é melhor. A WER do VALL-E 2 no VCTK subiu de 0,9% com um prompt de 3 segundos para 3,3% com um de 10 segundos, o sentido oposto ao de seu ganho de similaridade. Os avaliadores humanos concordaram: no mesmo teste, as notas de similaridade caíram conforme os prompts ficavam mais longos, enquanto as notas das gravações reais subiram.
Nada garante que mais áudio de prompt ajude. O Mega-TTS 2, projetado para prompts de várias frases, continuou melhorando até 300 segundos, enquanto a execução do VALL-E medida no mesmo artigo degradou aos 20 segundos (artigo do Mega-TTS 2). Prompts muito curtos trazem seu próprio risco de inteligibilidade: o StyleTTS2 foi o sistema que piorou quando seu prompt foi encurtado.
| Métrica | Valor | Fonte |
|---|---|---|
| VALL-E 2 (tamanho de grupo 1) no VCTK com prompts de 3, 5 e 10 segundos: taxa de erro de palavras e nota humana de similaridade (SMOS, maior é melhor) | WER 0,9%, 1,9%, 3,3%; SMOS 4,42±0,15, 4,28±0,16, 3,95±0,10 (gravações reais 4,47±0,13, 4,53±0,14, 4,74±0,17) | Microsoft Research, artigo do VALL-E 2 2024 |
| VALL-E no LibriSpeech com prompts de 3, 10 e 20 segundos, conforme medido pelos autores do Mega-TTS 2 | WER 5,83%, 5,54%, 8,77%; similaridade 0,885, 0,893, 0,805 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Taxa de erro de palavras do Mega-TTS 2 com prompts de 3, 10, 60 e 300 segundos | 2,46%, 2,28%, 2,24%, 2,23% | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Taxa de erro de palavras do StyleTTS2 com prompts longos (7,7 s) vs curtos (5,5 s) | 0,21 vs 0,49 (F5-TTS inalterado em 0,07) | Barcelona Supercomputing Center, submissão ao WildSpoof TTS 2026 |
| Tendência do Voicebox quando o idioma do prompt e o do alvo diferem, conforme os prompts ficam mais longos | A similaridade melhora; a WER sobe na maioria das direções de idioma | Meta, artigo do Voicebox (NeurIPS 2023) |
Contexto: a tendência do VALL-E 2 não é perfeitamente suave. Sua configuração com tamanho de grupo 2 registrou WER de 1,5%, 0,9% e 2,3% nas mesmas três durações. Os autores do Voicebox atribuem o aumento da WER entre idiomas ao fato de o inglês representar mais de 90% dos dados de treinamento.
4. Quão Perto os Clones de Prompt Curto Chegam do Locutor Real
Em fala de benchmark, os melhores sistemas publicados hoje ficam ao lado das gravações reais. O NaturalSpeech 3 obteve similaridade de locutor de 0,67 contra 0,68 das gravações de referência (ground truth), e sua nota humana de similaridade (4,01) foi maior que a das gravações reais, 3,85, no mesmo teste do LibriSpeech (Microsoft Research, artigo do NaturalSpeech 3 2024). Isso está bem longe dos 0,337 que o YourTTS obteve na primeira linha da tabela abaixo.
Os valores de fala real mostram que são condições de laboratório: variam de 0,68 a 0,8952 entre os artigos, então cada sistema precisa ser lido contra o seu próprio ground truth, como na tabela. O artigo do F5-TTS fica a menos de 0,03 da fala real em seu próprio teste (0,69 menos 0,66).
| Métrica | Valor | Fonte |
|---|---|---|
| LibriSpeech, prompt de 3 segundos: YourTTS vs VALL-E vs Voicebox | Similaridade 0,337 vs 0,580 vs 0,681 (fala real 0,754); WER 7,7% vs 5,9% vs 1,9% (fala real 2,2%) | Meta, artigo do Voicebox (NeurIPS 2023) |
| NaturalSpeech 3 vs gravações reais no LibriSpeech: similaridade e WER | 0,67 e 1,81% vs 0,68 e 1,94% | Microsoft Research, artigo do NaturalSpeech 3 2024 |
| Similaridade do Seed-TTS em inglês vs gravações humanas, e nota comparativa (CMOS) vs humano | 0,762 vs 0,730; CMOS -0,07 | ByteDance, artigo do Seed-TTS 2024 |
| F5-TTS vs fala real em 1.127 amostras do LibriSpeech-PC de 4 a 10 segundos: similaridade e WER | 0,66 e 2,42% vs 0,69 e 2,23% | Chen et al., artigo do F5-TTS 2024 |
| Similaridade do MiniMax-Speech em inglês: apenas speaker embedding vs prompt com texto pareado | 0,692 vs 0,738 (ground truth 0,730) | Zhang et al., artigo do MiniMax-Speech 2025 |
| Similaridade do XTTS em inglês vs fala real | 0,6423 vs 0,8952 | Casanova et al., artigo do XTTS (INTERSPEECH 2024) |
Nota sobre valores atípicos: o Seed-TTS e a configuração com texto pareado do MiniMax-Speech pontuam acima de suas gravações reais. Os autores do Seed-TTS explicam que o ground truth e os trechos de referência de um mesmo locutor ainda podem diferir em estilo de fala e ambiente de fundo, de modo que um modelo que segue a referência de perto pode superar uma segunda gravação real. Isso não é evidência de um clone melhor que o humano.
5. Clonagem Zero-Shot vs com Ajuste Fino: A Diferença Medida em Segundos e Minutos
Ajuste fino significa atualizar os pesos de um modelo com o áudio do locutor-alvo, o caminho mais antigo e lento para uma voz personalizada. Com 300 segundos da voz-alvo, um prompt zero-shot alcançou similaridade de 0,932 contra 0,934 de um baseline com ajuste fino, com menos erros de palavras (2,23% vs 3,11%) (Jiang et al., Mega-TTS 2, ICLR 2024). A ressalva importa: ambos os sistemas são dos próprios autores, e o baseline é uma versão do FastSpeech 2 com ajuste fino de 2.000 passos, não o melhor sistema com ajuste fino disponível.
O ajuste fino ainda compensa o custo quando uma voz está distante dos dados de treinamento. O YourTTS foi treinado em um único locutor de português, e o ajuste fino com 20 a 31 segundos elevou as notas de similaridade dos ouvintes para novas vozes em português, embora as notas de qualidade geral tenham caído um pouco (artigo do YourTTS). O XTTS ganhou 0,1314 de similaridade (0,7166 menos 0,5852) com cerca de 10 minutos por locutor na clonagem entre idiomas.
| Métrica | Valor | Fonte |
|---|---|---|
| Similaridade do baseline com ajuste fino com 10, 60 e 300 segundos de áudio-alvo | 0,895, 0,923, 0,934 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Similaridade do Mega-TTS 2 zero-shot com prompts de 3, 10, 60 e 300 segundos | 0,898, 0,905, 0,926, 0,932 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| YourTTS, locutora de português com 20 segundos de fala, zero-shot vs com ajuste fino | Similaridade 0,743 vs 0,930; Sim-MOS 2,77±0,15 vs 4,43±0,06; MOS 3,59±0,13 vs 3,48±0,13 | Casanova et al., YourTTS (ICML 2022) |
| YourTTS, locutor de inglês com 61 segundos de fala, zero-shot vs com ajuste fino | Similaridade 0,851 vs 0,880 (fala real 0,875) | Casanova et al., YourTTS (ICML 2022) |
| Similaridade do XTTS entre idiomas antes vs depois do ajuste fino com cerca de 10 minutos por locutor | 0,5852 vs 0,7166 | Casanova et al., artigo do XTTS (INTERSPEECH 2024) |
| Seed-TTS com prompt de 20 segundos vs com ajuste fino em 1 a 10 horas por locutor: similaridade e WER | 0,779 e 3,15 vs 0,789 e 2,83 (CMOS +0,37 para o com ajuste fino) | ByteDance, artigo do Seed-TTS 2024 |
| Áudio recomendado para o Professional Voice Cloning da ElevenLabs (sua camada com ajuste fino) | 30 a 180 minutos (orientação do próprio fornecedor) | ElevenLabs, documentação de clonagem de voz 2026 |
Dado mais recente disponível para o teste de ajuste fino do YourTTS: Casanova et al., ICML 2022. Ele cobre apenas 4 locutores, portanto deve ser tratado como ilustração do efeito do idioma, e não como estimativa populacional.
6. O Lado da Segurança: Prompts Curtos e Fraude
Os números da pesquisa têm uma tradução direta para o consumidor: vídeo público é material de prompt. Os ouvintes julgaram que uma voz de IA tinha a mesma identidade da contraparte real cerca de 80% das vezes, e identificaram vozes de IA apenas cerca de 60% das vezes, entre 604 participantes de um estudo cujos trechos reais tinham em média 5,37 segundos (Barrington, Cooper e Farid, Scientific Reports 2025). Os clones vieram de um serviço comercial de clonagem instantânea alimentado com os dois primeiros prompts gravados de cada um de 220 locutores.
A frase dos “três segundos” nos alertas de fraude se apoia em declarações de empresas. O número da McAfee é seu próprio benchmark e, para essa fonte, o dado mais recente disponível (McAfee, 2023). O Starling Bank repetiu a afirmação em 2024 junto com sua pesquisa (Starling Bank, campanha Safe Phrases 2024). Nosso texto sobre fraude familiar com clonagem de voz trata dos golpes em si.
| Métrica | Valor | Fonte |
|---|---|---|
| Parcela das vezes em que os ouvintes julgaram que uma voz de IA era a mesma pessoa que o locutor real | Cerca de 80% | Barrington, Cooper e Farid, Scientific Reports 2025 |
| Parcela das vezes em que os ouvintes identificaram corretamente uma voz como gerada por IA | Cerca de 60% | Barrington, Cooper e Farid, Scientific Reports 2025 |
| Áudio de que os pesquisadores da McAfee precisaram para uma correspondência de voz estimada em 85% com uma ferramenta gratuita | Três a quatro segundos (cerca de 95% com mais esforço; benchmark do próprio fornecedor) | McAfee, Beware the Artificial Impostor 2023 |
| Adultos que compartilham a própria voz online pelo menos uma vez por semana | 53% (7.054 adultos, 7 países) | McAfee, Beware the Artificial Impostor 2023 |
| Adultos que não têm confiança de distinguir uma voz real de uma clonada | 70% | McAfee, Beware the Artificial Impostor 2023 |
| Adultos do Reino Unido que dizem ter sido alvo de um golpe de clonagem de voz por IA no último ano | 28% (3.010 adultos) | Pesquisa do Starling Bank e da Mortar Research 2024 |
| Adultos do Reino Unido que enviariam o dinheiro solicitado mesmo que a ligação parecesse estranha | 8% | Pesquisa do Starling Bank e da Mortar Research 2024 |
| Produtos de clonagem de voz avaliados que não adotaram medidas básicas para impedir a clonagem não autorizada | 4 de 6 | Consumer Reports, avaliação de clonagem de voz 2025 |
Contexto: os 28% do Starling medem o que as pessoas dizem ter acontecido com elas, não incidentes confirmados. Os 85% e 95% da McAfee são estimativas da própria empresa, e não encontramos replicação independente. A avaliação da Consumer Reports abrangeu Descript, ElevenLabs, Lovo, PlayHT, Resemble AI e Speechify.
7. Salvaguardas, Detecção e Decisões de Lançamento
As decisões de lançamento dividem o setor. A Microsoft diz que “não tem planos de incorporar o VALL-E 2 a um produto nem de ampliar o acesso ao público” (página do projeto VALL-E 2), e a OpenAI optou por uma “prévia, mas não um lançamento amplo” do Voice Engine, ao mesmo tempo em que pedia aos bancos que abandonassem gradualmente a autenticação por voz. Já os autores do F5-TTS pedem marcas d’água e modelos de detecção para os riscos de uso indevido que citam. A FTC tratou o problema como aberto o bastante para financiar um desafio (FTC, vencedores do Voice Cloning Challenge 2024).
Os resultados de detecção dependem muito daquilo com que o falso é comparado. O classificador da Meta separou perfeitamente a saída do Voicebox do áudio original, mas obteve 0,704 contra fala real que havia passado por um vocoder (software que reconstrói o áudio a partir de seu espectro) no menor nível de mascaramento. Para um olhar mais detalhado sobre o desempenho dos detectores, veja nossas estatísticas de precisão na detecção de deepfakes de áudio.
| Métrica | Valor | Fonte |
|---|---|---|
| Prêmio em dinheiro dividido entre os três vencedores do FTC Voice Cloning Challenge | US$ 35.000 (anunciado em 8 de abril de 2024) | Comissão Federal de Comércio dos EUA, Voice Cloning Challenge 2024 |
| Tamanho do trecho de áudio verificado pelo detector de clones em tempo real da Pindrop, reconhecido pela FTC | Trechos de dois segundos | Comissão Federal de Comércio dos EUA, Voice Cloning Challenge 2024 |
| Precisão do classificador de detecção do Voicebox vs áudio original, e vs áudio real passado por vocoder com 30%, 50% e 90% de mascaramento do áudio | 1,000 vs original; 0,704, 0,809, 0,907 vs vocoder | Meta, artigo do Voicebox (NeurIPS 2023) |
| Quando a OpenAI desenvolveu o Voice Engine pela primeira vez vs quando publicou sua prévia limitada | Final de 2022 vs 29 de março de 2024 | OpenAI, publicação sobre vozes sintéticas 2024 |
| Equipes no desafio ASVspoof 5 e o ataque mais difícil na condição aberta da Track 1 | 53 equipes; YourTTS zero-shot pré-treinado (minDCF 0,33) | Wang et al., artigo de avaliação do ASVspoof 5 2026 |
Contexto: minDCF é uma pontuação de custo de detecção em que valores maiores indicam que os detectores tiveram mais dificuldade. Um modelo YourTTS pré-treinado no topo da lista de dificuldade da condição aberta do ASVspoof 5 sugere que ataques zero-shot não precisam de um sistema de ponta para causar problemas, embora o artigo não detalhe esse resultado por duração de prompt.
Resumo: Duração do Áudio de Referência na Clonagem de Voz Zero-Shot em Números
| Métrica | Valor | Fonte |
|---|---|---|
| Amostra de áudio com a qual o OpenAI Voice Engine trabalha | 15 segundos | OpenAI, publicação sobre vozes sintéticas 2024 |
| VALL-E 2 no VCTK, prompt de 3 vs 10 segundos (tamanho de grupo 1): similaridade e WER | 0,447 vs 0,558; 0,9% vs 3,3% | Microsoft Research, artigo do VALL-E 2 2024 |
| Parcela do áudio de entrada de que o Voicebox precisa para igualar a similaridade do VALL-E | Cerca de dois terços | Meta, artigo do Voicebox (NeurIPS 2023) |
| Similaridade do F5-TTS, prompts longos (7,7 s) vs curtos (5,5 s) em fala in-the-wild | 0,35 vs 0,24 | Barcelona Supercomputing Center, submissão ao WildSpoof TTS 2026 |
| Taxa de erro de palavras do StyleTTS2, prompts longos (7,7 s) vs curtos (5,5 s) | 0,21 vs 0,49 | Barcelona Supercomputing Center, submissão ao WildSpoof TTS 2026 |
| Duração de referência para clonagem de alta fidelidade do XTTS-v2 | 6 a 10 segundos | Zhu, dissertação da Universidade de Groningen 2025 |
| Similaridade do NaturalSpeech 3 vs gravações reais | 0,67 vs 0,68 | Microsoft Research, artigo do NaturalSpeech 3 2024 |
| Taxa de erro de palavras do F5-TTS vs fala real | 2,42% vs 2,23% | Chen et al., artigo do F5-TTS 2024 |
| Similaridade do Mega-TTS 2 zero-shot vs baseline com ajuste fino com 300 segundos de áudio | 0,932 vs 0,934 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Nota de similaridade dos ouvintes para o YourTTS, zero-shot vs com ajuste fino em 20 segundos | 2,77 vs 4,43 | Casanova et al., YourTTS (ICML 2022) |
| Similaridade do XTTS entre idiomas após cerca de 10 minutos de ajuste fino | 0,5852 a 0,7166 | Casanova et al., artigo do XTTS (INTERSPEECH 2024) |
| Ouvintes que julgaram um clone de IA como o locutor real | Cerca de 80% | Barrington, Cooper e Farid, Scientific Reports 2025 |
| Áudio para uma correspondência estimada em 85% (benchmark do fornecedor) | Três a quatro segundos | McAfee, Beware the Artificial Impostor 2023 |
| Adultos do Reino Unido que dizem ter sido alvo de um golpe de clonagem de voz | 28% | Pesquisa do Starling Bank e da Mortar Research 2024 |
| Produtos de clonagem de voz que não adotaram medidas básicas contra a clonagem não autorizada | 4 de 6 | Consumer Reports, avaliação de clonagem de voz 2025 |
| Prêmio em dinheiro para os vencedores do FTC Voice Cloning Challenge | US$ 35.000 | Comissão Federal de Comércio dos EUA, Voice Cloning Challenge 2024 |
Metodologia e Fontes
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E) (Microsoft Research, 2023): configuração do prompt de 3 segundos e resultados no VCTK por duração do prompt.
- VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers (Microsoft Research, 2024): similaridade, WER e SMOS no VCTK com 3, 5 e 10 segundos.
- VALL-E 2 project page (Microsoft Research): declaração sobre o lançamento.
- NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models (Microsoft Research e coautores universitários, 2024): comparação no LibriSpeech.
- Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale (Meta, NeurIPS 2023): análise da duração do prompt, benchmark em inglês, classificador de detecção.
- YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone (Casanova et al., ICML 2022): adaptação de locutor zero-shot vs com ajuste fino.
- XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model (Casanova et al., INTERSPEECH 2024): duração da referência, similaridade em inglês, ganho com ajuste fino.
- Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis (Jiang et al., ByteDance e Universidade de Zhejiang, ICLR 2024): prompts de 3 a 300 segundos vs um baseline com ajuste fino.
- Seed-TTS: A Family of High-Quality Versatile Speech Generation Models (ByteDance, 2024): zero-shot vs ajuste fino por locutor.
- F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching (Chen et al., 2024): benchmark LibriSpeech-PC.
- MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder (Zhang et al., 2025): clonagem com speaker embedding vs com texto pareado.
- Zero-Shot TTS With Enhanced Audio Prompts: BSC submission for the 2026 WildSpoof challenge TTS track (Barcelona Supercomputing Center, 5 de fevereiro de 2026): prompts longos vs curtos.
- Zero-Shot Voice Cloning with Minimal Data: Impact of Reference Duration on Long-Form Speech Synthesis (Zhu, Universidade de Groningen, 2025): teste de referência de 1 a 40 segundos.
- People are poorly equipped to detect AI-powered voice clones (Barrington, Cooper e Farid, Scientific Reports, 2025).
- ASVspoof 5: Evaluation of Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech (Wang et al., 7 de janeiro de 2026).
- FTC Announces Winners of Voice Cloning Challenge (Comissão Federal de Comércio dos EUA, 8 de abril de 2024).
- Do These 6 AI Voice Cloning Companies Do Enough to Prevent Misuse? (Consumer Reports, 10 de março de 2025).
- Beware the Artificial Impostor (McAfee, maio de 2023; pesquisa do fornecedor).
- Starling Bank Safe Phrases campaign (Starling Bank e Mortar Research, 18 de setembro de 2024).
- OpenAI post on the challenges and opportunities of synthetic voices (OpenAI, 29 de março de 2024).
- ElevenLabs Instant Voice Cloning documentation (orientação do fornecedor, consultada em outubro de 2026).
- Nota sobre os dados: as pontuações de similaridade não são comparáveis entre artigos, porque cada um usa seu próprio modelo de reconhecimento de locutor, conjunto de teste e forma de pontuação (a fala real no LibriSpeech pontua 0,754, 0,68 ou 0,69 conforme o artigo), portanto só se deve comparar dentro de uma mesma linha. O artigo do Mega-TTS 2 relata valores de similaridade muito mais altos que os demais, com o VALL-E em 0,885 ali contra 0,580 no artigo original, de modo que seus números só devem ser lidos uns contra os outros. Ambos os lados da comparação de ajuste fino do Mega-TTS 2 foram construídos por seus autores. O texto do Voicebox diz que a similaridade cresce e depois se estabiliza com prompts mais longos, enquanto a legenda de sua figura diz que ela permanece a mesma até 10 segundos. O MiniMax-Speech chama o prompt com texto pareado de ‘one-shot’ e classifica o Seed-TTS dessa forma, embora o Seed-TTS se descreva como zero-shot. Os modelos do WildSpoof passaram por ajuste fino no conjunto de dados TITW antes do teste, portanto esses resultados não são baselines zero-shot puros. As notas dos ouvintes do VALL-E 2 com 10 segundos têm intervalos amplos (até ±0,49). O artigo da Scientific Reports não informa a duração dos dois prompts por trás de cada clone, portanto seus 80% não devem ser lidos como um valor para qualquer duração de prompt. O resumo da dissertação de Zhu não traz valores de similaridade, apenas as durações e o sentido do efeito. VALL-E, Voicebox, YourTTS e McAfee têm mais de três anos e estão sinalizados como dado mais recente disponível: não encontramos nenhum artigo de 2025 ou 2026 que repita a curva completa de 3, 5 e 10 segundos em um benchmark compartilhado. As pesquisas do Starling Bank e da McAfee são autodeclaradas.
Última atualização: 31 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima atualização é esperada quando os anais do ICASSP 2027 forem publicados.