Tres segundos de habla de un desconocido son una condición de prueba estándar en la investigación de clonación de voz zero-shot, la configuración que hay detrás tanto de VALL-E como de Voicebox. En esa prueba, Voicebox elevó la similitud de hablante a 0,681 desde los 0,580 de VALL-E en LibriSpeech, y NaturalSpeech 3 informó después 0,67 frente a 0,68 de las grabaciones reales en su propia ejecución del mismo conjunto de datos. Los oyentes no son una gran barrera: en un estudio de 2025 de Scientific Reports, las personas juzgaron que los clones de IA eran el hablante real cerca del 80% de las veces. Para el panorama comercial y de mercado, consulta nuestras estadísticas de clonación de voz; este informe se centra en una sola pregunta: cuánto audio de referencia necesita la clonación y qué aporta cada segundo adicional. Reunimos datos de Microsoft Research, Meta, ByteDance, el Barcelona Supercomputing Center, la Comisión Federal de Comercio de EE. UU., Consumer Reports, McAfee, Starling Bank, además de artículos revisados por pares y de arXiv de ICML, NeurIPS, ICLR y Scientific Reports.
TL;DR
- Voicebox se probó con 3,0 segundos de audio de prompt e igualó la similitud de hablante de VALL-E con aproximadamente dos tercios del audio de entrada (Meta, artículo de Voicebox, NeurIPS 2023).
- En VCTK, la similitud de VALL-E 2 subió de 0,447 con 3 segundos a 0,558 con 10 segundos, mientras que la tasa de error de palabras subió de 0,9% a 3,3% (Microsoft Research, artículo de VALL-E 2, 2024).
- Reducir el prompt medio de 7,7 a 5,5 segundos hizo caer la similitud de F5-TTS de 0,35 a 0,24 en habla in-the-wild (Barcelona Supercomputing Center, envío a WildSpoof, 2026).
- XTTS-v2 logró una clonación de alta fidelidad con 6 a 10 segundos de audio de referencia, con rendimientos decrecientes más allá de 20 segundos (Zhu, tesis de la Universidad de Groninga, 2025).
- Un modelo zero-shot con un prompt de 300 segundos obtuvo una similitud de 0,932 frente a 0,934 de una línea base con ajuste fino en 300 segundos (Jiang et al., Mega-TTS 2, ICLR 2024).
- El ajuste fino con 20 segundos de habla en portugués elevó las valoraciones humanas de similitud de 2,77 a 4,43 (Casanova et al., YourTTS, ICML 2022).
- Los oyentes juzgaron que las voces de IA eran la misma persona que el hablante real cerca del 80% de las veces (Barrington, Cooper y Farid, Scientific Reports 2025).
- Investigadores de McAfee informaron de una coincidencia de voz estimada del 85% a partir de tres a cuatro segundos de audio, una medición del proveedor (McAfee, Beware the Artificial Impostor 2023).
- El 28% de los adultos del Reino Unido dice haber sido objetivo de una estafa de clonación de voz con IA en el último año (encuesta de Starling Bank y Mortar Research, 2024).
- Cuatro de seis productos de clonación de voz no tomaron medidas básicas para impedir la clonación no autorizada (Consumer Reports, evaluación de clonación de voz 2025).
1. La Prueba de los 3 Segundos: Cuánto Audio Reciben los Sistemas Zero-Shot
“Zero-shot” significa que el sistema nunca fue entrenado con el hablante objetivo: escucha un fragmento corto de referencia, llamado “prompt”, en el momento de la generación y lo imita al instante. VALL-E y Voicebox se evaluaron ambos con un prompt de apenas 3 segundos, y esa elección dice más sobre ambición que sobre límites. Estos artículos no preguntan si una voz puede copiarse a partir de unos pocos segundos. Compiten en lo bien que lo logran.
Los requisitos de los productos son mayores. OpenAI describió Voice Engine como capaz de funcionar con “una sola muestra de audio de 15 segundos” (publicación de OpenAI sobre voces sintéticas 2024), y la documentación de ElevenLabs recomienda de uno a dos minutos. Son ajustes de producto, no umbrales medidos.
| Métrica | Valor | Fuente |
|---|---|---|
| Duración del prompt y datos de entrenamiento de VALL-E con hablantes inéditos de LibriSpeech | 3 segundos; 60K horas de habla en inglés, más de 7.000 hablantes | Microsoft Research, artículo de VALL-E 2023 |
| Audio de prompt usado en las pruebas zero-shot en inglés de Voicebox | 3,0 segundos | Meta, artículo de Voicebox (NeurIPS 2023) |
| Duración del fragmento de referencia usado para evaluar XTTS | Un segmento de entre 3 y 8 segundos | Casanova et al., artículo de XTTS (INTERSPEECH 2024) |
| Rango de duración de la locución de referencia en el conjunto de prueba de Seed-TTS | 3 a 20 segundos | ByteDance, artículo de Seed-TTS 2024 |
| Muestra de audio con la que trabaja OpenAI Voice Engine | Una sola muestra de 15 segundos | OpenAI, publicación sobre voces sintéticas 2024 |
| Audio mínimo y recomendado para la clonación instantánea de ElevenLabs | Al menos 10 segundos en total, se recomiendan 1 a 2 minutos (orientación del propio proveedor) | ElevenLabs, documentación de Instant Voice Cloning 2026 |
Si estás comparando software de clonación de voz de escritorio, las secciones 2 y 3 muestran qué cambian esos segundos.
2. Cómo Escala la Similitud de Hablante de 3 a 10 Segundos
La similitud de hablante (SIM, o SECS) es la similitud de coseno entre dos “huellas” de hablante calculadas por una red de reconocimiento de hablante, donde un valor mayor significa mayor cercanía. Dos grabaciones reales de la misma persona puntúan bastante por debajo de 1,0, por lo que las cifras de habla real que siguen son el punto de referencia para leer los resultados. Pasar de un prompt de 3 segundos a uno de 10 segundos elevó la similitud de VALL-E 2 en el conjunto de datos VCTK de 0,447 a 0,558, una mejora de 0,111 (0,558 menos 0,447), que es la curva publicada más clara para esta pregunta (artículo de VALL-E 2, 2024).
La curva se inclina en puntos distintos según el sistema. El equipo de Voicebox, de Meta, informó de que la similitud “crece rápidamente y se estabiliza con prompts de audio más largos” (artículo de Voicebox), y una tesis de 2025 sobre XTTS-v2 situó la meseta en torno a los 10 a 20 segundos (Zhu, Universidad de Groninga). En estos tres artículos, los primeros diez segundos hacen la mayor parte del trabajo, aunque VALL-E 2 seguía mejorando a los diez.
| Métrica | Valor | Fuente |
|---|---|---|
| Similitud de VALL-E en VCTK (108 hablantes) con prompts de 3, 5 y 10 segundos | 0,382, 0,423, 0,484 (grabaciones reales: 0,546, 0,591, 0,620) | Microsoft Research, artículo de VALL-E 2023 |
| Similitud de VALL-E 2 (tamaño de grupo 1) en VCTK con prompts de 3, 5 y 10 segundos | Muestra única: 0,447, 0,487, 0,558; mejor de cinco muestras: 0,508, 0,552, 0,620 (grabaciones reales: 0,623, 0,679, 0,709) | Microsoft Research, artículo de VALL-E 2 2024 |
| Proporción del audio de entrada que Voicebox necesita para igualar la similitud de hablante de VALL-E | Aproximadamente dos tercios | Meta, artículo de Voicebox (NeurIPS 2023) |
| Similitud de F5-TTS con prompts largos (media de 7,7 s) vs cortos (media de 5,5 s) en habla in-the-wild | 0,35 vs 0,24 | Barcelona Supercomputing Center, envío a WildSpoof TTS 2026 |
| Similitud de StyleTTS2 con prompts largos (media de 7,7 s) vs cortos (media de 5,5 s) | 0,19 vs 0,14 | Barcelona Supercomputing Center, envío a WildSpoof TTS 2026 |
| Duración de referencia con la que XTTS-v2 logró una clonación de alta fidelidad (se probaron 1, 3, 6, 10, 20 y 40 segundos) | 6 a 10 segundos, con rendimientos decrecientes más allá de 20 segundos | Zhu, tesis de maestría de la Universidad de Groninga 2025 |
Nota sobre valores atípicos: el envío del Barcelona Supercomputing Center es el único resultado de 2026 aquí y usa el conjunto de datos TTS In the Wild. Un prompt 2,2 segundos más corto en promedio (7,7 menos 5,5) le costó a F5-TTS 0,11 de similitud (0,35 menos 0,24). Es la misma magnitud de pérdida que mostró VALL-E 2 a lo largo de una diferencia de 7 segundos en VCTK, un indicio de que los prompts cortos pueden perjudicar más con audio cotidiano, aunque las dos pruebas no son directamente comparables.
3. La Inteligibilidad No Siempre Mejora con Prompts Más Largos
La tasa de error de palabras (WER) mide la inteligibilidad: un reconocedor de voz transcribe el audio clonado y se cuenta la proporción de palabras erróneas, de modo que menor es mejor. La WER de VALL-E 2 en VCTK subió de 0,9% con un prompt de 3 segundos a 3,3% con uno de 10 segundos, en sentido contrario a su mejora de similitud. Los evaluadores humanos coincidieron: en la misma prueba, las valoraciones de similitud bajaron al alargarse los prompts, mientras que las de las grabaciones reales subieron.
Nada garantiza que más audio de prompt ayude. Mega-TTS 2, diseñado para prompts de varias frases, siguió mejorando hasta los 300 segundos, mientras que la ejecución de VALL-E medida en el mismo artículo se degradó a los 20 segundos (artículo de Mega-TTS 2). Los prompts muy cortos conllevan su propio riesgo de inteligibilidad: StyleTTS2 fue el sistema que empeoró cuando se recortó su prompt.
| Métrica | Valor | Fuente |
|---|---|---|
| VALL-E 2 (tamaño de grupo 1) en VCTK con prompts de 3, 5 y 10 segundos: tasa de error de palabras y valoración humana de similitud (SMOS, mayor es mejor) | WER 0,9%, 1,9%, 3,3%; SMOS 4,42±0,15, 4,28±0,16, 3,95±0,10 (grabaciones reales 4,47±0,13, 4,53±0,14, 4,74±0,17) | Microsoft Research, artículo de VALL-E 2 2024 |
| VALL-E en LibriSpeech con prompts de 3, 10 y 20 segundos, según lo midieron los autores de Mega-TTS 2 | WER 5,83%, 5,54%, 8,77%; similitud 0,885, 0,893, 0,805 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Tasa de error de palabras de Mega-TTS 2 con prompts de 3, 10, 60 y 300 segundos | 2,46%, 2,28%, 2,24%, 2,23% | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Tasa de error de palabras de StyleTTS2 con prompts largos (7,7 s) vs cortos (5,5 s) | 0,21 vs 0,49 (F5-TTS sin cambios en 0,07) | Barcelona Supercomputing Center, envío a WildSpoof TTS 2026 |
| Tendencia de Voicebox cuando el idioma del prompt y el del objetivo difieren, al alargarse los prompts | La similitud mejora; la WER sube en la mayoría de las direcciones de idioma | Meta, artículo de Voicebox (NeurIPS 2023) |
Contexto: la tendencia de VALL-E 2 no es perfectamente suave. Su configuración con tamaño de grupo 2 registró una WER de 1,5%, 0,9% y 2,3% en las mismas tres duraciones. Los autores de Voicebox atribuyen el aumento de la WER entre idiomas a que el inglés representa más del 90% de los datos de entrenamiento.
4. Qué Tan Cerca Llegan los Clones de Prompt Corto al Hablante Real
En habla de benchmark, los mejores sistemas publicados se sitúan hoy junto a las grabaciones reales. NaturalSpeech 3 obtuvo una similitud de hablante de 0,67 frente a 0,68 de las grabaciones de referencia (ground truth), y su valoración humana de similitud (4,01) fue superior a la de las grabaciones reales, 3,85, en la misma prueba de LibriSpeech (Microsoft Research, artículo de NaturalSpeech 3 2024). Eso queda muy lejos de los 0,337 que obtuvo YourTTS en la primera fila de la tabla siguiente.
Las puntuaciones del habla real son la señal de que se trata de condiciones de laboratorio: van de 0,68 a 0,8952 según el artículo, así que cada sistema debe leerse frente a su propio ground truth, como en la tabla. El artículo de F5-TTS queda a menos de 0,03 del habla real en su propia prueba (0,69 menos 0,66).
| Métrica | Valor | Fuente |
|---|---|---|
| LibriSpeech, prompt de 3 segundos: YourTTS vs VALL-E vs Voicebox | Similitud 0,337 vs 0,580 vs 0,681 (habla real 0,754); WER 7,7% vs 5,9% vs 1,9% (habla real 2,2%) | Meta, artículo de Voicebox (NeurIPS 2023) |
| NaturalSpeech 3 vs grabaciones reales en LibriSpeech: similitud y WER | 0,67 y 1,81% vs 0,68 y 1,94% | Microsoft Research, artículo de NaturalSpeech 3 2024 |
| Similitud de Seed-TTS en inglés vs grabaciones humanas, y valoración comparativa (CMOS) vs humano | 0,762 vs 0,730; CMOS -0,07 | ByteDance, artículo de Seed-TTS 2024 |
| F5-TTS vs habla real en 1.127 muestras de LibriSpeech-PC de 4 a 10 segundos: similitud y WER | 0,66 y 2,42% vs 0,69 y 2,23% | Chen et al., artículo de F5-TTS 2024 |
| Similitud de MiniMax-Speech en inglés: solo speaker embedding vs prompt con texto emparejado | 0,692 vs 0,738 (ground truth 0,730) | Zhang et al., artículo de MiniMax-Speech 2025 |
| Similitud de XTTS en inglés vs habla real | 0,6423 vs 0,8952 | Casanova et al., artículo de XTTS (INTERSPEECH 2024) |
Nota sobre valores atípicos: Seed-TTS y la configuración con texto emparejado de MiniMax-Speech puntúan por encima de sus grabaciones reales. Los autores de Seed-TTS explican que el ground truth y los fragmentos de referencia de un mismo hablante aún pueden diferir en estilo de habla y entorno de fondo, de modo que un modelo que sigue de cerca la referencia puede superar a una segunda grabación real. No es evidencia de un clon mejor que el humano.
5. Clonación Zero-Shot vs con Ajuste Fino: La Brecha Medida en Segundos y Minutos
El ajuste fino consiste en actualizar los pesos de un modelo con el audio del hablante objetivo, el camino más antiguo y lento hacia una voz personalizada. Con 300 segundos de la voz objetivo, un prompt zero-shot alcanzó una similitud de 0,932 frente a 0,934 de una línea base con ajuste fino, con menos errores de palabras (2,23% vs 3,11%) (Jiang et al., Mega-TTS 2, ICLR 2024). La salvedad importa: ambos sistemas son de los propios autores, y la línea base es una versión de FastSpeech 2 con ajuste fino de 2.000 pasos, no el mejor sistema con ajuste fino disponible.
El ajuste fino aún justifica su coste cuando una voz está lejos de los datos de entrenamiento. YourTTS se entrenó con un único hablante de portugués, y el ajuste fino con 20 a 31 segundos elevó las valoraciones de similitud de los oyentes para nuevas voces en portugués, aunque las valoraciones de calidad general bajaron algo (artículo de YourTTS). XTTS ganó 0,1314 de similitud (0,7166 menos 0,5852) con unos 10 minutos por hablante en la clonación entre idiomas.
| Métrica | Valor | Fuente |
|---|---|---|
| Similitud de la línea base con ajuste fino con 10, 60 y 300 segundos de audio objetivo | 0,895, 0,923, 0,934 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Similitud de Mega-TTS 2 zero-shot con prompts de 3, 10, 60 y 300 segundos | 0,898, 0,905, 0,926, 0,932 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| YourTTS, hablante femenina de portugués con 20 segundos de habla, zero-shot vs con ajuste fino | Similitud 0,743 vs 0,930; Sim-MOS 2,77±0,15 vs 4,43±0,06; MOS 3,59±0,13 vs 3,48±0,13 | Casanova et al., YourTTS (ICML 2022) |
| YourTTS, hablante masculino de inglés con 61 segundos de habla, zero-shot vs con ajuste fino | Similitud 0,851 vs 0,880 (habla real 0,875) | Casanova et al., YourTTS (ICML 2022) |
| Similitud de XTTS entre idiomas antes vs después del ajuste fino con unos 10 minutos por hablante | 0,5852 vs 0,7166 | Casanova et al., artículo de XTTS (INTERSPEECH 2024) |
| Seed-TTS con un prompt de 20 segundos vs con ajuste fino en 1 a 10 horas por hablante: similitud y WER | 0,779 y 3,15 vs 0,789 y 2,83 (CMOS +0,37 para el de ajuste fino) | ByteDance, artículo de Seed-TTS 2024 |
| Audio recomendado para Professional Voice Cloning de ElevenLabs (su nivel con ajuste fino) | 30 a 180 minutos (orientación del propio proveedor) | ElevenLabs, documentación de clonación de voz 2026 |
Dato más reciente disponible para la prueba de ajuste fino de YourTTS: Casanova et al., ICML 2022. Cubre solo 4 hablantes, así que debe tomarse como una ilustración del efecto del idioma y no como una estimación poblacional.
6. El Lado de la Seguridad: Prompts Cortos y Fraude
Las cifras de investigación tienen una traducción directa para el consumidor: el video público es material de prompt. Los oyentes juzgaron que una voz de IA tenía la misma identidad que su contraparte real cerca del 80% de las veces, e identificaron las voces de IA solo cerca del 60% de las veces, entre 604 participantes en un estudio cuyos fragmentos reales duraban en promedio 5,37 segundos (Barrington, Cooper y Farid, Scientific Reports 2025). Los clones procedían de un servicio comercial de clonación instantánea alimentado con los dos primeros prompts grabados de cada uno de 220 hablantes.
La frase de los “tres segundos” en las advertencias sobre fraude se apoya en declaraciones de empresas. La cifra de McAfee es su propio benchmark y, para esa fuente, el dato más reciente disponible (McAfee, 2023). Starling Bank repitió la afirmación en 2024 junto con su encuesta (Starling Bank, campaña Safe Phrases 2024). Nuestro artículo sobre el fraude familiar con clonación de voz trata las estafas en sí.
| Métrica | Valor | Fuente |
|---|---|---|
| Proporción de veces en que los oyentes juzgaron que una voz de IA era la misma persona que el hablante real | Cerca del 80% | Barrington, Cooper y Farid, Scientific Reports 2025 |
| Proporción de veces en que los oyentes identificaron correctamente una voz como generada por IA | Cerca del 60% | Barrington, Cooper y Farid, Scientific Reports 2025 |
| Audio que necesitaron los investigadores de McAfee para una coincidencia de voz estimada del 85% con una herramienta gratuita | Tres a cuatro segundos (cerca del 95% con más esfuerzo; benchmark del propio proveedor) | McAfee, Beware the Artificial Impostor 2023 |
| Adultos que comparten su voz en línea al menos una vez por semana | 53% (7.054 adultos, 7 países) | McAfee, Beware the Artificial Impostor 2023 |
| Adultos que no confían en poder distinguir una voz real de una clonada | 70% | McAfee, Beware the Artificial Impostor 2023 |
| Adultos del Reino Unido que dicen haber sido objetivo de una estafa de clonación de voz con IA en el último año | 28% (3.010 adultos) | Encuesta de Starling Bank y Mortar Research 2024 |
| Adultos del Reino Unido que enviarían el dinero solicitado aunque la llamada pareciera extraña | 8% | Encuesta de Starling Bank y Mortar Research 2024 |
| Productos de clonación de voz evaluados que no tomaron medidas básicas para impedir la clonación no autorizada | 4 de 6 | Consumer Reports, evaluación de clonación de voz 2025 |
Contexto: el 28% de Starling mide lo que las personas dicen que les ocurrió, no incidentes confirmados. El 85% y el 95% de McAfee son estimaciones de la propia empresa, y no encontramos una réplica independiente. La evaluación de Consumer Reports abarcó Descript, ElevenLabs, Lovo, PlayHT, Resemble AI y Speechify.
7. Salvaguardas, Detección y Decisiones de Lanzamiento
Las decisiones de lanzamiento dividen al sector. Microsoft dice que “no tiene planes de incorporar VALL-E 2 a un producto ni de ampliar el acceso al público” (página del proyecto VALL-E 2), y OpenAI optó por una “vista previa pero no un lanzamiento amplio” de Voice Engine, a la vez que instaba a los bancos a ir eliminando la autenticación por voz. Entretanto, los autores de F5-TTS piden marcas de agua y modelos de detección para los riesgos de uso indebido que mencionan. La FTC consideró el problema lo bastante abierto como para financiar un desafío (FTC, ganadores del Voice Cloning Challenge 2024).
Los resultados de detección dependen mucho de aquello con lo que se compara la falsificación. El clasificador de Meta separó a la perfección la salida de Voicebox del audio original, pero obtuvo 0,704 frente a habla real que había pasado por un vocoder (software que reconstruye el audio a partir de su espectro) al nivel de enmascaramiento más bajo. Para un análisis más detallado del rendimiento de los detectores, consulta nuestras estadísticas de precisión en la detección de deepfakes de audio.
| Métrica | Valor | Fuente |
|---|---|---|
| Premio en efectivo repartido entre los tres ganadores del FTC Voice Cloning Challenge | 35.000 USD (anunciado el 8 de abril de 2024) | Comisión Federal de Comercio de EE. UU., Voice Cloning Challenge 2024 |
| Tamaño del fragmento de audio que revisa el detector de clones en tiempo real de Pindrop, reconocido por la FTC | Fragmentos de dos segundos | Comisión Federal de Comercio de EE. UU., Voice Cloning Challenge 2024 |
| Precisión del clasificador de detección de Voicebox vs audio original, y vs audio real pasado por vocoder con 30%, 50% y 90% de enmascaramiento del audio | 1,000 vs original; 0,704, 0,809, 0,907 vs vocoder | Meta, artículo de Voicebox (NeurIPS 2023) |
| Cuándo desarrolló OpenAI Voice Engine por primera vez vs cuándo publicó su vista previa limitada | Finales de 2022 vs 29 de marzo de 2024 | OpenAI, publicación sobre voces sintéticas 2024 |
| Equipos en el desafío ASVspoof 5 y el ataque más difícil en la condición abierta de la Track 1 | 53 equipos; YourTTS zero-shot preentrenado (minDCF 0,33) | Wang et al., artículo de evaluación de ASVspoof 5 2026 |
Contexto: minDCF es una puntuación de coste de detección en la que un valor mayor indica que los detectores tuvieron más dificultades. Que un modelo YourTTS preentrenado encabece la lista de dificultad de la condición abierta de ASVspoof 5 sugiere que los ataques zero-shot no necesitan un sistema de vanguardia para causar problemas, aunque el artículo no desglosa este resultado por duración del prompt.
Resumen: Duración del Audio de Referencia en la Clonación de Voz Zero-Shot en Cifras
| Métrica | Valor | Fuente |
|---|---|---|
| Muestra de audio con la que trabaja OpenAI Voice Engine | 15 segundos | OpenAI, publicación sobre voces sintéticas 2024 |
| VALL-E 2 en VCTK, prompt de 3 vs 10 segundos (tamaño de grupo 1): similitud y WER | 0,447 vs 0,558; 0,9% vs 3,3% | Microsoft Research, artículo de VALL-E 2 2024 |
| Proporción del audio de entrada que Voicebox necesita para igualar la similitud de VALL-E | Aproximadamente dos tercios | Meta, artículo de Voicebox (NeurIPS 2023) |
| Similitud de F5-TTS, prompts largos (7,7 s) vs cortos (5,5 s) en habla in-the-wild | 0,35 vs 0,24 | Barcelona Supercomputing Center, envío a WildSpoof TTS 2026 |
| Tasa de error de palabras de StyleTTS2, prompts largos (7,7 s) vs cortos (5,5 s) | 0,21 vs 0,49 | Barcelona Supercomputing Center, envío a WildSpoof TTS 2026 |
| Duración de referencia para la clonación de alta fidelidad de XTTS-v2 | 6 a 10 segundos | Zhu, tesis de la Universidad de Groninga 2025 |
| Similitud de NaturalSpeech 3 vs grabaciones reales | 0,67 vs 0,68 | Microsoft Research, artículo de NaturalSpeech 3 2024 |
| Tasa de error de palabras de F5-TTS vs habla real | 2,42% vs 2,23% | Chen et al., artículo de F5-TTS 2024 |
| Similitud de Mega-TTS 2 zero-shot vs línea base con ajuste fino con 300 segundos de audio | 0,932 vs 0,934 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Valoración de similitud de los oyentes para YourTTS, zero-shot vs con ajuste fino en 20 segundos | 2,77 vs 4,43 | Casanova et al., YourTTS (ICML 2022) |
| Similitud de XTTS entre idiomas tras unos 10 minutos de ajuste fino | 0,5852 a 0,7166 | Casanova et al., artículo de XTTS (INTERSPEECH 2024) |
| Oyentes que juzgaron a un clon de IA como el hablante real | Cerca del 80% | Barrington, Cooper y Farid, Scientific Reports 2025 |
| Audio para una coincidencia estimada del 85% (benchmark del proveedor) | Tres a cuatro segundos | McAfee, Beware the Artificial Impostor 2023 |
| Adultos del Reino Unido que dicen haber sido objetivo de una estafa de clonación de voz | 28% | Encuesta de Starling Bank y Mortar Research 2024 |
| Productos de clonación de voz que no tomaron medidas básicas contra la clonación no autorizada | 4 de 6 | Consumer Reports, evaluación de clonación de voz 2025 |
| Premio en efectivo para los ganadores del FTC Voice Cloning Challenge | 35.000 USD | Comisión Federal de Comercio de EE. UU., Voice Cloning Challenge 2024 |
Metodología y Fuentes
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E) (Microsoft Research, 2023): configuración del prompt de 3 segundos y resultados en VCTK por duración del prompt.
- VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers (Microsoft Research, 2024): similitud, WER y SMOS en VCTK con 3, 5 y 10 segundos.
- VALL-E 2 project page (Microsoft Research): declaración sobre el lanzamiento.
- NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models (Microsoft Research y coautores universitarios, 2024): comparación en LibriSpeech.
- Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale (Meta, NeurIPS 2023): análisis de la duración del prompt, benchmark en inglés, clasificador de detección.
- YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone (Casanova et al., ICML 2022): adaptación de hablante zero-shot vs con ajuste fino.
- XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model (Casanova et al., INTERSPEECH 2024): duración de la referencia, similitud en inglés, mejora con ajuste fino.
- Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis (Jiang et al., ByteDance y la Universidad de Zhejiang, ICLR 2024): prompts de 3 a 300 segundos vs una línea base con ajuste fino.
- Seed-TTS: A Family of High-Quality Versatile Speech Generation Models (ByteDance, 2024): zero-shot vs ajuste fino por hablante.
- F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching (Chen et al., 2024): benchmark LibriSpeech-PC.
- MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder (Zhang et al., 2025): clonación con speaker embedding vs con texto emparejado.
- Zero-Shot TTS With Enhanced Audio Prompts: BSC submission for the 2026 WildSpoof challenge TTS track (Barcelona Supercomputing Center, 5 de febrero de 2026): prompts largos vs cortos.
- Zero-Shot Voice Cloning with Minimal Data: Impact of Reference Duration on Long-Form Speech Synthesis (Zhu, Universidad de Groninga, 2025): prueba de referencia de 1 a 40 segundos.
- People are poorly equipped to detect AI-powered voice clones (Barrington, Cooper y Farid, Scientific Reports, 2025).
- ASVspoof 5: Evaluation of Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech (Wang et al., 7 de enero de 2026).
- FTC Announces Winners of Voice Cloning Challenge (Comisión Federal de Comercio de EE. UU., 8 de abril de 2024).
- Do These 6 AI Voice Cloning Companies Do Enough to Prevent Misuse? (Consumer Reports, 10 de marzo de 2025).
- Beware the Artificial Impostor (McAfee, mayo de 2023; investigación del proveedor).
- Starling Bank Safe Phrases campaign (Starling Bank y Mortar Research, 18 de septiembre de 2024).
- OpenAI post on the challenges and opportunities of synthetic voices (OpenAI, 29 de marzo de 2024).
- ElevenLabs Instant Voice Cloning documentation (orientación del proveedor, consultada en octubre de 2026).
- Nota sobre los datos: las puntuaciones de similitud no son comparables entre artículos, porque cada uno usa su propio modelo de reconocimiento de hablante, conjunto de prueba y forma de puntuar (el habla real en LibriSpeech puntúa 0,754, 0,68 o 0,69 según el artículo), por lo que solo deben compararse dentro de una misma fila. El artículo de Mega-TTS 2 informa de valores de similitud mucho más altos que los demás, con VALL-E en 0,885 allí frente a 0,580 en el artículo original, de modo que sus cifras solo deben leerse unas frente a otras. Ambos lados de la comparación de ajuste fino de Mega-TTS 2 fueron construidos por sus autores. El texto de Voicebox dice que la similitud crece y luego se estabiliza con prompts más largos, mientras que el pie de su figura dice que se mantiene igual hasta los 10 segundos. MiniMax-Speech llama ‘one-shot’ al prompt con texto emparejado y clasifica así a Seed-TTS, aunque Seed-TTS se describe a sí mismo como zero-shot. Los modelos de WildSpoof recibieron ajuste fino en el conjunto de datos TITW antes de la prueba, por lo que esos resultados no son líneas base zero-shot puras. Las puntuaciones de los oyentes de VALL-E 2 con 10 segundos tienen intervalos amplios (hasta ±0,49). El artículo de Scientific Reports no indica la duración de los dos prompts que hay detrás de cada clon, por lo que su 80% no debe leerse como una cifra para ninguna duración de prompt concreta. El resumen de la tesis de Zhu no da valores de similitud, solo las duraciones y el sentido del efecto. VALL-E, Voicebox, YourTTS y McAfee tienen más de tres años y están señalados como dato más reciente disponible: no encontramos ningún artículo de 2025 o 2026 que repita la curva completa de 3, 5 y 10 segundos en un benchmark compartido. Las encuestas de Starling Bank y McAfee son autodeclaradas.
Última actualización: 31 de octubre de 2026. Actualizamos este informe trimestralmente, y la próxima revisión se espera cuando se publiquen las actas del ICASSP 2027.