En el Voice Conversion Challenge 2020, ocho sistemas intralingüísticos fueron estadísticamente indistinguibles del hablante objetivo real en las pruebas de similitud, con más del 90% de sus muestras convertidas juzgadas como la misma persona (Zhao et al., resumen general del VCC 2020). Cuatro años antes, el mejor sistema del VCC 2016 promedió apenas 3,0 en una escala de naturalidad de 5 puntos, y los mejores sistemas convencieron a los oyentes alrededor del 70% de las veces. La naturalidad no ha cerrado la brecha con tanta limpieza: ningún sistema del VCC 2020 alcanzó una naturalidad de nivel humano, y en el Singing Voice Conversion Challenge 2025 los mejores sistemas puntuaron alrededor de 3,7 frente a alrededor de 3,9 de las grabaciones reales. Este informe analiza cómo se mide la conversión de voz y no cómo se vende; para datos de adopción y de mercado, consulta nuestras estadísticas de clonación de voz, y para las puntuaciones de escucha de la síntesis de voz, nuestras estadísticas de MOS de naturalidad del habla sintética. Reunimos datos de los Voice Conversion Challenges de 2016, 2018 y 2020, de los Singing Voice Conversion Challenges de 2023 y 2025, de artículos revisados por pares de Interspeech, ICLR, AAAI e IEEE JSTSP, y de estudios recientes sobre métricas de similitud del hablante y sesgos en las pruebas de escucha.
TL;DR
- 8 sistemas intralingüísticos del VCC 2020 no fueron significativamente distintos del hablante objetivo en similitud (Zhao et al., resumen general del VCC 2020, 2020).
- Un sistema zero-shot de 2025 obtuvo un MOS de naturalidad de 3,96 frente a 4,33 de la referencia real (Yao et al., StableVC, AAAI 2025).
- La similitud del hablante de un sistema de 2026 en el espacio del códec bajó de 0,63 en inglés a 0,49 en la conversión de chino a inglés (Zheng et al., X-VC 2026).
- La similitud de un sistema basado en características autosupervisadas bajó del 59% al 28% al pasar de la conversión cualquiera-a-uno a la cualquiera-a-cualquiera (Huang et al., IEEE JSTSP 2022).
- 20 de 31 sistemas del VCC 2020 engañaron a un sistema de verificación de hablante más del 90% de las veces (Das et al., evaluación objetiva del VCC 2020, 2020).
- La similitud por embedding de hablante se correlacionó 0,768 con las valoraciones humanas en habla real, pero solo 0,512 en habla convertida del VCC 2018 (Ahn et al., VoxSim, Interspeech 2024).
- Cerca de la mitad de los enunciados del VCC 2018 tenía una desviación estándar superior a 1 punto entre sus cuatro valoraciones de oyentes (Lo et al., MOSNet 2019).
- El MOS de un sistema puede caer hasta alrededor de un punto entero cuando se evalúa solo junto a sistemas más fuertes (Cooper y Yamagishi, Interspeech 2023).
- El mejor sistema de canto del SVCC 2023 igualó la naturalidad de la referencia real (alrededor de 3,9), pero alcanzó un 65% de similitud frente a un 80% (Violeta et al., análisis del SVCC 2025, 2025).
- El canto aspirado fue el estilo más difícil de convertir en el SVCC 2025, con un 37,3% de precisión de estilo (Violeta et al., análisis del SVCC 2025, 2025).
1. Una Década de Resultados de los Desafíos: Del 70% a la Similitud a Nivel del Hablante Objetivo
La conversión de voz (VC) cambia de quién parece ser la voz de una grabación manteniendo lo que se dice. La vara de medir común del campo es el Voice Conversion Challenge (VCC), en el que cada equipo convierte las mismas frases entre los mismos hablantes y una gran prueba de escucha los puntúa a todos. La naturalidad se califica en una escala de puntuación media de opinión (MOS) de 5 puntos; la similitud se juzga preguntando a los oyentes si un fragmento convertido y uno real provienen del mismo hablante.
La trayectoria es pronunciada. El mejor sistema del VCC 2016 promedió 3,0 en naturalidad, mientras que en el VCC 2020 ocho sistemas empataron estadísticamente con el hablante objetivo real en similitud (Zhao et al., resumen general del VCC 2020). Lo interesante es el orden del progreso: los oyentes dejaron de distinguir los fragmentos convertidos del objetivo, en inglés limpio y dentro del mismo idioma, antes de que ningún sistema alcanzara una naturalidad de nivel humano.
| Métrica | Valor | Fuente |
|---|---|---|
| Grupos de investigación que presentaron sistemas al VCC 2016 | 17 | Toda et al., The Voice Conversion Challenge 2016, Interspeech 2016 |
| Oyentes en la prueba del VCC 2016, realizada en un entorno controlado | 200 | Toda et al., The Voice Conversion Challenge 2016, Interspeech 2016 |
| Mejores sistemas del VCC 2016, proporción de muestras juzgadas como el mismo hablante que el objetivo | alrededor del 70% | Wester et al., Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| Mejor sistema del VCC 2016, naturalidad media en la escala de 5 puntos | 3,0 | Zhao et al., resumen general del VCC 2020, 2020 |
| Mejor sistema del VCC 2018 (N10): naturalidad / proporción juzgada igual al objetivo | alrededor de 4,1 / alrededor del 80% | Lorenzo-Trueba et al., artículo del VCC 2018 |
| Sistemas del VCC 2020 dentro del mismo idioma sin diferencia significativa respecto del hablante objetivo en similitud | 8 | Zhao et al., resumen general del VCC 2020, 2020 |
Nota de contexto: el ganador del VCC 2018 dependía de un extractor de contenido entrenado con cientos de horas de habla externa y de un vocoder WaveNet dependiente del hablante (Lorenzo-Trueba et al., VCC 2018). Solo 3 equipos del VCC 2018 usaron la opción de datos externos. Datos más recientes disponibles para los desafíos de habla: VCC 2020, ya que la cuarta edición, en 2023, pasó al canto y cambió de nombre (véase la sección 6).
2. La Brecha de Naturalidad: A Qué Distancia Están los Mejores Sistemas del Habla Real
Un veredicto de “mismo hablante” no significa que el fragmento suene humano. Todos los desafíos han mantenido grabaciones naturales dentro de la prueba como anclas, y esas anclas muestran una brecha persistente. Una comparación de 2022 sitúa a USTC-2020, el mejor sistema de la tarea intralingüística del VCC 2020, en un MOS de naturalidad de 4,41 frente a 4,57 de las grabaciones objetivo reales, una diferencia de 0,16 puntos (4,57 menos 4,41) (Huang et al., IEEE JSTSP 2022). Ese sistema también alcanzó un 82% en la prueba de similitud.
La brecha es mayor en los sistemas zero-shot, que convierten hacia una voz nunca vista en el entrenamiento a partir de un fragmento de referencia corto. Un artículo de AAAI de 2025 midió un MOS de 3,96 para su sistema frente a 4,33 de la referencia real en hablantes de VCTK, una diferencia de 0,37 puntos, aunque un predictor automático de MOS situó a ambos a solo 0,12 de distancia (Yao et al., StableVC, AAAI 2025). En esta prueba el predictor automático fue el juez más benévolo, una razón para leer esas puntuaciones junto a una prueba de escucha.
| Métrica | Valor | Fuente |
|---|---|---|
| Grabaciones naturales en el VCC 2016: naturalidad / proporción juzgada como el mismo hablante | 4,5 / 90% | Violeta et al., análisis del SVCC 2025, 2025 |
| Sistemas del VCC 2016 valorados como significativamente menos naturales que los hablantes reales de origen y objetivo | todos los sistemas | Wester et al., Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| Mejor sistema del VCC 2018 frente al habla objetivo real (rangos con signo de Wilcoxon, Bonferroni, α = 0,01) | significativamente distinto tanto en naturalidad como en similitud | Lorenzo-Trueba et al., artículo del VCC 2018 |
| Mejor sistema del VCC 2020 (USTC-2020) frente a las grabaciones objetivo, MOS de naturalidad dentro del mismo idioma | 4,41 frente a 4,57 | Huang et al., IEEE JSTSP 2022 |
| Mejor sistema de características autosupervisadas frente a la línea base simple de espectrograma mel, MOS de naturalidad | 3,59 frente a 2,61 | Huang et al., IEEE JSTSP 2022 |
| Sistema zero-shot frente a la referencia real, MOS de naturalidad de los oyentes (hablantes de VCTK) | 3,96 ±0,04 frente a 4,33 ±0,04 | Yao et al., StableVC, AAAI 2025 |
| Misma comparación con UTMOS, un predictor automático de naturalidad | 4,12 frente a 4,24 | Yao et al., StableVC, AAAI 2025 |
| El mejor de seis líneas base zero-shot publicadas, MOS de naturalidad de los oyentes | 3,67 ±0,07 | Yao et al., StableVC, AAAI 2025 |
Nota sobre el valor atípico: en el VCC 2020, los oyentes japoneses valoraron la naturalidad dentro del mismo idioma del sistema líder T10 como comparable a la del hablante objetivo, mientras que los oyentes ingleses no (Zhao et al., resumen general del VCC 2020). Por lo tanto, un veredicto de paridad puede depender de quién escucha, así que el grupo de oyentes debe constar en cualquier resultado que se publique.
3. Inteligibilidad y Métricas Espectrales: Lo Que WER y MCD Pueden y No Pueden Decirte
Las métricas objetivas son baratas y repetibles, por eso los artículos se apoyan en ellas. Se repiten dos familias: la inteligibilidad, medida como la tasa de error de palabras (WER) o de caracteres (CER) de un reconocedor automático de voz que transcribe el audio convertido, y la distancia espectral, normalmente la distorsión mel-cepstral (MCD), que mide cuánto se aleja el espectro convertido del espectro del objetivo. En ambas, menos es mejor.
Los datos del VCC muestran que el WER sigue razonablemente bien la naturalidad y mal la similitud. En el VCC 2018, el WER se correlacionó -0,7127 con la naturalidad en la tarea no paralela, pero solo -0,2272 con la similitud del hablante (Lorenzo-Trueba et al., VCC 2018). La MCD parece aún más débil como indicador de naturalidad: en el Singing Voice Conversion Challenge 2023 no se correlacionó de forma significativa con las valoraciones de naturalidad dentro del dominio de ninguno de los dos grupos de oyentes (Huang et al., SVCC 2023). Los reconocedores también tienen sus propios modos de fallo, tratados en nuestras estadísticas de alucinaciones en el reconocimiento de voz, así que un WER bajo indica que las palabras sobrevivieron, no que la voz suene bien.
| Métrica | Valor | Fuente |
|---|---|---|
| Tasa de error de palabras del ASR en habla de origen natural, VCC 2018 | 6,40% | Lorenzo-Trueba et al., artículo del VCC 2018 |
| Menor / mayor WER entre los sistemas Hub convertidos del VCC 2018 | 8,60% / 35,60% | Lorenzo-Trueba et al., artículo del VCC 2018 |
| Correlación del WER con el MOS de naturalidad / con la similitud, tarea Hub con datos paralelos y tarea Spoke no paralela del VCC 2018 | Hub -0,6587 / -0,3218; Spoke -0,7127 / -0,2272 | Lorenzo-Trueba et al., artículo del VCC 2018 |
| Equipos del VCC 2020 dentro del mismo idioma con WER inferior al 5% / superior al 50% | 7 / 7 | Das et al., evaluación objetiva del VCC 2020, 2020 |
| MCD, línea base simple de espectrograma mel frente al mejor sistema del VCC 2020 (datos del VCC 2020) | 8,47 frente a 6,98 | Huang et al., IEEE JSTSP 2022 |
| Correlación de Spearman de la MCD con el MOS de naturalidad dentro del dominio, SVCC 2023 (oyentes japoneses / ingleses) | -0,28 / -0,24 (no significativa) | Huang et al., artículo del SVCC 2023 |
| Correlación de Spearman del CER basado en Whisper con el MOS de naturalidad dentro del dominio, SVCC 2023 (oyentes japoneses) | -0,80 (p < 0,01) | Huang et al., artículo del SVCC 2023 |
Nota de contexto: la dispersión en el VCC 2020 es amplia. La peor participación dentro del mismo idioma registró un WER del 96,17%, es decir, casi nada sobrevivió a la conversión para el reconocedor, mientras que siete equipos se mantuvieron por debajo del 5% (Das et al., evaluación objetiva del VCC 2020).
4. Similitud por Embedding de Hablante: Útil, Popular y Frágil
Una puntuación automática de similitud estándar es la similitud coseno entre embeddings de hablante (a menudo llamada SECS o SIM): ambos fragmentos pasan por una red de verificación de hablante y se compara el ángulo entre los vectores resultantes. En los datos de los desafíos concuerda bien con los oyentes a nivel de sistema. En el VCC 2020, la tasa de error de la verificación de hablante se correlacionó 0,89 y 0,90 con la similitud de los oyentes en las dos tareas (Das et al., evaluación objetiva del VCC 2020), y 20 de 31 sistemas dentro del mismo idioma fueron aceptados como el objetivo por el verificador más del 90% de las veces. La tasa de “falsa aceptación” es aquí la proporción de fragmentos convertidos que el verificador acepta por error como el hablante objetivo real, de modo que cuanto mayor, más convincente es la conversión.
La concordancia por enunciado es otra historia. Un embedding ECAPA-TDNN preentrenado alcanzó una correlación lineal de 0,768 con las valoraciones humanas en pares de voces reales, pero bajó a 0,512 en habla convertida del VCC 2018 (Ahn et al., VoxSim, Interspeech 2024). Un estudio de 2025 de Ubisoft La Forge y la Stellenbosch University halló que los modelos de verificación separan los fragmentos cortos y largos de un mismo hablante muy por encima del azar, y que el ruido y la ecualización desplazan las puntuaciones, de modo que una cifra de SIM mide en parte las condiciones de grabación (Carbonneau et al. 2025). Quien compare software de clonación de voz a partir de cifras de SIM publicadas debe comprobar que se usaron el mismo modelo de embedding, el mismo conjunto de prueba y las mismas duraciones de fragmento.
| Métrica | Valor | Fuente |
|---|---|---|
| Sistemas del VCC 2020 dentro del mismo idioma aceptados como el objetivo por un verificador de hablante más del 90% de las veces | 20 de 31 | Das et al., evaluación objetiva del VCC 2020, 2020 |
| Sistemas del VCC 2020 entre idiomas por encima del mismo nivel del 90% de falsa aceptación | 10 | Das et al., evaluación objetiva del VCC 2020, 2020 |
| Correlación de Pearson de la tasa de error del verificador con la similitud de los oyentes, VCC 2020 Tarea 1 / Tarea 2 | 0,89 / 0,90 | Das et al., evaluación objetiva del VCC 2020, 2020 |
| Correlación de Pearson de la distancia coseno entre embeddings con la similitud de los oyentes, VCC 2020 Tarea 1 / Tarea 2 | 0,85 / 0,82 | Das et al., evaluación objetiva del VCC 2020, 2020 |
| Reconocedor de hablante ECAPA-TDNN preentrenado frente a la similitud humana, pares de habla real (correlación lineal) | 0,768 | Ahn et al., VoxSim, Interspeech 2024 |
| El mismo modelo preentrenado en habla convertida del VCC 2018 (correlación lineal) | 0,512 | Ahn et al., VoxSim, Interspeech 2024 |
| Similitud por embedding frente a valoraciones humanas de similitud de voz en un estudio de síntesis zero-shot (nivel de enunciado) | 0,55 | Li et al., DMOSpeech 2025 |
| Tasa de error igual del verificador al comparar fragmentos cortos de un hablante con sus propios fragmentos largos (ECAPA-TDNN; 0,50 significa indistinguible) | 0,34 ±0,04 | Carbonneau et al. 2025 |
Nota sobre el valor atípico: añadir ruido con una relación señal-ruido de 20 dB elevó a 0,34 la tasa de error igual del mismo ECAPA-TDNN entre los fragmentos limpios y ruidosos de un hablante, y a 0 dB la llevó a 0,05 (Carbonneau et al. 2025). En palabras llanas, el verificador empieza a tratar una copia ruidosa de una voz como una persona distinta.
5. Dentro del Dominio frente a Entre Idiomas y Cualquiera-a-Cualquiera: Dónde se Desploman las Puntuaciones
Las cifras de referencia suelen publicarse para el escenario más favorable: mismo idioma, audio de estudio y un hablante objetivo con el que el modelo se ha entrenado (conversión cualquiera-a-uno). Si cambia cualquiera de esos factores, las puntuaciones bajan. El sistema líder del VCC 2020, T10, perdió 0,75 puntos de MOS en naturalidad al pasar de la conversión dentro del mismo idioma a la conversión entre idiomas, y en esa tarea menos del 80% de las muestras se juzgaron como el hablante objetivo (Zhao et al., resumen general del VCC 2020). Los oyentes también dieron puntuaciones de similitud más bajas cuando el fragmento de referencia estaba en el segundo idioma del hablante y no en inglés.
La caída más pronunciada proviene de los hablantes objetivo no vistos en el entrenamiento (conversión cualquiera-a-cualquiera). En la comparación del IEEE JSTSP, un sistema de características autosupervisadas mantuvo su naturalidad casi sin cambios, pero su similitud se redujo a la mitad (Huang et al., IEEE JSTSP 2022). Los sistemas zero-shot recientes siguen mostrando la brecha: en habla con acento y emocional, los autores de ICLR 2025 midieron una similitud del hablante de 0,762 para las grabaciones de referencia real frente a 0,517 para la mejor salida convertida (Zhang et al., Vevo, ICLR 2025).
| Métrica | Valor | Fuente |
|---|---|---|
| USTC-2020, proporción juzgada igual al objetivo, mismo idioma frente a entre idiomas | 82% frente a 43% | Huang et al., IEEE JSTSP 2022 |
| Sistema de características autosupervisadas, hablante objetivo conocido (cualquiera-a-uno) frente a hablante objetivo no visto (cualquiera-a-cualquiera): similitud / MOS de naturalidad | 59% frente a 28% / 3,59 frente a 3,58 | Huang et al., IEEE JSTSP 2022 |
| Sistemas Hub del VCC 2018 distintos del ganador, MOS de naturalidad para pares del mismo género frente a géneros distintos | 3,08 frente a 2,78 | Lorenzo-Trueba et al., artículo del VCC 2018 |
| Similitud del hablante de un sistema zero-shot en el espacio del códec, mismo idioma (inglés / chino) frente a entre idiomas (de inglés a chino / de chino a inglés) | 0,63 / 0,73 frente a 0,52 / 0,49 | Zheng et al., X-VC 2026 |
| Similitud del hablante en habla con acento y emocional, grabaciones reales frente a la mejor salida convertida | 0,762 frente a 0,517 | Zhang et al., Vevo, ICLR 2025 |
Nota de contexto: el artículo de 2026 sobre el sistema en el espacio del códec evaluó los pares entre idiomas en un subconjunto distinto (los primeros 1.000 enunciados por idioma), por lo que sus cifras dentro del mismo idioma y entre idiomas son orientativas y no una comparación controlada (Zheng et al., X-VC 2026). Su versión en streaming funcionó con una latencia de modelo de 240 ms.
6. Conversión de Voz Cantada: Paridad de Naturalidad, Brecha de Identidad
El canto exige a la conversión de voz más que el habla: rango tonal más amplio, notas sostenidas y técnicas como el vibrato. El Singing Voice Conversion Challenge (SVCC) tomó el relevo del formato de desafío en 2023. El mejor sistema del SVCC 2023 igualó la naturalidad de la referencia real, en alrededor de 3,9, pero alcanzó solo un 65% de similitud frente al 80% del cantante real (Violeta et al., análisis del SVCC 2025). Es lo opuesto a lo ocurrido con el habla, donde la identidad se igualó primero.
El SVCC 2025 añadió la conversión de estilo de canto, y ningún sistema alcanzó una naturalidad de nivel humano. El estilo fue la parte difícil: el canto aspirado, el glissando (deslizarse entre notas) y el vibrato fueron las técnicas reproducidas con menor precisión. Los autores también cuestionaron si la prueba de similitud estándar es adecuada para juzgar el estilo. La identidad del cantante también es difícil de puntuar: incluso las muestras de referencia real alcanzaron solo alrededor del 70% en esa prueba.
| Métrica | Valor | Fuente |
|---|---|---|
| Participaciones en el SVCC 2023 más líneas base | 24 + 2 | Huang et al., artículo del SVCC 2023 |
| Oyentes del SVCC 2023, inglés / japonés | 40 / 319 | Huang et al., artículo del SVCC 2023 |
| Equipos del SVCC 2023 con naturalidad superior a 3,0, tarea dentro del dominio frente a entre dominios | 14 frente a 8 | Huang et al., artículo del SVCC 2023 |
| Mejor sistema del SVCC 2023 frente a la referencia real: naturalidad / similitud | alrededor de 3,9 / 65% frente a alrededor de 3,9 / 80% | Violeta et al., análisis del SVCC 2025, 2025 |
| Mejores sistemas del SVCC 2025 frente a la referencia real: naturalidad / similitud de estilo | alrededor de 3,7 / 70% frente a alrededor de 3,9 / 90% | Violeta et al., análisis del SVCC 2025, 2025 |
| Precisión de estilo en el SVCC 2025 para canto aspirado / glissando / vibrato | 37,3% / 42,6% / 43,9% | Violeta et al., análisis del SVCC 2025, 2025 |
| Correlación de Spearman máxima entre cualquier métrica objetiva y las puntuaciones subjetivas, SVCC 2025 | alrededor de 0,8 | Violeta et al., análisis del SVCC 2025, 2025 |
Nota de contexto: en el SVCC 2023, la diferencia de similitud entre el objetivo y el mejor sistema fue de alrededor de 0,4 puntos en la escala de 4 puntos en ambas tareas (Huang et al., SVCC 2023), y la distancia entre embeddings de hablante fue la métrica objetiva más correlacionada con la similitud (-0,83 de Spearman para oyentes japoneses, tarea dentro del dominio).
7. Fiabilidad de la Evaluación: Número de Oyentes, Varianza y Sesgo
Todas las cifras anteriores se apoyan en valoraciones humanas, y esas valoraciones son ruidosas. En cerca de la mitad de los enunciados del VCC 2018, la desviación estándar entre sus cuatro valoraciones de oyentes fue superior a 1 punto en la escala de 5 puntos (Lo et al., MOSNet). El promedio corrige buena parte de eso a nivel de sistema, y por eso los predictores automáticos parecen sólidos allí (correlación de 0,957) y débiles por enunciado (0,642).
El diseño de la prueba también desplaza las puntuaciones. Cooper y Yamagishi mostraron que evaluar solo los sistemas más fuertes juntos puede reducir el MOS de un sistema hasta alrededor de un punto entero, porque los oyentes reparten sus puntuaciones por toda la escala sea cual sea el rango de calidad (Cooper y Yamagishi, Interspeech 2023). Un estudio de 80 artículos de síntesis de voz de Interspeech 2022 halló que 51 no daban instrucciones a los oyentes (Chiang et al. 2023), y en el mismo estudio participantes de crowdsourcing del Reino Unido valoraron un sistema con 2,64 mientras que los de Estados Unidos lo valoraron con 3,73.
| Métrica | Valor | Fuente |
|---|---|---|
| Oyentes únicos / enunciados evaluados en el VCC 2018 | 267 / 113.168 | Lorenzo-Trueba et al., artículo del VCC 2018 |
| Enunciados del VCC 2018 cuyas cuatro valoraciones tenían una desviación estándar superior a 1 | cerca de la mitad | Lo et al., MOSNet 2019 |
| Predictor automático de MOS frente al MOS humano en el VCC 2018, nivel de enunciado frente a nivel de sistema (correlación lineal) | 0,642 frente a 0,957 | Lo et al., MOSNet 2019 |
| Costo de las dos pruebas de escucha del VCC 2020 (oyentes de inglés y de japonés) | 738.128 yenes (aprox. 6.900 USD) | Zhao et al., resumen general del VCC 2020, 2020 |
| Concordancia entre las puntuaciones de los oyentes japoneses e ingleses, VCC 2020 | correlaciones de 0,965 a 0,984 | Zhao et al., resumen general del VCC 2020, 2020 |
| Mayor caída de MOS de un sistema cuando se evalúa solo junto al 6% superior de los sistemas | 1,28 puntos | Cooper y Yamagishi, Interspeech 2023 |
| Artículos de síntesis de voz de Interspeech 2022 (de 80) sin instrucciones a los oyentes | 51 | Chiang et al., Interspeech 2023 |
| Respuestas de crowdsourcing invalidadas en una prueba de escucha con 501 participantes | cerca del 30% | Li et al., DMOSpeech 2025 |
Nota de contexto: los artículos individuales realizan pruebas mucho más pequeñas que los desafíos. Un artículo de Interspeech de 2023 sobre conversión por vecinos más cercanos recopiló 2.144 valoraciones de naturalidad de 61 oyentes y 1.636 valoraciones de similitud de 208 oyentes (Baas et al., Interspeech 2023). Sus intervalos informados rondaban los ±0,1 puntos, por lo que una diferencia menor que esa entre dos sistemas cercanos dice poco.
Resumen: Referencia de Similitud del Hablante y Naturalidad en Conversión de Voz en Cifras
| Métrica | Valor | Fuente |
|---|---|---|
| Mejor sistema del VCC 2016, naturalidad / mayor similitud | 3,0 / alrededor del 70% | Zhao et al., resumen general del VCC 2020, 2020; Wester et al., Interspeech 2016 |
| Mejor sistema del VCC 2018, naturalidad / similitud | alrededor de 4,1 / alrededor del 80% | Lorenzo-Trueba et al., artículo del VCC 2018 |
| Grabaciones naturales en el VCC 2016: naturalidad / similitud | 4,5 / 90% | Violeta et al., análisis del SVCC 2025, 2025 |
| USTC-2020 frente a las grabaciones objetivo, MOS de naturalidad | 4,41 frente a 4,57 | Huang et al., IEEE JSTSP 2022 |
| Sistema zero-shot frente a la referencia real, MOS de naturalidad de los oyentes | 3,96 frente a 4,33 | Yao et al., StableVC, AAAI 2025 |
| Correlación de la MCD con la naturalidad dentro del dominio, SVCC 2023 | -0,28 / -0,24 (no significativa) | Huang et al., artículo del SVCC 2023 |
| Sistemas del VCC 2020 dentro del mismo idioma que engañan a un verificador de hablante más del 90% de las veces | 20 de 31 | Das et al., evaluación objetiva del VCC 2020, 2020 |
| Similitud por embedding frente a valoraciones humanas, habla real frente a habla convertida | 0,768 frente a 0,512 | Ahn et al., VoxSim, Interspeech 2024 |
| Tasa de error del verificador, fragmentos cortos frente a largos del mismo hablante (0,50 = indistinguible) | 0,34 | Carbonneau et al. 2025 |
| Similitud, conversión cualquiera-a-uno frente a cualquiera-a-cualquiera | 59% frente a 28% | Huang et al., IEEE JSTSP 2022 |
| Similitud, mismo idioma frente a conversión de chino a inglés (sistema de 2026) | 0,63 frente a 0,49 | Zheng et al., X-VC 2026 |
| Similitud del hablante, grabaciones reales frente a la mejor salida convertida en habla con acento y emocional | 0,762 frente a 0,517 | Zhang et al., Vevo, ICLR 2025 |
| Similitud del mejor sistema del SVCC 2023 frente a la referencia real | 65% frente a 80% | Violeta et al., análisis del SVCC 2025, 2025 |
| Enunciados del VCC 2018 con desviación estándar de las valoraciones superior a 1 | cerca de la mitad | Lo et al., MOSNet 2019 |
| Mayor caída de MOS por el sesgo de ecualización de rango | 1,28 puntos | Cooper y Yamagishi, Interspeech 2023 |
Metodología y Fuentes
- Toda et al.: The Voice Conversion Challenge 2016, Interspeech 2016 (ISCA Archive)
- Wester, Wu y Yamagishi: Analysis of the Voice Conversion Challenge 2016 Evaluation Results, Interspeech 2016
- Lorenzo-Trueba et al.: The Voice Conversion Challenge 2018: Promoting Development of Parallel and Nonparallel Methods (2018)
- Zhao et al.: Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion (2020)
- Das et al.: Predictions of Subjective Ratings and Spoofing Assessments of Voice Conversion Challenge 2020 Submissions (2020)
- Huang, Yang, Hayashi y Toda: A Comparative Study of Self-supervised Speech Representation Based Voice Conversion, IEEE JSTSP 2022
- Huang et al.: The Singing Voice Conversion Challenge 2023
- Violeta et al.: An Extensive Analysis of the Singing Voice Conversion Challenge 2025 Evaluation Results (2025, revisado en 2026)
- Lo et al.: MOSNet: Deep Learning-based Objective Assessment for Voice Conversion (2019)
- Ahn et al. (KAIST y Samsung Research): VoxSim: A perceptual voice similarity dataset, Interspeech 2024
- Carbonneau et al. (Ubisoft La Forge y Stellenbosch University): Analyzing and Improving Speaker Similarity Assessment for Speech Synthesis (2025)
- Li, Kumar y Jin (Columbia University y Adobe Research): DMOSpeech (2025)
- Cooper y Yamagishi (NII): Investigating Range-Equalizing Bias in Mean Opinion Score Ratings of Synthesized Speech, Interspeech 2023
- Chiang, Huang y Lee (National Taiwan University): Why We Should Report the Details in Subjective Evaluation of TTS More Rigorously (2023)
- Yao et al. (Northwestern Polytechnical University y Ximalaya): StableVC, AAAI 2025
- Zhang et al. (CUHK-Shenzhen y Meta AI): Vevo: Controllable Zero-Shot Voice Imitation, ICLR 2025
- Zheng et al.: X-VC: Zero-shot Streaming Voice Conversion in Codec Space (abril de 2026)
- Baas, van Niekerk y Kamper (Stellenbosch University): Voice Conversion With Just Nearest Neighbors, Interspeech 2023
- Nota sobre los datos: el análisis del SVCC 2025 relata los resultados entre idiomas del VCC 2020 como alrededor de 4,0 de naturalidad y alrededor del 90% de similitud, mientras que el propio artículo de los organizadores del VCC 2020 dice que menos del 80% de las muestras entre idiomas se juzgaron iguales al objetivo; usamos la cifra de los organizadores. Varios artículos discrepan internamente por márgenes pequeños (texto de MOSNet con 0,624 frente a 0,642 en la tabla para la correlación por enunciado, caso en el que usamos la tabla; texto de VoxSim con 0,733 frente a 0,752 en la tabla para un modelo preentrenado; DMOSpeech con -0,15 frente a -0,16 para la correlación del WER), y el número de sistemas del artículo del SVCC 2025 difiere entre versiones (26 en la versión anterior, 33 en la actual). El artículo de JSTSP incluye a USTC-2020 en la misma tabla que sus propios sistemas sin aclarar si esas puntuaciones provienen de su propia prueba de escucha. El artículo del SVCC 2025 no define sus puntuaciones de precisión de estilo por estilo ni indica de qué sistemas son promedio, así que conviene leerlas como un ranking de dificultad y no como valores absolutos. Las puntuaciones de similitud del hablante de distintos artículos usan modelos de embedding, conjuntos de prueba y grupos de oyentes diferentes, por lo que no son comparables entre filas, y las cifras entre idiomas de 2026 usan un subconjunto de prueba distinto del de las cifras dentro del mismo idioma. Los datos más recientes disponibles para los desafíos solo de habla son los del VCC 2020; la evidencia más nueva de VC para habla proviene de artículos individuales, no de una prueba de escucha común.
Última actualización: 31 de octubre de 2026. Actualizamos este informe trimestralmente, y la próxima revisión se espera cuando se publiquen los resultados de las pruebas de escucha del próximo Voice Conversion Challenge o Singing Voice Conversion Challenge.