In der Voice Conversion Challenge 2020 waren acht intralinguale Systeme in den Ähnlichkeitstests statistisch nicht vom echten Zielsprecher zu unterscheiden, wobei über 90% ihrer konvertierten Proben als dieselbe Person beurteilt wurden (Zhao et al., Überblick zum VCC 2020). Vier Jahre zuvor erreichte das beste System des VCC 2016 im Durchschnitt nur 3,0 auf einer 5-Punkte-Skala für Natürlichkeit, und die Spitzensysteme überzeugten die Hörer in etwa 70% der Fälle. Bei der Natürlichkeit hat sich die Lücke nicht so sauber geschlossen: Kein System des VCC 2020 erreichte menschliche Natürlichkeit, und in der Singing Voice Conversion Challenge 2025 erzielten die Spitzensysteme rund 3,7 gegenüber rund 3,9 für echte Aufnahmen. Diese Zusammenstellung betrachtet, wie Stimmkonversion gemessen wird, nicht wie sie verkauft wird; Daten zu Verbreitung und Markt finden sich in unseren Statistiken zum Stimmklonen, Hörwerte zur Text-to-Speech-Synthese in unseren Statistiken zum MOS der Natürlichkeit synthetischer Sprache. Wir haben Daten aus den Voice Conversion Challenges 2016, 2018 und 2020, den Singing Voice Conversion Challenges 2023 und 2025, aus begutachteten Fachartikeln von Interspeech, ICLR, AAAI und IEEE JSTSP sowie aus aktuellen Studien zu Metriken der Sprecherähnlichkeit und zu Verzerrungen in Hörtests zusammengeführt.
TL;DR
- 8 intralinguale VCC-2020-Systeme unterschieden sich in der Ähnlichkeit nicht signifikant vom Zielsprecher (Zhao et al., Überblick zum VCC 2020, 2020).
- Ein Zero-Shot-System von 2025 erzielte 3,96 MOS für die Natürlichkeit gegenüber 4,33 für die Referenzaufnahmen (Yao et al., StableVC, AAAI 2025).
- Die Sprecherähnlichkeit eines Systems im Codec-Raum von 2026 sank von 0,63 auf Englisch auf 0,49 bei der Konversion von Chinesisch zu Englisch (Zheng et al., X-VC 2026).
- Die Ähnlichkeit eines Systems mit selbstüberwachten Merkmalen sank von 59% auf 28%, als von der Beliebig-zu-Eins- zur Beliebig-zu-Beliebig-Konversion gewechselt wurde (Huang et al., IEEE JSTSP 2022).
- 20 von 31 VCC-2020-Systemen täuschten ein Sprecherverifikationssystem in mehr als 90% der Fälle (Das et al., objektive Bewertung des VCC 2020, 2020).
- Die Ähnlichkeit per Sprecher-Embedding korrelierte mit 0,768 mit menschlichen Bewertungen bei echter Sprache, aber nur mit 0,512 bei konvertierter Sprache aus dem VCC 2018 (Ahn et al., VoxSim, Interspeech 2024).
- Bei etwa der Hälfte der VCC-2018-Äußerungen lag die Standardabweichung über ihre vier Hörerbewertungen über 1 Punkt (Lo et al., MOSNet 2019).
- Der MOS eines Systems kann um bis zu rund einen ganzen Punkt sinken, wenn es nur neben stärkeren Systemen bewertet wird (Cooper und Yamagishi, Interspeech 2023).
- Das beste Gesangssystem der SVCC 2023 erreichte die Natürlichkeit der Referenzaufnahmen (rund 3,9), kam aber auf 65% Ähnlichkeit gegenüber 80% (Violeta et al., SVCC-2025-Analyse, 2025).
- Gehauchter Gesang war der am schwersten zu konvertierende Stil in der SVCC 2025, mit 37,3% Stilgenauigkeit (Violeta et al., SVCC-2025-Analyse, 2025).
1. Ein Jahrzehnt Challenge-Ergebnisse: Von 70% zur Ähnlichkeit auf Zielsprecher-Niveau
Die Stimmkonversion (Voice Conversion, VC) verändert, nach wem eine Aufnahme klingt, und behält dabei bei, was gesagt wird. Der gemeinsame Maßstab des Fachgebiets ist die Voice Conversion Challenge (VCC), bei der jedes Team dieselben Sätze zwischen denselben Sprechern konvertiert und ein großer Hörtest sie alle bewertet. Die Natürlichkeit wird auf einer 5-Punkte-Skala des mittleren Meinungswerts (MOS) bewertet; die Ähnlichkeit wird beurteilt, indem Hörer gefragt werden, ob ein konvertierter und ein echter Ausschnitt vom selben Sprecher stammen.
Die Entwicklung verläuft steil. Das beste System des VCC 2016 erreichte im Durchschnitt 3,0 bei der Natürlichkeit, während im VCC 2020 acht Systeme bei der Ähnlichkeit statistisch mit dem echten Zielsprecher gleichauf lagen (Zhao et al., Überblick zum VCC 2020). Interessant ist die Reihenfolge des Fortschritts: Die Hörer konnten konvertierte Ausschnitte bei sauberem Englisch innerhalb derselben Sprache nicht mehr vom Ziel unterscheiden, bevor irgendein System menschliche Natürlichkeit erreichte.
| Metrik | Wert | Quelle |
|---|---|---|
| Forschungsgruppen, die zum VCC 2016 Systeme einreichten | 17 | Toda et al., The Voice Conversion Challenge 2016, Interspeech 2016 |
| Hörer im Test des VCC 2016, durchgeführt in einer kontrollierten Umgebung | 200 | Toda et al., The Voice Conversion Challenge 2016, Interspeech 2016 |
| Spitzensysteme des VCC 2016, Anteil der Proben, die als derselbe Sprecher wie das Ziel beurteilt wurden | rund 70% | Wester et al., Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| Bestes System des VCC 2016, durchschnittliche Natürlichkeit auf der 5-Punkte-Skala | 3,0 | Zhao et al., Überblick zum VCC 2020, 2020 |
| Bestes System des VCC 2018 (N10): Natürlichkeit / Anteil, der als gleich dem Ziel beurteilt wurde | etwa 4,1 / etwa 80% | Lorenzo-Trueba et al., VCC-2018-Beitrag |
| VCC-2020-Systeme innerhalb derselben Sprache ohne signifikanten Unterschied zum Zielsprecher in der Ähnlichkeit | 8 | Zhao et al., Überblick zum VCC 2020, 2020 |
Kontexthinweis: Der Gewinner des VCC 2018 stützte sich auf einen Inhaltsextraktor, der mit Hunderten Stunden externer Sprache trainiert wurde, sowie auf einen sprecherabhängigen WaveNet-Vocoder (Lorenzo-Trueba et al., VCC 2018). Nur 3 Teams des VCC 2018 nutzten die Option für externe Daten. Aktuellste verfügbare Daten für die Sprach-Challenges: VCC 2020, da die vierte Ausgabe 2023 zum Gesang wechselte und umbenannt wurde (siehe Abschnitt 6).
2. Die Natürlichkeitslücke: Wie weit die besten Systeme von echter Sprache entfernt sind
Ein Urteil ‘derselbe Sprecher’ bedeutet nicht, dass der Ausschnitt menschlich klingt. Jede Challenge hat natürliche Aufnahmen als Anker im Test behalten, und diese Anker zeigen eine anhaltende Lücke. Ein Vergleich von 2022 führt USTC-2020, das beste System der intralingualen Aufgabe des VCC 2020, mit 4,41 MOS für die Natürlichkeit gegenüber 4,57 für die echten Zielaufnahmen, eine Lücke von 0,16 Punkten (4,57 minus 4,41) (Huang et al., IEEE JSTSP 2022). Dieses System erreichte im Ähnlichkeitstest außerdem 82%.
Bei Zero-Shot-Systemen, die anhand eines kurzen Referenzausschnitts in eine im Training nie gesehene Stimme konvertieren, ist die Lücke größer. Ein AAAI-Artikel von 2025 maß für sein System 3,96 MOS gegenüber 4,33 für die Referenzaufnahmen bei VCTK-Sprechern, eine Lücke von 0,37 Punkten, obwohl ein automatischer MOS-Prädiktor die beiden nur 0,12 auseinander sah (Yao et al., StableVC, AAAI 2025). In diesem Test war der automatische Prädiktor der mildere Richter, ein Grund, solche Werte neben einem Hörtest zu lesen.
| Metrik | Wert | Quelle |
|---|---|---|
| Natürliche Aufnahmen im VCC 2016: Natürlichkeit / Anteil, der als derselbe Sprecher beurteilt wurde | 4,5 / 90% | Violeta et al., SVCC-2025-Analyse, 2025 |
| VCC-2016-Systeme, die als signifikant weniger natürlich bewertet wurden als die echten Quell- und Zielsprecher | alle Systeme | Wester et al., Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| Bestes System des VCC 2018 gegenüber echter Zielsprache (Wilcoxon-Vorzeichen-Rang-Test, Bonferroni, α = 0,01) | signifikant verschieden sowohl bei Natürlichkeit als auch bei Ähnlichkeit | Lorenzo-Trueba et al., VCC-2018-Beitrag |
| Bestes System des VCC 2020 (USTC-2020) gegenüber Zielaufnahmen, MOS der Natürlichkeit innerhalb derselben Sprache | 4,41 gegenüber 4,57 | Huang et al., IEEE JSTSP 2022 |
| Bestes System mit selbstüberwachten Merkmalen gegenüber einfacher Baseline mit Mel-Spektrogramm, MOS der Natürlichkeit | 3,59 gegenüber 2,61 | Huang et al., IEEE JSTSP 2022 |
| Zero-Shot-System gegenüber Referenzaufnahmen, MOS der Natürlichkeit durch Hörer (VCTK-Sprecher) | 3,96 ±0,04 gegenüber 4,33 ±0,04 | Yao et al., StableVC, AAAI 2025 |
| Derselbe Vergleich mit UTMOS, einem automatischen Prädiktor der Natürlichkeit | 4,12 gegenüber 4,24 | Yao et al., StableVC, AAAI 2025 |
| Beste von sechs veröffentlichten Zero-Shot-Baselines, MOS der Natürlichkeit durch Hörer | 3,67 ±0,07 | Yao et al., StableVC, AAAI 2025 |
Hinweis zum Ausreißer: Im VCC 2020 bewerteten japanische Hörer die Natürlichkeit des führenden Systems T10 innerhalb derselben Sprache als vergleichbar mit dem Zielsprecher, englische Hörer dagegen nicht (Zhao et al., Überblick zum VCC 2020). Ein Paritätsurteil kann also davon abhängen, wer zuhört, weshalb der Hörerkreis in jedes berichtete Ergebnis gehört.
3. Verständlichkeit und Spektralmetriken: Was WER und MCD leisten und was nicht
Objektive Metriken sind billig und wiederholbar, deshalb stützen sich Fachartikel auf sie. Zwei Familien kehren wieder: die Verständlichkeit, gemessen als Wortfehlerrate (WER) oder Zeichenfehlerrate (CER) eines automatischen Spracherkenners, der das konvertierte Audio transkribiert, und der Spektralabstand, meist die Mel-Cepstral-Distortion (MCD), die misst, wie weit das konvertierte Spektrum vom Spektrum des Ziels entfernt liegt. Bei beiden gilt: Niedriger ist besser.
Die VCC-Daten zeigen, dass der WER die Natürlichkeit recht gut und die Ähnlichkeit schlecht abbildet. Im VCC 2018 korrelierte der WER bei der nicht parallelen Aufgabe mit -0,7127 mit der Natürlichkeit, aber nur mit -0,2272 mit der Sprecherähnlichkeit (Lorenzo-Trueba et al., VCC 2018). Als Näherung für die Natürlichkeit wirkt die MCD sogar noch schwächer: In der Singing Voice Conversion Challenge 2023 korrelierte sie bei keiner der beiden Hörergruppen signifikant mit den domäneninternen Natürlichkeitsbewertungen (Huang et al., SVCC 2023). Spracherkenner haben außerdem ihre eigenen Fehlerbilder, die in unseren Statistiken zu Halluzinationen bei der Spracherkennung behandelt werden, sodass ein niedriger WER nur sagt, dass die Wörter erhalten blieben, nicht dass die Stimme richtig klingt.
| Metrik | Wert | Quelle |
|---|---|---|
| ASR-Wortfehlerrate bei natürlicher Quellsprache, VCC 2018 | 6,40% | Lorenzo-Trueba et al., VCC-2018-Beitrag |
| Niedrigster / höchster WER unter den konvertierten Hub-Systemen des VCC 2018 | 8,60% / 35,60% | Lorenzo-Trueba et al., VCC-2018-Beitrag |
| Korrelation des WER mit dem MOS der Natürlichkeit / mit der Ähnlichkeit, Hub-Aufgabe mit parallelen Daten und nicht parallele Spoke-Aufgabe des VCC 2018 | Hub -0,6587 / -0,3218; Spoke -0,7127 / -0,2272 | Lorenzo-Trueba et al., VCC-2018-Beitrag |
| VCC-2020-Teams innerhalb derselben Sprache mit WER unter 5% / über 50% | 7 / 7 | Das et al., objektive Bewertung des VCC 2020, 2020 |
| MCD, einfache Baseline mit Mel-Spektrogramm gegenüber dem besten VCC-2020-System (VCC-2020-Daten) | 8,47 gegenüber 6,98 | Huang et al., IEEE JSTSP 2022 |
| Spearman-Korrelation der MCD mit dem domäneninternen MOS der Natürlichkeit, SVCC 2023 (japanische / englische Hörer) | -0,28 / -0,24 (nicht signifikant) | Huang et al., SVCC-2023-Beitrag |
| Spearman-Korrelation der Whisper-basierten CER mit dem domäneninternen MOS der Natürlichkeit, SVCC 2023 (japanische Hörer) | -0,80 (p < 0,01) | Huang et al., SVCC-2023-Beitrag |
Kontexthinweis: Die Streuung im VCC 2020 ist groß. Der schlechteste Beitrag innerhalb derselben Sprache kam auf einen WER von 96,17%, das heißt, für den Erkenner blieb von der Konversion fast nichts erhalten, während sieben Teams unter 5% blieben (Das et al., objektive Bewertung des VCC 2020).
4. Ähnlichkeit per Sprecher-Embedding: nützlich, beliebt und fragil
Ein üblicher automatischer Ähnlichkeitswert ist die Kosinus-Ähnlichkeit von Sprecher-Embeddings (oft SECS oder SIM genannt): Beide Ausschnitte werden durch ein Netz zur Sprecherverifikation geschickt, und der Winkel zwischen den entstehenden Vektoren wird verglichen. Bei Challenge-Daten stimmt sie auf Systemebene gut mit den Hörern überein. Im VCC 2020 korrelierte die Fehlerrate der Sprecherverifikation in den beiden Aufgaben mit 0,89 und 0,90 mit der Hörerähnlichkeit (Das et al., objektive Bewertung des VCC 2020), und 20 von 31 Systemen innerhalb derselben Sprache wurden vom Verifikator in mehr als 90% der Fälle als das Ziel akzeptiert. Die Rate der ‘Falschakzeptanz’ ist hier der Anteil der konvertierten Ausschnitte, die der Verifikator fälschlich als echten Zielsprecher akzeptiert, ein höherer Wert bedeutet also eine überzeugendere Konversion.
Die Übereinstimmung pro Äußerung ist eine andere Geschichte. Ein vortrainiertes ECAPA-TDNN-Embedding erreichte eine lineare Korrelation von 0,768 mit menschlichen Bewertungen bei echten Stimmpaaren, fiel aber bei konvertierter Sprache aus dem VCC 2018 auf 0,512 (Ahn et al., VoxSim, Interspeech 2024). Eine Studie von 2025 von Ubisoft La Forge und der Stellenbosch University stellte fest, dass Verifikationsmodelle kurze und lange Ausschnitte desselben Sprechers deutlich über dem Zufall trennen und dass Rauschen und Entzerrung die Werte verschieben, ein SIM-Wert also teilweise die Aufnahmebedingungen misst (Carbonneau et al. 2025). Wer Software zum Stimmklonen anhand veröffentlichter SIM-Werte vergleicht, sollte prüfen, ob dasselbe Embedding-Modell, derselbe Testsatz und dieselben Ausschnittlängen verwendet wurden.
| Metrik | Wert | Quelle |
|---|---|---|
| VCC-2020-Systeme innerhalb derselben Sprache, die von einem Sprecherverifikator in mehr als 90% der Fälle als das Ziel akzeptiert wurden | 20 von 31 | Das et al., objektive Bewertung des VCC 2020, 2020 |
| Sprachübergreifende VCC-2020-Systeme oberhalb derselben Schwelle von 90% Falschakzeptanz | 10 | Das et al., objektive Bewertung des VCC 2020, 2020 |
| Pearson-Korrelation der Verifikator-Fehlerrate mit der Hörerähnlichkeit, VCC 2020 Aufgabe 1 / Aufgabe 2 | 0,89 / 0,90 | Das et al., objektive Bewertung des VCC 2020, 2020 |
| Pearson-Korrelation der Kosinus-Distanz der Embeddings mit der Hörerähnlichkeit, VCC 2020 Aufgabe 1 / Aufgabe 2 | 0,85 / 0,82 | Das et al., objektive Bewertung des VCC 2020, 2020 |
| Vortrainierter ECAPA-TDNN-Sprechererkenner gegenüber menschlicher Ähnlichkeit, echte Sprachpaare (lineare Korrelation) | 0,768 | Ahn et al., VoxSim, Interspeech 2024 |
| Dasselbe vortrainierte Modell bei konvertierter Sprache aus dem VCC 2018 (lineare Korrelation) | 0,512 | Ahn et al., VoxSim, Interspeech 2024 |
| Embedding-Ähnlichkeit gegenüber menschlichen Bewertungen der Stimmähnlichkeit in einer Zero-Shot-Synthesestudie (auf Äußerungsebene) | 0,55 | Li et al., DMOSpeech 2025 |
| Gleichfehlerrate des Verifikators, wenn kurze Ausschnitte eines Sprechers mit seinen eigenen langen Ausschnitten verglichen werden (ECAPA-TDNN; 0,50 bedeutet nicht unterscheidbar) | 0,34 ±0,04 | Carbonneau et al. 2025 |
Hinweis zum Ausreißer: Das Hinzufügen von Rauschen mit einem Signal-Rausch-Verhältnis von 20 dB hob die Gleichfehlerrate desselben ECAPA-TDNN für saubere gegenüber verrauschten Ausschnitten eines Sprechers auf 0,34, bei 0 dB auf 0,05 (Carbonneau et al. 2025). In einfachen Worten: Der Verifikator beginnt, eine verrauschte Kopie einer Stimme als andere Person zu behandeln.
5. Innerhalb der Domäne, sprachübergreifend und Beliebig-zu-Beliebig: Wo die Werte einbrechen
Benchmark-Zahlen werden meist für die freundlichste Konstellation berichtet: dieselbe Sprache, Studioaudio und ein Zielsprecher, mit dem das Modell trainiert wurde (Beliebig-zu-Eins-Konversion). Ändert sich einer dieser Faktoren, sinken die Werte. Das führende VCC-2020-System T10 verlor 0,75 MOS-Punkte bei der Natürlichkeit, als von der Konversion innerhalb derselben Sprache zur sprachübergreifenden Konversion gewechselt wurde, und in dieser Aufgabe wurden weniger als 80% der Proben als der Zielsprecher beurteilt (Zhao et al., Überblick zum VCC 2020). Die Hörer vergaben außerdem niedrigere Ähnlichkeitswerte, wenn der Referenzausschnitt in der Zweitsprache des Sprechers statt auf Englisch war.
Der stärkste Einbruch kommt von ungesehenen Zielsprechern (Beliebig-zu-Beliebig-Konversion). Im Vergleich des IEEE JSTSP behielt ein System mit selbstüberwachten Merkmalen seine Natürlichkeit nahezu unverändert, aber seine Ähnlichkeit halbierte sich (Huang et al., IEEE JSTSP 2022). Aktuelle Zero-Shot-Systeme zeigen die Lücke weiterhin: Bei akzentuierter und emotionaler Sprache maßen die Autoren von ICLR 2025 eine Sprecherähnlichkeit von 0,762 für die Referenzaufnahmen gegenüber 0,517 für die beste konvertierte Ausgabe (Zhang et al., Vevo, ICLR 2025).
| Metrik | Wert | Quelle |
|---|---|---|
| USTC-2020, Anteil, der als gleich dem Ziel beurteilt wurde, dieselbe Sprache gegenüber sprachübergreifend | 82% gegenüber 43% | Huang et al., IEEE JSTSP 2022 |
| System mit selbstüberwachten Merkmalen, bekannter Zielsprecher (Beliebig-zu-Eins) gegenüber ungesehenem Zielsprecher (Beliebig-zu-Beliebig): Ähnlichkeit / MOS der Natürlichkeit | 59% gegenüber 28% / 3,59 gegenüber 3,58 | Huang et al., IEEE JSTSP 2022 |
| Hub-Systeme des VCC 2018 außer dem Gewinner, MOS der Natürlichkeit bei Paaren gleichen gegenüber unterschiedlichen Geschlechts | 3,08 gegenüber 2,78 | Lorenzo-Trueba et al., VCC-2018-Beitrag |
| Sprecherähnlichkeit eines Zero-Shot-Systems im Codec-Raum, dieselbe Sprache (Englisch / Chinesisch) gegenüber sprachübergreifend (Englisch zu Chinesisch / Chinesisch zu Englisch) | 0,63 / 0,73 gegenüber 0,52 / 0,49 | Zheng et al., X-VC 2026 |
| Sprecherähnlichkeit bei akzentuierter und emotionaler Sprache, echte Aufnahmen gegenüber bester konvertierter Ausgabe | 0,762 gegenüber 0,517 | Zhang et al., Vevo, ICLR 2025 |
Kontexthinweis: Der Artikel von 2026 zum System im Codec-Raum bewertete die sprachübergreifenden Paare an einer anderen Teilmenge (den ersten 1.000 Äußerungen pro Sprache), sodass seine Werte für dieselbe Sprache und sprachübergreifend eher Anhaltspunkte als ein kontrollierter Vergleich sind (Zheng et al., X-VC 2026). Seine Streaming-Version lief mit 240 ms Modelllatenz.
6. Gesangsstimmkonversion: Natürlichkeitsparität, Identitätslücke
Gesang fordert die Stimmkonversion auf eine Weise, die Sprache nicht tut: größerer Tonumfang, gehaltene Töne und Techniken wie Vibrato. Die Singing Voice Conversion Challenge (SVCC) übernahm 2023 das Challenge-Format. Das beste System der SVCC 2023 erreichte die Natürlichkeit der Referenzaufnahmen von rund 3,9, kam aber nur auf 65% Ähnlichkeit gegenüber 80% beim echten Sänger (Violeta et al., SVCC-2025-Analyse). Das ist das Gegenteil der Geschichte bei der Sprache, wo zuerst die Identität erreicht wurde.
Die SVCC 2025 ergänzte die Konversion des Gesangsstils, und kein System erreichte menschliche Natürlichkeit. Der Stil war der schwierige Teil: Gehauchter Gesang, Glissando (Gleiten zwischen Tönen) und Vibrato waren die am wenigsten genau wiedergegebenen Techniken. Die Autoren stellten auch infrage, ob der übliche Ähnlichkeitstest für die Beurteilung des Stils geeignet ist. Auch die Identität des Sängers ist schwer zu bewerten: Selbst die Referenzaufnahmen erreichten in diesem Test nur rund 70%.
| Metrik | Wert | Quelle |
|---|---|---|
| Einreichungen zur SVCC 2023 plus Baselines | 24 + 2 | Huang et al., SVCC-2023-Beitrag |
| Hörer der SVCC 2023, englisch / japanisch | 40 / 319 | Huang et al., SVCC-2023-Beitrag |
| Teams der SVCC 2023 mit Natürlichkeit über 3,0, domäneninterne gegenüber domänenübergreifender Aufgabe | 14 gegenüber 8 | Huang et al., SVCC-2023-Beitrag |
| Bestes System der SVCC 2023 gegenüber Referenzaufnahmen: Natürlichkeit / Ähnlichkeit | rund 3,9 / 65% gegenüber rund 3,9 / 80% | Violeta et al., SVCC-2025-Analyse, 2025 |
| Beste Systeme der SVCC 2025 gegenüber Referenzaufnahmen: Natürlichkeit / Stilähnlichkeit | rund 3,7 / 70% gegenüber rund 3,9 / 90% | Violeta et al., SVCC-2025-Analyse, 2025 |
| Stilgenauigkeit in der SVCC 2025 für gehauchten Gesang / Glissando / Vibrato | 37,3% / 42,6% / 43,9% | Violeta et al., SVCC-2025-Analyse, 2025 |
| Maximale Spearman-Korrelation zwischen irgendeiner objektiven Metrik und den subjektiven Werten, SVCC 2025 | etwa 0,8 | Violeta et al., SVCC-2025-Analyse, 2025 |
Kontexthinweis: In der SVCC 2023 lag die Ähnlichkeitslücke zwischen dem Ziel und dem besten System in beiden Aufgaben bei etwa 0,4 Punkten auf der 4-Punkte-Skala (Huang et al., SVCC 2023), und der Abstand der Sprecher-Embeddings war die objektive Metrik mit der stärksten Korrelation zur Ähnlichkeit (-0,83 Spearman bei japanischen Hörern, domäneninterne Aufgabe).
7. Zuverlässigkeit der Bewertung: Hörerzahlen, Varianz und Verzerrung
Jede der obigen Zahlen beruht auf menschlichen Bewertungen, und diese Bewertungen sind verrauscht. Bei etwa der Hälfte der VCC-2018-Äußerungen war die Standardabweichung über ihre vier Hörerbewertungen größer als 1 Punkt auf der 5-Punkte-Skala (Lo et al., MOSNet). Die Mittelung behebt davon auf Systemebene einen großen Teil, weshalb automatische Prädiktoren dort stark wirken (Korrelation 0,957) und pro Äußerung schwach (0,642).
Auch das Testdesign verschiebt die Werte. Cooper und Yamagishi zeigten, dass die gemeinsame Bewertung nur der stärksten Systeme den MOS eines Systems um bis zu rund einen ganzen Punkt senken kann, weil die Hörer ihre Werte unabhängig vom Qualitätsbereich über die gesamte Skala verteilen (Cooper und Yamagishi, Interspeech 2023). Eine Untersuchung von 80 Interspeech-2022-Artikeln zur Sprachsynthese ergab, dass 51 keine Anweisungen an die Hörer angaben (Chiang et al. 2023), und in derselben Studie bewerteten Crowdworker aus Großbritannien ein System mit 2,64, während Crowdworker aus den USA es mit 3,73 bewerteten.
| Metrik | Wert | Quelle |
|---|---|---|
| Einzelne Hörer / bewertete Äußerungen im VCC 2018 | 267 / 113.168 | Lorenzo-Trueba et al., VCC-2018-Beitrag |
| VCC-2018-Äußerungen, deren vier Bewertungen eine Standardabweichung über 1 hatten | etwa die Hälfte | Lo et al., MOSNet 2019 |
| Automatischer MOS-Prädiktor gegenüber menschlichem MOS im VCC 2018, Äußerungsebene gegenüber Systemebene (lineare Korrelation) | 0,642 gegenüber 0,957 | Lo et al., MOSNet 2019 |
| Kosten der beiden Hörtests des VCC 2020 (englische und japanische Hörer) | 738.128 Yen (ca. 6.900 USD) | Zhao et al., Überblick zum VCC 2020, 2020 |
| Übereinstimmung zwischen den Werten japanischer und englischer Hörer, VCC 2020 | Korrelationen von 0,965 bis 0,984 | Zhao et al., Überblick zum VCC 2020, 2020 |
| Größter MOS-Rückgang eines Systems, wenn es nur neben den besten 6% der Systeme bewertet wird | 1,28 Punkte | Cooper und Yamagishi, Interspeech 2023 |
| Interspeech-2022-Artikel zur Sprachsynthese (von 80) ohne Anweisungen an die Hörer | 51 | Chiang et al., Interspeech 2023 |
| In einem Hörtest mit 501 Crowdworkern für ungültig erklärte Antworten | etwa 30% | Li et al., DMOSpeech 2025 |
Kontexthinweis: Einzelne Fachartikel führen deutlich kleinere Tests durch als die Challenges. Ein Interspeech-Artikel von 2023 zur Konversion mit nächsten Nachbarn sammelte 2.144 Natürlichkeitsbewertungen von 61 Hörern und 1.636 Ähnlichkeitsbewertungen von 208 Hörern (Baas et al., Interspeech 2023). Die berichteten Intervalle lagen bei etwa ±0,1 Punkten, ein kleinerer Abstand zwischen zwei nahen Systemen sagt daher wenig aus.
Zusammenfassung: Benchmark für Sprecherähnlichkeit und Natürlichkeit bei der Stimmkonversion in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Bestes System des VCC 2016, Natürlichkeit / höchste Ähnlichkeit | 3,0 / rund 70% | Zhao et al., Überblick zum VCC 2020, 2020; Wester et al., Interspeech 2016 |
| Bestes System des VCC 2018, Natürlichkeit / Ähnlichkeit | etwa 4,1 / etwa 80% | Lorenzo-Trueba et al., VCC-2018-Beitrag |
| Natürliche Aufnahmen im VCC 2016: Natürlichkeit / Ähnlichkeit | 4,5 / 90% | Violeta et al., SVCC-2025-Analyse, 2025 |
| USTC-2020 gegenüber Zielaufnahmen, MOS der Natürlichkeit | 4,41 gegenüber 4,57 | Huang et al., IEEE JSTSP 2022 |
| Zero-Shot-System gegenüber Referenzaufnahmen, MOS der Natürlichkeit durch Hörer | 3,96 gegenüber 4,33 | Yao et al., StableVC, AAAI 2025 |
| Korrelation der MCD mit der domäneninternen Natürlichkeit, SVCC 2023 | -0,28 / -0,24 (nicht signifikant) | Huang et al., SVCC-2023-Beitrag |
| VCC-2020-Systeme innerhalb derselben Sprache, die einen Sprecherverifikator in mehr als 90% der Fälle täuschen | 20 von 31 | Das et al., objektive Bewertung des VCC 2020, 2020 |
| Embedding-Ähnlichkeit gegenüber menschlichen Bewertungen, echte gegenüber konvertierter Sprache | 0,768 gegenüber 0,512 | Ahn et al., VoxSim, Interspeech 2024 |
| Fehlerrate des Verifikators, kurze gegenüber langen Ausschnitten desselben Sprechers (0,50 = nicht unterscheidbar) | 0,34 | Carbonneau et al. 2025 |
| Ähnlichkeit, Beliebig-zu-Eins- gegenüber Beliebig-zu-Beliebig-Konversion | 59% gegenüber 28% | Huang et al., IEEE JSTSP 2022 |
| Ähnlichkeit, dieselbe Sprache gegenüber Konversion von Chinesisch zu Englisch (System von 2026) | 0,63 gegenüber 0,49 | Zheng et al., X-VC 2026 |
| Sprecherähnlichkeit, echte Aufnahmen gegenüber bester konvertierter Ausgabe bei akzentuierter und emotionaler Sprache | 0,762 gegenüber 0,517 | Zhang et al., Vevo, ICLR 2025 |
| Ähnlichkeit des besten Systems der SVCC 2023 gegenüber Referenzaufnahmen | 65% gegenüber 80% | Violeta et al., SVCC-2025-Analyse, 2025 |
| VCC-2018-Äußerungen mit einer Standardabweichung der Bewertungen über 1 | etwa die Hälfte | Lo et al., MOSNet 2019 |
| Größter MOS-Rückgang durch die Verzerrung der Bereichsangleichung | 1,28 Punkte | Cooper und Yamagishi, Interspeech 2023 |
Methodik und Quellen
- Toda et al.: The Voice Conversion Challenge 2016, Interspeech 2016 (ISCA Archive)
- Wester, Wu und Yamagishi: Analysis of the Voice Conversion Challenge 2016 Evaluation Results, Interspeech 2016
- Lorenzo-Trueba et al.: The Voice Conversion Challenge 2018: Promoting Development of Parallel and Nonparallel Methods (2018)
- Zhao et al.: Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion (2020)
- Das et al.: Predictions of Subjective Ratings and Spoofing Assessments of Voice Conversion Challenge 2020 Submissions (2020)
- Huang, Yang, Hayashi und Toda: A Comparative Study of Self-supervised Speech Representation Based Voice Conversion, IEEE JSTSP 2022
- Huang et al.: The Singing Voice Conversion Challenge 2023
- Violeta et al.: An Extensive Analysis of the Singing Voice Conversion Challenge 2025 Evaluation Results (2025, überarbeitet 2026)
- Lo et al.: MOSNet: Deep Learning-based Objective Assessment for Voice Conversion (2019)
- Ahn et al. (KAIST und Samsung Research): VoxSim: A perceptual voice similarity dataset, Interspeech 2024
- Carbonneau et al. (Ubisoft La Forge und Stellenbosch University): Analyzing and Improving Speaker Similarity Assessment for Speech Synthesis (2025)
- Li, Kumar und Jin (Columbia University und Adobe Research): DMOSpeech (2025)
- Cooper und Yamagishi (NII): Investigating Range-Equalizing Bias in Mean Opinion Score Ratings of Synthesized Speech, Interspeech 2023
- Chiang, Huang und Lee (National Taiwan University): Why We Should Report the Details in Subjective Evaluation of TTS More Rigorously (2023)
- Yao et al. (Northwestern Polytechnical University und Ximalaya): StableVC, AAAI 2025
- Zhang et al. (CUHK-Shenzhen und Meta AI): Vevo: Controllable Zero-Shot Voice Imitation, ICLR 2025
- Zheng et al.: X-VC: Zero-shot Streaming Voice Conversion in Codec Space (April 2026)
- Baas, van Niekerk und Kamper (Stellenbosch University): Voice Conversion With Just Nearest Neighbors, Interspeech 2023
- Daten-Hinweis: Die SVCC-2025-Analyse gibt die sprachübergreifenden Ergebnisse des VCC 2020 mit rund 4,0 Natürlichkeit und rund 90% Ähnlichkeit wieder, während der Artikel der VCC-2020-Organisatoren selbst sagt, dass weniger als 80% der sprachübergreifenden Proben als gleich dem Ziel beurteilt wurden; wir verwenden die Zahl der Organisatoren. Mehrere Artikel weichen intern um kleine Beträge voneinander ab (MOSNet-Text 0,624 gegenüber 0,642 in der Tabelle für die Korrelation auf Äußerungsebene, wo wir die Tabelle verwenden; VoxSim-Text 0,733 gegenüber 0,752 in der Tabelle für ein vortrainiertes Modell; DMOSpeech -0,15 gegenüber -0,16 für die WER-Korrelation), und die Anzahl der Systeme im SVCC-2025-Artikel unterscheidet sich zwischen den Versionen (26 in der früheren, 33 in der aktuellen). Der JSTSP-Artikel führt USTC-2020 in derselben Tabelle wie seine eigenen Systeme auf, ohne zu sagen, ob diese Werte aus seinem eigenen Hörtest stammen. Der SVCC-2025-Artikel definiert seine Werte der Stilgenauigkeit pro Stil nicht und sagt auch nicht, über welche Systeme sie gemittelt sind; sie sind daher als Rangfolge der Schwierigkeit zu lesen, nicht als Absolutwerte. Werte zur Sprecherähnlichkeit aus verschiedenen Artikeln verwenden unterschiedliche Embedding-Modelle, Testsätze und Hörerkreise und sind daher zwischen den Zeilen nicht vergleichbar, und die sprachübergreifenden Zahlen von 2026 verwenden eine andere Testteilmenge als die Zahlen für dieselbe Sprache. Aktuellste verfügbare Daten für die reinen Sprach-Challenges sind die des VCC 2020; neuere Belege zur Sprach-VC stammen aus einzelnen Fachartikeln, nicht aus einem gemeinsamen Hörtest.
Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn die Hörtest-Ergebnisse der nächsten Voice Conversion Challenge oder Singing Voice Conversion Challenge veröffentlicht werden.