Das beste auf dem Opencpop-Korpus trainierte Modell zur Gesangssynthese erreichte 3,70 auf einer 5-Punkte-Skala des Mean Opinion Score (MOS), während die Aufnahmen der professionellen Sängerin selbst 4,51 erreichten (Wang et al., Opencpop-Studie, Interspeech 2022). In vier weiteren Benchmark-Studien lag das beste Modell zwischen 3,81 und 4,01, gegenüber 4,30 bis 4,54 für echte Aufnahmen (siehe Abschnitt 4). Auch Menschen sind nicht perfekt: 24 Erwachsene, die Happy Birthday aus dem Gedächtnis sangen, verfehlten ihre Zieltöne um einen Median von 19 Cent, etwa ein Fünftel eines Halbtons (Mauch, Frieler und Dixon, JASA 2014), und der mediane Hörer bemerkt eine verstimmte Singstimme erst ab etwa 55 Cent (Larrouy-Maestri, Harrison und Müllensiefen, Behavior Research Methods 2019). Die Sprachsynthese hat bei mehreren Benchmarks Parität erreicht, wie unsere Zusammenstellung der Statistiken zum MOS synthetischer Sprache zeigt, der Gesang aber nicht. Wir haben Daten aus den Korpusstudien zu Opencpop, M4Singer, GTSinger und ACE-Opencpop, den Singing Voice Conversion Challenges 2023 und 2025, der Deepfake-Erkennungs-Challenge SVDD 2024, dem Bewertungs-Benchmark SingMOS-Pro und begutachteter Gesangsforschung in JASA, Frontiers in Psychology, PLoS One und dem Journal of Research in Music Education zusammengeführt.
TL;DR
- Das beste Opencpop-Basismodell erreichte 3,70 MOS gegenüber 4,51 für die Originalaufnahmen (Wang et al., Opencpop-Studie, Interspeech 2022).
- 24 erwachsene Sänger trafen Töne mit einem medianen Fehler von 19 Cent (Mauch, Frieler und Dixon, JASA 2014).
- 28% von 50 Gelegenheitssängern wurden als intonationsschwache Sänger eingestuft (Berkowska und Dalla Bella, Frontiers in Psychology 2013).
- Nur 37% von 1.046 Personen waren bei einer strengen 50-Cent-Regel genaue Tonhöhenanpasser (Pfordresher und Demorest, JRME 2021).
- Der mediane Hörer erkennt Verstimmung ab einer Verschiebung von 54,989 Cent (Larrouy-Maestri, Harrison und Müllensiefen, Behavior Research Methods 2019).
- Die echte Tonhöhenkurve des Sängers hob bei DiffSinger den Prosodie-MOS von 3,72 auf 4,02, die Audioqualität aber nur von 3,92 auf 3,97 (Zhang et al., M4Singer, NeurIPS 2022).
- VISinger 2 fiel ohne seinen DSP-Synthesizer von 3,96 auf 3,02 MOS (Zhang et al., VISinger-2-Studie 2022).
- CoMelSinger kam bei unbekannten Sängern auf 0,24 Natürlichkeitspunkte an die Aufnahmen heran (Zhao et al., CoMelSinger 2026).
- ACE-Opencpop ergänzt 128,9 Stunden synthetisierten Gesang von 30 Stimmen (Shi et al., ACE-Opencpop-Studie 2024).
- Kein System erreichte beim SVCC 2025 menschliche Natürlichkeit, die besten lagen bei etwa 3,7 gegenüber rund 3,9 für echten Gesang (SVCC-2025-Analysestudie).
- SingMOS-Pro sammelte 44.247 Qualitätsbewertungen von 78 Annotatoren (SingMOS-Pro-Benchmark-Studie 2026).
- Der beste SVDD-2024-Detektor erreichte eine Equal Error Rate von 1,65% (Zhang et al., SVDD-2024-Challenge-Studie).
1. Die menschliche Referenz: Wie genau Menschen tatsächlich singen
Die Tonhöhengenauigkeit wird in Cent gemessen: 100 Cent entsprechen einem Halbton, dem Abstand zwischen zwei benachbarten Klaviertasten. Ein medianer Notenfehler von 19 Cent bei 24 unbegleiteten Sängern (Mauch, Frieler und Dixon, JASA 2014) ist das realistische Ziel für einen synthetischen Sänger, nicht null. Selbst geschulte Stimmen weichen ab: Profis wurden bei Intervallen weniger exakt, nicht genauer, als sie zur Operngesangstechnik wechselten.
Die Streuung in der Bevölkerung ist groß. Nur 24% der Teilnehmer ohne Ausbildung waren genaue Tonhöhenanpasser, in demselben Datensatz, in dem es 37% der gesamten Stichprobe waren (Pfordresher und Demorest, JRME 2021). Das Tempo erklärt einen großen Teil des Unterschieds: In einer klassischen Studie mit 62 Gelegenheitssängern erreichte die Mehrheit der 15 Nichtmusiker, die bei langsamerem Tempo erneut getestet wurden, die Genauigkeit von Profis, und nur zwei machten weiterhin viele Tonhöhenfehler (Dalla Bella, Giguère und Peretz, JASA 2007).
| Metrik | Wert | Quelle |
|---|---|---|
| Medianer Notenfehler, 24 Erwachsene singen Happy Birthday ohne Begleitung | 19 Cent | Mauch, Frieler und Dixon, JASA 2014 |
| Mediane absolute Tonhöhendrift über eine Darbietung von etwa 50 Sekunden | 11 Cent | Mauch, Frieler und Dixon, JASA 2014 |
| Mittlere Intervallabweichung, 14 professionelle Sänger ohne Operngesangstechnik | 32,81 Cent | Larrouy-Maestri und Morsomme, Logopedics Phoniatrics Vocology 2014 |
| Mittlere Intervallabweichung, 63 Gelegenheitssänger ohne formale Ausbildung | 50,83 Cent | Larrouy-Maestri und Morsomme, Logopedics Phoniatrics Vocology 2014 |
| Mittlere Intervallabweichung, dieselben Profis mit Operngesangstechnik (lyrisch) | 62,13 Cent | Larrouy-Maestri und Morsomme, Logopedics Phoniatrics Vocology 2014 |
| Als intonationsschwache Sänger eingestufte Gelegenheitssänger (2 Standardabweichungen vom Gruppenmittel) | 28% (14 von 50) | Berkowska und Dalla Bella, Frontiers in Psychology 2013 |
| Genaue Tonhöhenanpasser (90% oder mehr der Töne innerhalb von 50 Cent), kombinierte Stichprobe von 1.046 | 37% | Pfordresher und Demorest, JRME 2021 |
| Gesang als genau eingestuft, wenn das Kriterium auf 100 Cent gelockert wird | 94% | Pfordresher und Demorest, JRME 2021 |
Aktuellste verfügbare Daten: Pfordresher und Demorest, Journal of Research in Music Education 2021. Der Anteil intonationsschwacher Sänger schwankt mit dem Grenzwert: Bei einzelnen gesungenen Tönen lagen 6% derselben 50 Gelegenheitssänger jenseits der 2-SD-Linie, aber 58% jenseits von 50 Cent, sodass jede Prävalenzzahl nur so gut ist wie ihr Schwellenwert.
2. Hörertoleranz: Wie viel Tonhöhenfehler das Ohr verzeiht
Synthetische Sänger müssen keinen Stimmgerät-Test bestehen, sie müssen einen Hörer überzeugen. Die Fähigkeit des medianen Hörers zur Verstimmungserkennung entsprach einer Verschiebung der Gesangstonhöhe um 54,989 Cent in der Kalibrierung des Mistuning Perception Test mit 333 Personen, wobei 95% der Hörer zwischen 36,309 und 82,589 Cent lagen (Larrouy-Maestri, Harrison und Müllensiefen, Behavior Research Methods 2019). Das ist etwa ein halber Halbton und deutlich mehr als der mediane Notenfehler von 19 Cent aus Abschnitt 1, auch wenn beide Tests Unterschiedliches messen.
Gewöhnliche Hörer beurteilen die Tonhöhe dennoch konsistent. Die Bewertungen von Laienbeurteilern folgten der gemessenen Intervallabweichung fast so eng wie die von Experten, und sie waren insgesamt strenger (Larrouy-Maestri et al., PLoS One 2015). Für ein Syntheseverfahren heißt das, dass ein gelegentliches Publikum ein gültiges Testpanel für Tonhöhenfehler ist, nicht nur ein Panel von Gesangslehrern.
| Metrik | Wert | Quelle |
|---|---|---|
| Erkennungsschwelle, geringe vs hohe musikalische Ausbildung (Gold-MSI-Ausbildungswert 10 vs 40) | 65,173 vs 43,219 Cent | Larrouy-Maestri, Harrison und Müllensiefen, Behavior Research Methods 2019 |
| Korrekte Verstimmungserkennung, kleinste vs größte getestete Verschiebung (10 bis 100 Cent, Zufall = 50%) | 51,2% bis 81,5% | Larrouy-Maestri, Harrison und Müllensiefen, Behavior Research Methods 2019 |
| Korrelation mit der gemessenen Intervallabweichung: 3 Expertenbeurteiler vs Laienbeurteiler | ca. 0,83 vs ca. 0,79 | Larrouy-Maestri et al., PLoS One 2015 |
| Mittlere Intervallabweichung über 166 bewertete Darbietungen von Happy Birthday | 55,97 Cent (Spanne 10,10 bis 383) | Larrouy-Maestri et al., PLoS One 2015 |
| Korrelation zwischen Tonhöhenunterscheidung und Tonhöhenanpassung, 632 Freiwillige | r(630) = -.31, p < 0,001 | Pfordresher und Demorest, JRME 2021 |
Aktuellste verfügbare Daten: Larrouy-Maestri, Harrison und Müllensiefen, 2019. Der Test verschob die gesamte Gesangsspur um einen konstanten Betrag, misst also die Toleranz gegenüber einem durchgehend verstimmten Sänger und nicht gegenüber Fehlern, die von Note zu Note variieren, was die Autoren späteren Arbeiten überlassen.
3. Objektive Tonhöhenmetriken: Was SVS-Studien messen
Studien zur Gesangssynthese (SVS) bewerten die Tonhöhe mit dem F0-RMSE, dem quadratischen Mittelfehler zwischen der erzeugten und der echten Grundfrequenz (F0, der Tonhöhenkurve). Keine der von uns gesichteten SVS-Studien gab diesen Fehler in Cent an: Die Tabellen von Opencpop, VISinger 2 und CSSinger nennen überhaupt keine Einheit, und ACE-Opencpop verwendet eine logarithmische F0-Skala. Studien mit Menschen nutzen Cent, daher gibt es noch keinen sauberen Tonhöhenwert “Maschine vs Mensch”.
Was die Zahlen zeigen, ist die Rangfolge innerhalb eines Benchmarks. Auf Opencpop senkte ein Conformer-Modell den F0-RMSE von 29,99 auf 26,72 im Vergleich zu einem Transformer-Basismodell (Wang et al., Opencpop-Studie, Interspeech 2022), und VISinger 2 erreichte 26,0 mit 25,7M Parametern gegenüber 137,5M bei CpopSing (Zhang et al., VISinger-2-Studie 2022). Die Halbtongenauigkeit, als Prozentwert angegeben, ist die Metrik, die einem menschenähnlichen Wert am nächsten kommt, auch wenn die ACE-Opencpop-Studie ihre Formel nicht ausführt.
| Metrik | Wert | Quelle |
|---|---|---|
| F0-RMSE auf dem Opencpop-Testset, Transformer- vs Conformer-Basismodell (Einheit nicht angegeben) | 29,99 vs 26,72 | Wang et al., Opencpop-Studie, Interspeech 2022 |
| F0-Korrelation mit dem echten Sänger, Opencpop-Basismodelle | 0,893 bis 0,904 | Wang et al., Opencpop-Studie, Interspeech 2022 |
| F0-RMSE bei 22 kHz: VISinger 2 vs VISinger vs CpopSing | 26,0 vs 33,7 vs 28,5 | Zhang et al., VISinger-2-Studie 2022 |
| Modellgröße: VISinger 2 vs CpopSing | 25,7M vs 137,5M Parameter | Zhang et al., VISinger-2-Studie 2022 |
| Halbtongenauigkeit von VISinger2: mandarinisches ACE-Opencpop vs japanisches Kiritan-Korpus | 65,19% vs 49,33% | Shi et al., ACE-Opencpop-Studie 2024 |
| F0-RMSE, F0-Korrelation und Stimmhaft/Stimmlos-Fehler von CSSinger-FS auf Opencpop | 28,601, 0,919 und 0,107 | Cui et al., CSSinger 2024 |
| F0-RMSE auf ACE-Opencpop: SVS mit Sprachmodell vs TokSing vs XiaoiceSing | 62,79 vs 55,83 vs 71,67 | Zhao et al., Studie zu SVS mit Sprachmodell 2025 |
Der Stimmhaft/Stimmlos-Fehler gibt an, wie oft ein Modell stimmhaften Klang (die Stimmlippen schwingen, also existiert eine Tonhöhe) mit stimmlosem Klang verwechselt. Die Spanne von 49,33% bis 65,19% Halbtongenauigkeit bei derselben Architektur deutet darauf hin, dass der Wert stark vom Korpus abhängt, sodass Ergebnisse aus verschiedenen Korpora nicht gegeneinander gereiht werden können.
4. Natürlichkeit: Die MOS-Lücke zwischen synthetischem und echtem Gesang
Der MOS ist die durchschnittliche Bewertung eines Hörerpanels auf einer Skala von 1 bis 5, und jede Studie hier testete echte Aufnahmen neben den Modellen. In fünf Benchmark-Studien lag die Lücke zwischen dem besten Modell und echtem Gesang zwischen 0,45 und 0,81 MOS-Punkten (4,30 minus 3,85 auf PopCS, 4,51 minus 3,70 auf Opencpop). Die Sprachsynthese hat bei mehreren Benchmarks Parität mit Aufnahmen gemeldet; der Gesang liegt weiterhin etwa einen halben Punkt oder mehr zurück.
Die neuesten Zero-Shot-Arbeiten verringern sie. Zero-Shot bedeutet, dass das Modell mit einer Stimme singt, die es im Training nie gehört hat. CoMelSinger, im April 2026 überarbeitet, kam bei Sängern, die es nie gehört hatte, auf 0,24 Natürlichkeitspunkte an echte Aufnahmen heran (4,35 minus 4,11), die kleinste Lücke in diesem Satz (Zhao et al., CoMelSinger 2026). Die Panels sind allerdings klein, oft 10 bis 20 Hörer, sodass ein Vorsprung von 0,1 Punkten selten entscheidend ist.
| Metrik | Wert | Quelle |
|---|---|---|
| MOS auf Opencpop: bestes Basismodell (CpopSing) vs Aufnahmen | 3,70 vs 4,51 | Wang et al., Opencpop-Studie, Interspeech 2022 |
| MOS auf PopCS: DiffSinger vs Aufnahmen | 3,85 vs 4,30 | Liu et al., DiffSinger, AAAI 2022 |
| Audioqualitäts-MOS auf M4Singer: DiffSinger vs Aufnahmen | 3,92 vs 4,52 | Zhang et al., M4Singer, NeurIPS 2022 |
| MOS bei 44,1 kHz: VISinger 2 vs Aufnahmen | 3,81 vs 4,32 | Zhang et al., VISinger-2-Studie 2022 |
| Audioqualitäts-MOS auf GTSinger: StyleSinger vs Aufnahmen | 4,01 vs 4,54 | Zhang et al., GTSinger, NeurIPS 2024 |
| Natürlichkeits-MOS, im Training bekannte Sänger: CoMelSinger vs Aufnahmen | 4,02 vs 4,38 | Zhao et al., CoMelSinger 2026 |
| Natürlichkeits-MOS, unbekannte Sänger (Zero-Shot): CoMelSinger vs Aufnahmen | 4,11 vs 4,35 | Zhao et al., CoMelSinger 2026 |
Aktuellste verfügbare Daten zu diesen Korpora: Die Zeilen zu Opencpop, PopCS, M4Singer und VISinger 2 stammen aus dem Jahr 2022 und markieren daher die Ausgangsbasis für jedes Korpus, nicht den heutigen Stand der Technik. Breitere Verbreitungszahlen zu KI-Musikwerkzeugen finden sich in unseren Statistiken zur KI-Musikgenerierung.
5. Wo die Tonhöhe zählt: Was sich ändert, wenn das Modell F0 richtig trifft
Der sauberste Test gibt dem Modell die echte Tonhöhenkurve des Sängers vor und misst, was sich verbessert. Als DiffSinger den echten F0 erhielt, stieg sein Prosodie-MOS um 0,30 Punkte (3,72 auf 4,02), während die Audioqualität nur um 0,05 stieg (3,92 auf 3,97) (Zhang et al., M4Singer, NeurIPS 2022). Prosodie bedeutet hier die Kohärenz und Natürlichkeit des melodischen Vortrags. Eine bessere Tonhöhe schließt einen Teil dieser Lücke, aber selbst mit dem echten F0 bleiben beide Werte unter den Aufnahmen (4,47 und 4,52), die Tonhöhe ist also eine von mehreren Grenzen.
Dynamische Techniken sind am schwierigsten. In der Singing Voice Conversion Challenge 2025, einer Konvertierungsaufgabe und keiner notenbasierten Synthese, erzielten die Stile, die die Organisatoren als stark dynamisch beschreiben (behaucht, Glissando, Vibrato), die niedrigste Stilgenauigkeit, während überwiegend statische wie Falsett die höchste erzielten (SVCC-2025-Analysestudie).
| Metrik | Wert | Quelle |
|---|---|---|
| Mittlerer absoluter F0-Fehler und Stimmhaft/Stimmlos-Genauigkeit, DiffSinger mit vorhergesagtem vs echtem F0 | 8,9990 vs 1,7061; 0,9406 vs 0,9856 | Zhang et al., M4Singer, NeurIPS 2022 |
| MOS von VISinger 2, vollständiges Modell vs ohne den DSP-Synthesizer | 3,96 vs 3,02 | Zhang et al., VISinger-2-Studie 2022 |
| MOS von VISinger 2 ohne das Hilfsmodul für das Mel-Spektrum | 3,85 | Zhang et al., VISinger-2-Studie 2022 |
| Stilgenauigkeit im SVCC 2025: behaucht, Glissando, Vibrato | 37,3%, 42,6%, 43,9% | SVCC-2025-Analysestudie |
| Stilgenauigkeit im SVCC 2025: pharyngal, Mischstimme, Falsett | 44,8%, 48,3%, 48,8% | SVCC-2025-Analysestudie |
Die Opencpop-Autoren berichteten, dass ihre Basismodelle bei seltenen Tonhöhen im langen Ausläufer der Trainingsverteilung nur begrenzte Fähigkeiten zeigten, eine Grenze, der ein Korpus mit nur einem Sänger kaum zu entkommen erlaubt.
6. Trainingsdaten: Stunden an Gesang hinter den Modellen
Gesangsmodelle lernen weiterhin aus ein- oder zweistelligen Stundenzahlen aufgezeichneten Gesangs. Das Opencpop-Korpus, das einen Großteil der mandarinischen SVS-Literatur trägt, umfasst rund 5,2 Stunden Gesang einer professionellen Sängerin (Wang et al., Opencpop-Studie, Interspeech 2022). Aufgezeichnete Korpora wie Opencpop und M4Singer erfordern von Hand annotierte Notengrenzen und Partituren, weshalb echte Gesangsdaten nur langsam wachsen.
Der Ausweg sind synthetische Daten. ACE-Opencpop ist aus den Opencpop-Partituren abgeleitet und mit dem Gesangssynthesizer ACE Studio sowie manueller Abstimmung von Tonhöhenverläufen, Atemgeräuschen und Vibrato synthetisiert, was 128,9 Stunden ergab, und das Vortraining darauf steigerte die Halbtongenauigkeit von VISinger2 auf dem echten Opencpop von 64,50% auf 65,18% (Shi et al., ACE-Opencpop-Studie 2024). Das Vortraining auf dem echten M4Singer-Korpus senkte sie dagegen auf 60,54%. ACE-Opencpop teilt seine Lieder mit dem Zielkorpus, dieses Ergebnis sagt also mehr über die Übereinstimmung mit dem Ziel aus als über die Stunden allein.
| Metrik | Wert | Quelle |
|---|---|---|
| Opencpop: 1 professionelle Sängerin, 100 Lieder | etwa 5,2 Stunden, 3.756 Äußerungen | Wang et al., Opencpop-Studie, Interspeech 2022 |
| M4Singer: 20 professionelle Sänger (10 männlich, 10 weiblich), 700 Lieder | 29,77 Stunden, 20.942 Äußerungen | Zhang et al., M4Singer, NeurIPS 2022 |
| GTSinger: 20 professionelle Sänger, 9 Sprachen, 6 Techniken | 80,59 Stunden Gesang plus 16,16 Stunden gepaarte Sprache | Zhang et al., GTSinger, NeurIPS 2024 |
| Synthetisierte Korpora ACE-Opencpop und ACE-KiSing | 128,9 Stunden (30 Stimmen) und 32,5 Stunden (34 Stimmen) | Shi et al., ACE-Opencpop-Studie 2024 |
| Halbtongenauigkeit von VISinger2 auf Opencpop: ohne Vortraining vs ACE-Opencpop vs Vortraining mit M4Singer | 64,50% vs 65,18% vs 60,54% | Shi et al., ACE-Opencpop-Studie 2024 |
| VISinger2 auf KiSing, allein trainiert vs mit hinzugefügtem ACE-KiSing: Halbtongenauigkeit und MOS | 68,12% auf 72,51%; 3,58 auf 3,83 | Shi et al., ACE-Opencpop-Studie 2024 |
| Echter Gesang, aus 8 öffentlichen Korpora für den CtrSVDD-Benchmark zusammengeführt | 47,64 Stunden | Zang et al., CtrSVDD 2024 |
Die neun Sprachen von GTSinger sind Chinesisch, Englisch, Japanisch, Koreanisch, Russisch, Spanisch, Französisch, Deutsch und Italienisch, und seine sechs gekennzeichneten Techniken sind Mischstimme, Falsett, behaucht, pharyngal, Vibrato und Glissando, dieselben sechs Stile, die in Abschnitt 5 bewertet wurden.
7. Bewertungsmethoden und Benchmarks: Wie die Werte entstehen
Kleine Hörpanels sind die Regel. Opencpop nutzte 20 Hörer pro Clip, der Test von VISinger 2 zehn Hörer bei 30 Segmenten, und der Test von ACE-Opencpop 30 Hörer bei 30 Proben pro System. Opencpop-Aufnahmen erzielten in einem Test 4,22 MOS und in einem anderen 4,77, innerhalb einer einzigen Studie von 2024 (Cui et al., CSSinger 2024), ein Ausschlag von 0,55 Punkten, größer als viele der Abstände zwischen Modellen.
Automatische Bewerter helfen auf Systemebene, aber nicht pro Clip. Der beste MOS-Prädiktor auf SingMOS-Pro erreichte beim Ranking von Systemen eine lineare Korrelation von 0,88, bei einzelnen Clips aber nur 0,58 (SingMOS-Pro-Benchmark-Studie 2026). Die Erkennung ist weiter: Auf kontrollierten Daten senkte das beste SVDD-2024-Team die Equal Error Rate auf 1,65% (Zhang et al., SVDD-2024-Challenge-Studie), ein Thema, das wir in unseren Statistiken zur Forensik und Erkennung von Audio-Deepfakes behandeln.
| Metrik | Wert | Quelle |
|---|---|---|
| Umfang von SingMOS-Pro | 7.981 Clips, 44.247 Bewertungen, 78 Annotatoren, 11,15 Stunden | SingMOS-Pro-Benchmark-Studie 2026 |
| In SingMOS-Pro bewertete Systeme (Synthese, Konvertierung, Resynthese, Referenzdaten) | 141 (60, 17, 52 und 12) | SingMOS-Pro-Benchmark-Studie 2026 |
| Bester automatischer MOS-Prädiktor, lineare Korrelation auf Systemebene vs Clip-Ebene | 0,88 vs 0,58 | SingMOS-Pro-Benchmark-Studie 2026 |
| Einreichungen und Hörer beim SVCC 2023 | 26 Einreichungen (inkl. 2 Basismodelle); 40 englische und 319 japanische Hörer | Huang et al., SVCC-2023-Studie |
| Spearman-Korrelation des UTMOS-Prädiktors mit dem Natürlichkeits-MOS des SVCC 2023 (Aufgabe 1, japanische Hörer) | 0,77 | Huang et al., SVCC-2023-Studie |
| Natürlichkeit im SVCC 2025, beste Systeme vs echter Gesang | etwa 3,7 vs etwa 3,9 | SVCC-2025-Analysestudie |
| CtrSVDD echter vs Deepfake-Gesang, 14 Generierungsmethoden, 164 Sängeridentitäten | 47,64 vs 260,34 Stunden | Zang et al., CtrSVDD 2024 |
| Equal Error Rate bei SVDD 2024: bestes Team vs Basismodelle; Teams, die beide Basismodelle schlugen | 1,65% vs 11,16% und 12,03%; 37 von 47 | Zhang et al., SVDD-2024-Challenge-Studie |
Kontext: Beim SVCC 2023 wurden die besten Systeme in beiden Aufgaben bei der Natürlichkeit als nicht signifikant verschieden von natürlichen Proben beurteilt, während beim SVCC 2025, das auch den Gesangsstil bewertete, kein System menschliche Natürlichkeit erreichte. Die Analyse kommt zu dem Schluss, dass die Modellierung des Gesangsstils weiterhin eine Herausforderung bleibt.
Zusammenfassung: Tonhöhengenauigkeit und Natürlichkeit der Gesangssynthese in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Medianer Notenfehler, 24 unbegleitete erwachsene Sänger | 19 Cent | Mauch, Frieler und Dixon, JASA 2014 |
| Genaue Tonhöhenanpasser in einer Stichprobe von 1.046 | 37% | Pfordresher und Demorest, JRME 2021 |
| Gesang als genau eingestuft bei einem lockereren 100-Cent-Kriterium | 94% | Pfordresher und Demorest, JRME 2021 |
| Intonationsschwache Gelegenheitssänger (2-SD-Kriterium) | 28% (14 von 50) | Berkowska und Dalla Bella, Frontiers in Psychology 2013 |
| Tonhöhenverschiebung, die der Erkennungsfähigkeit des medianen Hörers entspricht | 54,989 Cent | Larrouy-Maestri, Harrison und Müllensiefen, Behavior Research Methods 2019 |
| Bestes Opencpop-Basismodell vs Aufnahmen, MOS | 3,70 vs 4,51 | Wang et al., Opencpop-Studie, Interspeech 2022 |
| VISinger 2 vs Aufnahmen bei 44,1 kHz, MOS | 3,81 vs 4,32 | Zhang et al., VISinger-2-Studie 2022 |
| CoMelSinger vs Aufnahmen, Natürlichkeits-MOS für unbekannte Sänger | 4,11 vs 4,35 | Zhao et al., CoMelSinger 2026 |
| Gewinn beim Prosodie-MOS vs Gewinn beim Audioqualitäts-MOS durch echten F0 (DiffSinger) | +0,30 vs +0,05 | Zhang et al., M4Singer, NeurIPS 2022 |
| MOS von VISinger 2 ohne seinen DSP-Synthesizer | 3,02 (vs 3,96) | Zhang et al., VISinger-2-Studie 2022 |
| Halbtongenauigkeit von VISinger2, ACE-Opencpop vs Kiritan | 65,19% vs 49,33% | Shi et al., ACE-Opencpop-Studie 2024 |
| Stilgenauigkeit im SVCC 2025 für Vibrato | 43,9% | SVCC-2025-Analysestudie |
| Größe des GTSinger-Korpus | 80,59 Stunden, 20 Sänger, 9 Sprachen | Zhang et al., GTSinger, NeurIPS 2024 |
| Größe des synthetisierten ACE-Opencpop-Korpus | 128,9 Stunden, 30 Stimmen | Shi et al., ACE-Opencpop-Studie 2024 |
| Opencpop-Aufnahmen in zwei getrennten Tests innerhalb einer Studie, MOS | 4,22 vs 4,77 | Cui et al., CSSinger 2024 |
| Gesammelte SingMOS-Pro-Bewertungen | 44.247 von 78 Annotatoren | SingMOS-Pro-Benchmark-Studie 2026 |
| Beste Equal Error Rate bei SVDD 2024 | 1,65% | Zhang et al., SVDD-2024-Challenge-Studie |
Methodik und Quellen
- Wang et al., Opencpop: A High-Quality Open Source Chinese Popular Song Corpus for Singing Voice Synthesis, Interspeech 2022
- Zhang et al., M4Singer: A Multi-Style, Multi-Singer and Musical Score Provided Mandarin Singing Corpus, NeurIPS 2022 Datasets and Benchmarks
- Liu et al., DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism, AAAI 2022
- Zhang et al., VISinger 2: High-Fidelity End-to-End Singing Voice Synthesis Enhanced by Digital Signal Processing Synthesizer, 2022
- Zhang et al., GTSinger: A Global Multi-Technique Singing Corpus with Realistic Music Scores for All Singing Tasks, NeurIPS 2024
- Shi et al., Singing Voice Data Scaling-up: An Introduction to ACE-Opencpop and ACE-KiSing, 2024
- Cui et al., CSSinger: End-to-End Chunkwise Streaming Singing Voice Synthesis System, 2024
- Zhao et al., Adapting Speech Language Model to Singing Voice Synthesis, Dezember 2025
- Zhao et al., CoMelSinger: Discrete Token-Based Zero-Shot Singing Synthesis, überarbeitet im April 2026
- Huang et al., The Singing Voice Conversion Challenge 2023
- An Extensive Analysis of the Singing Voice Conversion Challenge 2025 Evaluation Results, 2025
- Zhang et al., SVDD 2024: The Inaugural Singing Voice Deepfake Detection Challenge
- Zang et al., CtrSVDD: A Benchmark Dataset and Baseline Analysis for Controlled Singing Voice Deepfake Detection, 2024
- SingMOS-Pro: A Comprehensive Benchmark for Singing Quality Assessment, überarbeitet im Januar 2026
- Mauch, Frieler und Dixon, Intonation in Unaccompanied Singing: Accuracy, Drift, and a Model of Reference Pitch Memory, JASA 2014
- Larrouy-Maestri und Morsomme, Criteria and Tools for Objectively Analysing the Vocal Accuracy of a Popular Song, Logopedics Phoniatrics Vocology 2014
- Larrouy-Maestri, Harrison und Müllensiefen, The Mistuning Perception Test, Behavior Research Methods 2019
- Larrouy-Maestri et al., Layman versus Professional Musician: Who Makes the Better Judge?, PLoS One 2015
- Berkowska und Dalla Bella, Uncovering Phenotypes of Poor-Pitch Singing: the Sung Performance Battery, Frontiers in Psychology 2013
- Pfordresher und Demorest, The Prevalence and Correlates of Accurate Singing, Journal of Research in Music Education 2021
- Dalla Bella, Giguère und Peretz, Singing Proficiency in the General Population, JASA 2007
- Daten-Hinweis: MOS-Werte sind zwischen Studien nicht vergleichbar, weil sich Hörerpanels (10 bis 30 Personen), Abtastraten und Anweisungen unterscheiden und Opencpop-Aufnahmen in der CSSinger-Studie in zwei Tests 4,22 und 4,77 erzielten. Die Einheiten des F0-RMSE variieren (in den meisten Studien nicht angegeben, bei ACE-Opencpop logarithmisch), daher dürfen F0-RMSE-Werte aus verschiedenen Studien nicht direkt verglichen werden. Die Quellen widersprechen sich bei den Korpusgrößen: ACE-Opencpop hat in seiner eigenen Tabelle 1 128,9 Stunden, in der Einleitung etwa 130 Stunden und in der Sprachmodell-Studie vom Dezember 2025 135 Stunden; ACE-KiSing wird sowohl mit 34 als auch mit 33 Sängern geführt; Opencpop hat in seiner eigenen Studie etwa 5,2 Stunden, in den Vergleichstabellen von M4Singer und GTSinger aber 5,25 Stunden. Der F0-RMSE von CSSinger-FS erscheint in einer Tabelle als 28,601 und in einer anderen als 28,101. Die Equal Error Rates von SVDD 2024 schließen die ACESinger-Methode aus. Pfordresher und Demorest beschreiben 50 Cent als einen Halbton, obwohl 50 Cent ein halber Halbton sind. Die exakten Natürlichkeitswerte des SVCC 2023 erscheinen nur in Abbildungen, daher geben wir nur die Signifikanzbefunde wieder. VISinger 2, CSSinger, CoMelSinger, SingMOS-Pro und die Sprachmodell-Studie werden aus arXiv-Fassungen zitiert und von ihren eigenen Autoren bewertet; CoMelSinger und SingMOS-Pro nennen kein begutachtetes Publikationsorgan, und die Sprachmodell-Studie wurde bei einem Workshop eingereicht, sodass die endgültigen Zahlen abweichen können. Die Studien zur menschlichen Tonhöhengenauigkeit stammen alle aus der Zeit vor 2023 und sind die aktuellsten verfügbaren Daten.
Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn die Tagungsbände der ICASSP 2027 und die Ergebnisse der nächsten Singing Voice Conversion Challenge veröffentlicht werden.