Soniqosoniqo
Blog
Voice-Cloning-Benchmarks
July 2, 2026

Voice-Cloning-Modelle, gemessen über fünf Sprachen.

Wir klonten pro Sprache zehn FLEURS-Referenzsprecher, erzeugten zehn zurückgehaltene FLEURS-Zielsätze und mittelten dann Sprecherähnlichkeit, WER/CER, die vorhergesagte UTMOS-Qualität und die Dauergeschwindigkeit. Die Player unten zeigen eine repräsentative Referenz und die erzeugte Ausgabe aus demselben Lauf.

EnglishEspañolDeutschFrançaisPortuguêsРусский中文日本語한국어हिन्दीالعربيةTiếng ViệtTürkçeไทย

Englisch

FLEURS test/en_us, 10 Referenz-/Zielpaare

Menschliche ASR-Grundlinie: 3.5% WER auf dem originalen FLEURS-Zielaudio.

ModellPräzisionKosinusWERUTMOSAudio μRTF Med.
OmniVoiceint80.51311.1%2.325.20 s0.17
VoxCPM2bf160.5471.8%2.974.88 s1.11
Chatterbox Multilingualfp160.6421.2%2.225.10 s0.76
Fish Audio S2 Profp160.4893.9%3.474.60 s2.78
Qwen3-TTS Base1.7B bf16 ICL0.4912.4%3.504.95 s1.70

Deutsch

FLEURS test/de_de, 10 Referenz-/Zielpaare

Menschliche ASR-Grundlinie: 11.4% WER auf dem originalen FLEURS-Zielaudio.

ModellPräzisionKosinusWERUTMOSAudio μRTF Med.
OmniVoiceint80.7874.3%2.896.57 s0.22
VoxCPM2bf160.7323.8%2.805.76 s1.09
Chatterbox Multilingualfp160.7785.2%3.326.12 s1.20
Fish Audio S2 Profp160.7187.0%3.345.66 s2.80
Qwen3-TTS Base1.7B bf16 ICL0.72110.8%3.345.79 s1.72

Modernes Hocharabisch

FLEURS test/ar_eg, 10 Referenz-/Zielpaare

Menschliche ASR-Grundlinie: 32.8% WER auf dem originalen FLEURS-Zielaudio.

ModellPräzisionKosinusWERUTMOSAudio μRTF Med.
OmniVoiceint80.72733.2%2.727.04 s0.18
VoxCPM2bf160.67830.2%2.676.26 s1.14
Chatterbox Multilingualfp160.70328.3%2.906.37 s1.10
Fish Audio S2 Profp160.68826.7%3.305.63 s2.83

Spanisch

FLEURS test/es_419, 10 Referenz-/Zielpaare

Menschliche ASR-Grundlinie: 10.6% WER auf dem originalen FLEURS-Zielaudio.

ModellPräzisionKosinusWERUTMOSAudio μRTF Med.
OmniVoiceint80.7589.9%2.866.29 s0.21
VoxCPM2bf160.6415.8%2.624.58 s1.18
Chatterbox Multilingualfp160.7086.9%3.375.08 s1.22
Fish Audio S2 Profp160.6336.8%2.954.48 s2.73
Qwen3-TTS Base1.7B bf16 ICL0.71011.1%3.034.79 s1.76

Chinesisch

FLEURS test/cmn_hans_cn, 10 Referenz-/Zielpaare

Menschliche ASR-Grundlinie: 7.6% CER auf dem originalen FLEURS-Zielaudio.

ModellPräzisionKosinusCERUTMOSAudio μRTF Med.
OmniVoiceint80.7094.9%2.836.56 s0.21
VoxCPM2bf160.6954.9%2.915.70 s1.10
Fish Audio S2 Profp160.6346.2%3.554.95 s2.76
Qwen3-TTS Base1.7B bf16 ICL0.7015.7%3.445.24 s1.73

Die Werte sind Mittel über zehn erzeugte Clips pro unterstützter Sprache, außer RTF, das den Median verwendet, um Ausreißer durch den Kaltstart zu vermeiden. Ein höherer Sprecher-Kosinus bedeutet, dass der erzeugte Clip näher am Sprecher-Embedding der FLEURS-Referenz liegt. Ein niedrigeres WER/CER bedeutet, dass der angeforderte Text sauberer wiederhergestellt wurde; Chinesisch wird mit CER bewertet, die anderen Sprachen mit WER. Ein höheres UTMOS ist ein referenzfreier vorhergesagter Natürlichkeitswert auf einer Skala von 1 bis 5. Ein niedrigeres RTF ist schneller. Ein Strich bedeutet, dass der Batch-Lauf für diese Zeile kein verlässliches Timing lieferte. Das sind technische Regressionsmetriken, kein menschliches MOS-Panel. Derselbe Qwen3-ASR-Bewerter ist nicht in jeder Sprache gleich sauber: auf den originalen menschlichen FLEURS-Zielclips dieses Satzes beträgt sein Grundfehler 3,5% WER Englisch, 11,4% WER Deutsch, 32,8% WER Arabisch, 10,6% WER Spanisch und 7,6% CER Chinesisch. Lies WER/CER als Stresssignal der Textwiederherstellung, nicht als reinen TTS-Qualitätswert. Die Präzision ist pro Zeile angegeben: Der öffentliche Swift-Pfad von VoxCPM2 mit voller Präzision ist bf16, während OmniVoice mit dem veröffentlichten int8-Bundle gezeigt wird, weil der fp16-Backbone für diesen veröffentlichten Lauf nicht verwendet wurde. Quantisierte Zeilen können sowohl Qualität als auch Geschwindigkeit verändern, daher enthält die Tabelle nur den tatsächlich gemessenen Pfad für jede Zeile.

Ein- und Ausgabe-Abtastraten

QuelleRolleRate
FLEURS referencesEingaberef.16 kHz
OmniVoice / ChatterboxErzeugte Ausgabe24 kHz
Qwen3-TTS Base ICLErzeugte Ausgabe24 kHz
Fish Audio S2 ProErzeugte Ausgabe44.1 kHz
VoxCPM2Erzeugte Ausgabe48 kHz

Die Referenzen sind 16 kHz und enthalten daher nur beobachtbare Evidenz bis etwa 8 kHz. Ausgaben mit höherer Rate können offener klingen, weil sie mehr Hochband-Atem, Zischlaute und Raumdetail bewahren oder synthetisieren, aber eine Ausgabe mit 44,1 oder 48 kHz bedeutet nicht automatisch einen besseren Klon. Die meisten Hinweise auf Sprecheridentität und Verständlichkeit liegen weit unter diesem Hochband, während zu viel Hochfrequenzenergie eine Stimme scharf wirken lassen kann, selbst wenn WER und Sprecher-Kosinus gut aussehen.

Referenzaudio und erzeugte Klone

Englisch-Referenz

Englisch

FLEURS test/en_us/6306322369645218273.wav

Referenztranskript: One can only wonder what the keyboard will become when something newer comes along.

Erzeugter Text: While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice
int8-Klon aus der Englisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.513
WER μ
11.1%
UTMOS μ
2.32
RTF Med.
0.17
VoxCPM2
bf16-Klon aus der Englisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.547
WER μ
1.8%
UTMOS μ
2.97
RTF Med.
1.11
Chatterbox Multilingual
fp16-Klon aus der Englisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.642
WER μ
1.2%
UTMOS μ
2.22
RTF Med.
0.76
Fish Audio S2 Pro
fp16-Klon aus der Englisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.489
WER μ
3.9%
UTMOS μ
3.47
RTF Med.
2.78
Qwen3-TTS Base
1.7B bf16 ICL-Klon aus der Englisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.491
WER μ
2.4%
UTMOS μ
3.50
RTF Med.
1.70
Deutsch-Referenz

Deutsch

FLEURS test/de_de/17047810064400454397.wav

Referenztranskript: Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

Erzeugter Text: Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice
int8-Klon aus der Deutsch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.787
WER μ
4.3%
UTMOS μ
2.89
RTF Med.
0.22
VoxCPM2
bf16-Klon aus der Deutsch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.732
WER μ
3.8%
UTMOS μ
2.80
RTF Med.
1.09
Chatterbox Multilingual
fp16-Klon aus der Deutsch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.778
WER μ
5.2%
UTMOS μ
3.32
RTF Med.
1.20
Fish Audio S2 Pro
fp16-Klon aus der Deutsch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.718
WER μ
7.0%
UTMOS μ
3.34
RTF Med.
2.80
Qwen3-TTS Base
1.7B bf16 ICL-Klon aus der Deutsch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.721
WER μ
10.8%
UTMOS μ
3.34
RTF Med.
1.72
Modernes Hocharabisch-Referenz

Modernes Hocharabisch

FLEURS test/ar_eg/747984393569561964.wav

Referenztranskript: المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

Erzeugter Text: قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice
int8-Klon aus der Modernes Hocharabisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.727
WER μ
33.2%
UTMOS μ
2.72
RTF Med.
0.18
VoxCPM2
bf16-Klon aus der Modernes Hocharabisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.678
WER μ
30.2%
UTMOS μ
2.67
RTF Med.
1.14
Chatterbox Multilingual
fp16-Klon aus der Modernes Hocharabisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.703
WER μ
28.3%
UTMOS μ
2.90
RTF Med.
1.10
Fish Audio S2 Pro
fp16-Klon aus der Modernes Hocharabisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.688
WER μ
26.7%
UTMOS μ
3.30
RTF Med.
2.83
Spanisch-Referenz

Spanisch

FLEURS test/es_419/11137049735103408221.wav

Referenztranskript: Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

Erzeugter Text: La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice
int8-Klon aus der Spanisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.758
WER μ
9.9%
UTMOS μ
2.86
RTF Med.
0.21
VoxCPM2
bf16-Klon aus der Spanisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.641
WER μ
5.8%
UTMOS μ
2.62
RTF Med.
1.18
Chatterbox Multilingual
fp16-Klon aus der Spanisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.708
WER μ
6.9%
UTMOS μ
3.37
RTF Med.
1.22
Fish Audio S2 Pro
fp16-Klon aus der Spanisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.633
WER μ
6.8%
UTMOS μ
2.95
RTF Med.
2.73
Qwen3-TTS Base
1.7B bf16 ICL-Klon aus der Spanisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.710
WER μ
11.1%
UTMOS μ
3.03
RTF Med.
1.76
Chinesisch-Referenz

Chinesisch

FLEURS test/cmn_hans_cn/6735471425702786619.wav

Referenztranskript: 当天，格林尼治时间 (GMT) 约 12 时许，该车辆被拖离事故现场。

Erzeugter Text: 植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice
int8-Klon aus der Chinesisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.709
CER μ
4.9%
UTMOS μ
2.83
RTF Med.
0.21
VoxCPM2
bf16-Klon aus der Chinesisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.695
CER μ
4.9%
UTMOS μ
2.91
RTF Med.
1.10
Fish Audio S2 Pro
fp16-Klon aus der Chinesisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.634
CER μ
6.2%
UTMOS μ
3.55
RTF Med.
2.76
Qwen3-TTS Base
1.7B bf16 ICL-Klon aus der Chinesisch-Referenz. Die Metriken sind Mittel über zehn Clips; das Audio ist eine repräsentative Probe.
Kosinus μ
0.701
CER μ
5.7%
UTMOS μ
3.44
RTF Med.
1.73
Methode

Datensatz-Referenzen, keine handverlesenen Demos

Referenzen und Zieltexte stammen aus dem Test-Split von Google FLEURS: Englisch, Deutsch, Arabisch, Spanisch und Mandarin-Chinesisch. Für jede Sprache wählten wir zehn Referenzclips und paarten jeden mit einem anderen zurückgehaltenen FLEURS-Zielsatz, damit die Metriken weniger empfindlich gegenüber einem einzelnen leichten oder schlechten Satz sind. Bei Engines, die ein Referenztranskript akzeptieren, wurde das exakte FLEURS-Transkript mit dem Audio-Prompt übergeben.

Die Form der Bewertung spiegelt die objektive Seite der VoxCPM-artigen Voice-Cloning-Evaluation wider: Verständlichkeit über WER/CER und Klonen über die Kosinusähnlichkeit des Sprecher-Embeddings. Der Sprecher-Encoder ist hier Soniqos speech embed-speaker --engine mlx, vergleiche also Zeilen innerhalb dieser Tabelle, nicht direkt gegen SIM-Prozentwerte aus Papieren.

UTMOS wird mit utmos22_strong aus SpeechMOS berechnet, nachdem die erzeugten Clips auf 16 kHz umgetastet wurden. Es liefert ein referenzfreies Natürlichkeitssignal, das WER und Sprecher-Kosinus verpassen, bleibt aber eine Modellvorhersage und keine menschliche Hörstudie.

Qwen3-TTS Base wird mit der öffentlichen ICL-API von speech-swift gemessen (Qwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL) unter Verwendung desselben FLEURS-Referenzaudios und -transkripts. Für Arabisch wird es ausgelassen, weil der hier bereitgestellte Qwen3-TTS-Sprachsatz kein Arabisch enthält. Chatterboxs Upstream-Sprachliste enthält Chinesisch, aber das aktuelle Swift-Frontend unterstützt den direkten Tokenizer-Pfad nur für en, ar, hi, de, es, fr, it und pt; die chinesische Zeile wird absichtlich ausgelassen, bis dieses Frontend landet.

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

Warum mehrere Werte?

Ein Klon kann wie der Sprecher klingen, aber den falschen Text sagen, oder den Text klar sagen und dabei den Sprecher verfehlen. Er kann auch Text und Sprecher treffen und trotzdem hörbare Artefakte tragen. Sprecher-Kosinus, WER/CER und UTMOS fangen verschiedene Fehlermodi ab, daher müssen alle drei sichtbar sein.

Emotions- und Stilzuweisung

OmniVoice
Breite Stilhinweise

Gut, wenn du einen geklonten Sprecher mit einfacher Vortragsführung willst, etwa einen ruhigeren, jüngeren, tieferen oder geflüsterten Vortrag. Dieser Benchmark nutzte einen neutralen Vortrag.

Chatterbox Multilingual
Ausdrucksstärke

Nützlich, wenn derselbe Sprecher zurückhaltender oder lebhafter klingen soll, ohne Emotions-Tags in den Text zu schreiben. Dieser Benchmark hielt die Ausdrucksstärke neutral.

VoxCPM2
Stimmführung in Klartext

Starke Passung, wenn du die Zielstimme oder den Vortrag in natürlicher Sprache beschreiben und dabei weiter aus einem Referenzclip klonen willst. Dieser Benchmark nutzte nur den Referenzclip.

Fish Audio S2 Pro
Gespielte Vortragshinweise

Am besten, wenn das Skript explizite Momente wie Lachen, Flüstern, Aufregung oder Traurigkeit braucht. Dieser Benchmark nutzte Klartext ohne Schauspielhinweise.

Qwen3-TTS Base
ICL mit Referenzaudio

Nutzt den FLEURS-Clip und das Transkript als Kontext-Konditionierung. Das ist der vergleichbare Qwen3-TTS-Pfad für probenbasiertes Klonen in der Tabelle.

Der Benchmark lässt diese Regler absichtlich neutral. Das hält die Sprecherähnlichkeit an die FLEURS-Referenz gebunden, statt ein Modell für zusätzliche Emotion, Flüstern, Schreien oder Lachen zu belohnen.

Das Ergebnis lesen

Behandle das als kompakten technischen Check, nicht als Bestenliste. Zehn Referenz-/Zielpaare pro Sprache sind nützlicher als ein einzelner Demosatz, aber immer noch zu klein, um einen universellen Sieger zu krönen. Die nützliche Lesart ist, wo ein Modell für eine bestimmte Sprache und Metrik stabil oder brüchig ist.

Fish Audio und Qwen3-TTS schneiden bei UTMOS oft besser ab, selbst wenn ein anderes Modell einen höheren Sprecher-Kosinus hat. Qwen3-TTS Base ICL ist für Englisch, Deutsch, Spanisch und Chinesisch enthalten; in diesem Lauf ist es am stärksten als Natürlichkeits-/Textwiederherstellungs-Basis, während dedizierte Klonmodelle bei der Sprecheridentität wettbewerbsfähig bleiben. Die richtige Lesart sind Kompromisse pro Sprache, nicht ein einzelner Sieger.

Probier den Stack

Speech Studio

Lokale Desktop-App zum Klonen von Stimmen und Rendern von Mehrsprecher-Skripten auf deinem Rechner.

Speech Studio öffnen
Soniqo Cloud

Gehosteter Endpunkt, um denselben Sprach-Stack zu testen, bevor du ihn in ein Produkt einbaust.

cloud.soniqo.audio öffnen
Voice-Cloning-Doku VoxCPM-Evaluationspaper