Tłumaczenie automatyczne · Oryginał angielski
Blog
Wskaźniki klonowania głosu
July 2, 2026

Modele klonowania głosu, mierzone w pięciu językach.

Sklonowaliśmy dziesięć zwrotów referencyjnych FLEURS na język, wygenerowaliśmy dziesięć zdań docelowych FLEURS, następnie uśredniliśmy podobieństwo głośników, WER / CER i przewidywano jakość UTMOS oraz stałą prędkość państwa. Gracze poniżej pokazują jeden reprezentatywny punkt odniesienia i generowane wyjście z tego samego przebiegu.

Angielski

FLEURS test/en_us, 10 par odniesienia / docelowych

Ludzka podłoga ASR: 3.5% WER na oryginalnym docelowym audio FLEURS.

WzórPrecyzjaKosinaWERUTMOSAudio μRTF med.Szczyt RSS
OmniVoiceint80.51311.1%2.325.20 s0.17—
VoxCPM2bf160.5471.8%2.974.88 s1.111.5 GB
Chatterbox Multilingualfp160.6421.2%2.225.10 s0.76—
Fish Audio S2 Profp160.4893.9%3.474.60 s2.78—
Qwen3-TTS Base1.7B bf16 ICL0.4912.4%3.504.95 s1.701.8 GB
F5-TTSfp160.6985.6%1.829.09 s0.570.7 GB
Higgs TTS 3bf160.4724.0%2.887.60 s0.788.0 GB
IndexTTS2fp160.7385.1%2.987.34 s1.02.9 GB

Niemiecki

FLEURS test/de_de, 10 par odniesienia / docelowych

Ludzka podłoga ASR: 11.4% WER na oryginalnym docelowym audio FLEURS.

WzórPrecyzjaKosinaWERUTMOSAudio μRTF med.Szczyt RSS
OmniVoiceint80.7874.3%2.896.57 s0.22—
VoxCPM2bf160.7323.8%2.805.76 s1.091.5 GB
Chatterbox Multilingualfp160.7785.2%3.326.12 s1.20—
Fish Audio S2 Profp160.7187.0%3.345.66 s2.80—
Qwen3-TTS Base1.7B bf16 ICL0.72110.8%3.345.79 s1.721.8 GB
Higgs TTS 3bf160.6785.7%2.9511.82 s0.788.0 GB

Nowoczesny standardowy arabski

FLEURS test/ar_eg, 10 par odniesienia / docelowych

Ludzka podłoga ASR: 32.8% WER na oryginalnym docelowym audio FLEURS.

WzórPrecyzjaKosinaWERUTMOSAudio μRTF med.Szczyt RSS
OmniVoiceint80.72733.2%2.727.04 s0.18—
VoxCPM2bf160.67830.2%2.676.26 s1.141.5 GB
Chatterbox Multilingualfp160.70328.3%2.906.37 s1.10—
Fish Audio S2 Profp160.68826.7%3.305.63 s2.83—
Higgs TTS 3bf160.70020.2%2.7512.33 s0.788.0 GB

Hiszpański

FLEURS test/es_419, 10 par odniesienia / docelowych

Ludzka podłoga ASR: 10.6% WER na oryginalnym docelowym audio FLEURS.

WzórPrecyzjaKosinaWERUTMOSAudio μRTF med.Szczyt RSS
OmniVoiceint80.7589.9%2.866.29 s0.21—
VoxCPM2bf160.6415.8%2.624.58 s1.181.5 GB
Chatterbox Multilingualfp160.7086.9%3.375.08 s1.22—
Fish Audio S2 Profp160.6336.8%2.954.48 s2.73—
Qwen3-TTS Base1.7B bf16 ICL0.71011.1%3.034.79 s1.761.8 GB
Higgs TTS 3bf160.6231.0%2.845.08 s0.788.0 GB

Chiński

FLEURS test/cmn_hans_cn, 10 par odniesienia / docelowych

Ludzka podłoga ASR: 7.6% CER na oryginalnym docelowym audio FLEURS.

WzórPrecyzjaKosinaCERUTMOSAudio μRTF med.Szczyt RSS
OmniVoiceint80.7094.9%2.836.56 s0.21—
VoxCPM2bf160.6954.9%2.915.70 s1.101.5 GB
Fish Audio S2 Profp160.6346.2%3.554.95 s2.76—
Qwen3-TTS Base1.7B bf16 ICL0.7015.7%3.445.24 s1.731.8 GB
F5-TTSfp160.78013.9%1.666.91 s0.570.7 GB
Higgs TTS 3bf160.5744.3%3.135.01 s0.788.0 GB

Wartości to: ponad dziesięć wygenerowanych klipów na język obsługiwany, z wyjątkiem RTF, który wykorzystuje medianę, aby uniknąć zimnostartowych wyrzutni czasu. Wyższy głośnik cosine oznacza generowany klip jest bliżej FLEURS Głośnik odniesienia osadzony. Niższy WER/CER oznacza, że żądany tekst został odnaleziony w sposób bardziej przejrzysty; Chiński jest punktacja CER, pozostałe języki z WERWyżej. UTMOS jest wynikiem braku wartości referencyjnej przewidywanej naturalności na 1-5 skala. Niższa RTF jest szybszy. Deska rozdzielcza oznacza, że bieg partii nie dał wiarygodnego czasu dla tego wiersza. Są to wskaźniki regresji inżynieryjnej, a nie ludzki panel MOS. Qwen3-ASR zdobywca nie jest tak samo czysty na każdym języku: na oryginalnym człowieku FLEURS docelowy klipy w tym zestawie, jego błąd wyjściowy jest 3.5% Angielski WER, 11.4% Niemiecki WER, 32.8% Arabski WER, 10.6% Hiszpański WERoraz 7.6% Chiński CERCzytaj. WER/CER jako podręczny sygnał stresowy, nie jako czysty sygnał TTS punktacja jakości. Precyzja jest wymieniona w wierszu: VoxCPM2Publiczna pełna precyzja Swift ścieżka jest bf16, podczas gdy OmniVoice jest pokazany wraz z opublikowanym int8 pęczka, ponieważ fp16 Dla tego opublikowanego przebiegu nie użyto kręgosłupa. Wyliczone wiersze mogą zmieniać zarówno jakość, jak i prędkość, więc tabela zawiera jedynie rzeczywistą ścieżkę mierzoną dla każdego wiersza.

F5-TTS, Higgs TTS 3oraz IndexTTS2 wiersze zostały zmierzone w lipcu 12, 2026 w tej samej sprawie FLEURS zestawy testowe i komendy punktowe (n =10 język; UTMOS22-strong); ich RTF jest wartością wzorcową dla pojedynczego zdania, a szczyt RSS pochodzi z CLI klonowanego, gdzie statki silnikowe w mowie CLI.

Wskaźniki wejściowe i wyjściowe

ŹródłoRolaStawka
FLEURS referencesOdniesienie do wejścia16 kHz
OmniVoice / ChatterboxWyjście generowane24 kHz
Qwen3-TTS Base ICLWyjście generowane24 kHz
Fish Audio S2 ProWyjście generowane44.1 kHz
VoxCPM2Wyjście generowane48 kHz
F5-TTS / Higgs TTS 3Wyjście generowane24 kHz
IndexTTS2Wyjście generowane22.05 kHz

Odniesienia są 16 kHz, więc zawierają one tylko widoczne dowody do mniej więcej 8 KHz. Wyjścia o wysokiej częstotliwości mogą brzmieć bardziej otwarcie, ponieważ zachowują lub syntetyzują więcej wysokopasmowego oddechu, sibilance i szczegółów pomieszczenia, ale 44.1 lub 48 wyjście kHz nie oznacza automatycznie lepszego klona. Większość głośników tożsamość i inteligentność sygnały żyć znacznie poniżej tego wysokiego pasma, podczas gdy nadmierna energia o wysokiej częstotliwości może sprawić, że głos czuje się ostry nawet, gdy WER i głośnik cosine wyglądają dobrze.

Klony dźwiękowe odniesienia i generowane

Próbka referencyjna: Angielski

Angielski

FLEURS test/en_us/6306322369645218273.wav

Transkrypcja referencyjna: One can only wonder what the keyboard will become when something newer comes along.

Tekst wygenerowany: While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice
int8 klon z Angielski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.513
WER μ
11.1%
UTMOS μ
2.32
RTF med.
0.17
VoxCPM2
bf16 klon z Angielski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.547
WER μ
1.8%
UTMOS μ
2.97
RTF med.
1.11
Chatterbox Multilingual
fp16 klon z Angielski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.642
WER μ
1.2%
UTMOS μ
2.22
RTF med.
0.76
Fish Audio S2 Pro
fp16 klon z Angielski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.489
WER μ
3.9%
UTMOS μ
3.47
RTF med.
2.78
Qwen3-TTS Base
1.7B bf16 ICL klon z Angielski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.491
WER μ
2.4%
UTMOS μ
3.50
RTF med.
1.70
F5-TTS
fp16 klon z Angielski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.698
WER μ
5.6%
UTMOS μ
1.82
RTF med.
0.57
Higgs TTS 3
bf16 klon z Angielski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.472
WER μ
4.0%
UTMOS μ
2.88
RTF med.
0.78
IndexTTS2
fp16 klon z Angielski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.738
WER μ
5.1%
UTMOS μ
2.98
RTF med.
1.0
Próbka referencyjna: Niemiecki

Niemiecki

FLEURS test/de_de/17047810064400454397.wav

Transkrypcja referencyjna: Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

Tekst wygenerowany: Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice
int8 klon z Niemiecki odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.787
WER μ
4.3%
UTMOS μ
2.89
RTF med.
0.22
VoxCPM2
bf16 klon z Niemiecki odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.732
WER μ
3.8%
UTMOS μ
2.80
RTF med.
1.09
Chatterbox Multilingual
fp16 klon z Niemiecki odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.778
WER μ
5.2%
UTMOS μ
3.32
RTF med.
1.20
Fish Audio S2 Pro
fp16 klon z Niemiecki odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.718
WER μ
7.0%
UTMOS μ
3.34
RTF med.
2.80
Qwen3-TTS Base
1.7B bf16 ICL klon z Niemiecki odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.721
WER μ
10.8%
UTMOS μ
3.34
RTF med.
1.72
Higgs TTS 3
bf16 klon z Niemiecki odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.678
WER μ
5.7%
UTMOS μ
2.95
RTF med.
0.78
Próbka referencyjna: Nowoczesny standardowy arabski

Nowoczesny standardowy arabski

FLEURS test/ar_eg/747984393569561964.wav

Transkrypcja referencyjna: المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

Tekst wygenerowany: قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice
int8 klon z Nowoczesny standardowy arabski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.727
WER μ
33.2%
UTMOS μ
2.72
RTF med.
0.18
VoxCPM2
bf16 klon z Nowoczesny standardowy arabski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.678
WER μ
30.2%
UTMOS μ
2.67
RTF med.
1.14
Chatterbox Multilingual
fp16 klon z Nowoczesny standardowy arabski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.703
WER μ
28.3%
UTMOS μ
2.90
RTF med.
1.10
Fish Audio S2 Pro
fp16 klon z Nowoczesny standardowy arabski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.688
WER μ
26.7%
UTMOS μ
3.30
RTF med.
2.83
Higgs TTS 3
bf16 klon z Nowoczesny standardowy arabski odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.700
WER μ
20.2%
UTMOS μ
2.75
RTF med.
0.78
Próbka referencyjna: Hiszpański

Hiszpański

FLEURS test/es_419/11137049735103408221.wav

Transkrypcja referencyjna: Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

Tekst wygenerowany: La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice
int8 klon z Hiszpański odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.758
WER μ
9.9%
UTMOS μ
2.86
RTF med.
0.21
VoxCPM2
bf16 klon z Hiszpański odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.641
WER μ
5.8%
UTMOS μ
2.62
RTF med.
1.18
Chatterbox Multilingual
fp16 klon z Hiszpański odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.708
WER μ
6.9%
UTMOS μ
3.37
RTF med.
1.22
Fish Audio S2 Pro
fp16 klon z Hiszpański odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.633
WER μ
6.8%
UTMOS μ
2.95
RTF med.
2.73
Qwen3-TTS Base
1.7B bf16 ICL klon z Hiszpański odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.710
WER μ
11.1%
UTMOS μ
3.03
RTF med.
1.76
Higgs TTS 3
bf16 klon z Hiszpański odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.623
WER μ
1.0%
UTMOS μ
2.84
RTF med.
0.78
Próbka referencyjna: Chiński

Chiński

FLEURS test/cmn_hans_cn/6735471425702786619.wav

Transkrypcja referencyjna: 当天,格林尼治时间 (GMT) 约 12 时许,该车辆被拖离事故现场。

Tekst wygenerowany: 植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice
int8 klon z Chiński odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.709
CER μ
4.9%
UTMOS μ
2.83
RTF med.
0.21
VoxCPM2
bf16 klon z Chiński odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.695
CER μ
4.9%
UTMOS μ
2.91
RTF med.
1.10
Fish Audio S2 Pro
fp16 klon z Chiński odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.634
CER μ
6.2%
UTMOS μ
3.55
RTF med.
2.76
Qwen3-TTS Base
1.7B bf16 ICL klon z Chiński odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.701
CER μ
5.7%
UTMOS μ
3.44
RTF med.
1.73
F5-TTS
fp16 klon z Chiński odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.780
CER μ
13.9%
UTMOS μ
1.66
RTF med.
0.57
Higgs TTS 3
bf16 klon z Chiński odniesienia. Metrics są ten- klip oznacza; audio jest jedną reprezentatywną próbką.
Cosine
0.574
CER μ
4.3%
UTMOS μ
3.13
RTF med.
0.78
Metoda

Odniesienia do zbioru danych, a nie ręcznie wybierane demo

Referencje i teksty docelowe pochodzą z Google FLEURS test split: angielski, niemiecki, arabski, hiszpański i mandaryński chiński. Dla każdego języka wybraliśmy dziesięć klipów referencyjnych i sparował każdy z innym held- out FLEURS zdanie docelowe, więc wskaźniki są mniej wrażliwe na jeden łatwy lub zły zdanie. Dla silników, które akceptują zapis odniesienia, dokładny zapis FLEURS został przekazany z dźwiękowym pozorem.

Ocena klonowania głosowego w stylu VoxCPM- jest odzwierciedleniem obiektywnej strony skali VoxCP-: inteligencja poprzez WER/CER, i klonowanie poprzez głośnik osadzające cosinus podobieństwa. Soniqojest speech embed-speaker --engine mlx, więc porównać wiersze wewnątrz tej tabeli, nie z procentami papieru SIM bezpośrednio.

UTMOS oblicza się z utmos22_strong z SpeechMOS po ponownym przyklejeniu wygenerowanych klipów do 16 kHz. Daje to niereferencyjny sygnał naturalności, że WER i głośnik cosine miss, ale nadal jest to model przewidywania, a nie ludzkie badania słuchowe.

Qwen3-TTS Base mierzy się przy użyciu publicznego speech-swift ICL API (Qwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL) przy użyciu tego samego dźwięku referencyjnego FLEURS i transkrypcji. Jest on pomijany w języku arabskim, ponieważ aktualny zestaw języków Qwen3-TTS tutaj nie zawiera arabskiego. Lista języków górnych Chatterbox zawiera chiński, ale obecny frontend Swift obsługuje tylko bezpośrednią ścieżkę tokenizera dla en, ar, hi, de, es, fr, itoraz pt; rząd chiński jest celowo pomijany do czasu, aż ten frontend wyląduje.

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

Po co wielokrotne wyniki?

Klon może brzmieć jak głośnik, ale powiedzieć niewłaściwy tekst, lub powiedzieć tekst wyraźnie, gdy brakuje głośnika. Może również dopasować tekst i głośnik podczas przenoszenia dźwiękowych artefaktów. Głośnik cosine, WER / CER i UTMOS złapać różne tryby awarii, więc wszystkie trzy muszą być widoczne.

Emocja i przypisanie stylu

OmniVoice
Szeroki styl podpowiedzi

Dobrze, gdy chcesz sklonowany głośnik z prostym poradnikiem dostawy, takich jak uspokajający, młodszy, niższy, lub whispered czytanie. Ten punkt odniesienia użył neutralnej dostawy.

Chatterbox Multilingual
Wytrzymałość

Przydatne, gdy chcesz, aby ten sam głośnik brzmiał bardziej powściągliwie lub bardziej animowany bez zapisywania znaczników emocji w tekście. Ten punkt odniesienia zachował ekspresję neutralną.

VoxCPM2
Kierunek głosu w prostych słowach

Silny dopasowanie, gdy chcesz opisać docelowy głos lub dostawy w języku naturalnym, podczas gdy nadal klonowanie z klipu referencyjnego. Ten punkt odniesienia używał tylko klipu odniesienia.

Fish Audio S2 Pro
Aktywne sygnały dostawy

Najlepiej, gdy skrypt potrzebuje wyraźnych momentów takich jak śmiech, szepty, podniecenie, czy smutek. Ten punkt odniesienia użył zwykłego tekstu bez sygnałów aktorskich.

Qwen3-TTS Base
Reference- audio ICL

Używa klipu i transkrypcji FLEURS jako kondycjonowania w kontekście. Jest to porównywalna ścieżka Qwen3-TTS do klonowania opartego na próbkach w tabeli.

F5-TTS
Prędkość + flagi nasion

Brak znaczników inline; --f5-speed skalowania pacing i --f5-seed pins przepływ dokładnie - najczystszy z szybkich klonerów.

Higgs TTS 3
Tokeny kontroli wewnętrznej

& lt; 124; emocje:... 124; & gt;, & lt; 134; styl: szeptanie 124;; & gt!, & lt = 124; sfx: śmiech 124; i prosodie znaczniki umieszczone prosto w tekście docelowym.

IndexTTS2
Zakłady emocjonujące + wektory

--indextts2-emotion zaprogramowane lub wektor wartości 8- ważony, plus oddzielny klip wzorcowy style- i kontrola szybkości mówienia.

Wskaźnik ten celowo pozostawia te stery neutralne. To utrzymuje podobieństwo głośnika związane z odniesieniem FLEURS zamiast nagradzania modelu do dodawania dodatkowych emocji, szeptów, krzyków lub śmiechu.

Odczyt wyniku

Traktuj to jako kompaktowy sprawdzian inżynieryjny, a nie liderów. Dziesięć par odniesienia / docelowy na język są bardziej przydatne niż pojedyncze zdanie demo, ale nadal zbyt małe, aby koronować uniwersalnego zwycięzcę. Przydatne czytanie jest tam, gdzie model jest stabilny lub kruchy dla określonego języka i metryki.

Fish Audio i Qwen3-TTS często zdobywają lepsze wyniki na UTMOS nawet jeśli inny model ma wyższy głośnik cosine. Qwen3-TTS Base ICL jest dołączony do angielskiego, niemieckiego, hiszpańskiego i chińskiego; w tym trybie jest najsilniejszy jako naturalność / text- recovery bazowy, podczas gdy dedykowane modele klonowania pozostają konkurencyjne na tożsamości głośnika. Prawym czytaniem jest per- język handlowy, nie jeden zwycięzca.