Traduzione automatica · Originale inglese

Parametri di clonazione vocale

July 2, 2026

Modelli di clonazione vocale, misurati in cinque lingue.

Abbiamo clonato dieci diffusori di riferimento FLEURS per lingua, generato dieci frasi di destinazione FLEURS, quindi somiglianza media di diffusore, WER/CER e UTMOS ha predetto la qualità e la velocità di stato costante.

English Filipino (Tagalog)ItalianoBahasa Indonesia Polski Nederlands Svenska עברית Norsk bokmål Dansk Română Čeština Suomi Español Deutsch Français Português Русский 中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

Inglese

FLEURS test/en_us, 10 coppie di riferimento/target

Umano ASR floor: 3.5% WER sull'audio di destinazione originale FLEURS.

Modello	Precisione	Cosi'.	WER	UTMOS	Audio μ	RTF med.	picco RSS
OmniVoice	int8	0.513	11.1%	2.32	5.20 s	0.17	—
VoxCPM2	bf16	0.547	1.8%	2.97	4.88 s	1.11	1.5 GB
Chatterbox Multilingual	fp16	0.642	1.2%	2.22	5.10 s	0.76	—
Fish Audio S2 Pro	fp16	0.489	3.9%	3.47	4.60 s	2.78	—
Qwen3-TTS Base	1.7B bf16 ICL	0.491	2.4%	3.50	4.95 s	1.70	1.8 GB
F5-TTS	fp16	0.698	5.6%	1.82	9.09 s	0.57	0.7 GB
Higgs TTS 3	bf16	0.472	4.0%	2.88	7.60 s	0.78	8.0 GB
IndexTTS2	fp16	0.738	5.1%	2.98	7.34 s	1.0	2.9 GB

Germania

FLEURS test/de_de, 10 coppie di riferimento/target

Umano ASR floor: 11.4% WER sull'audio di destinazione originale FLEURS.

Modello	Precisione	Cosi'.	WER	UTMOS	Audio μ	RTF med.	picco RSS
OmniVoice	int8	0.787	4.3%	2.89	6.57 s	0.22	—
VoxCPM2	bf16	0.732	3.8%	2.80	5.76 s	1.09	1.5 GB
Chatterbox Multilingual	fp16	0.778	5.2%	3.32	6.12 s	1.20	—
Fish Audio S2 Pro	fp16	0.718	7.0%	3.34	5.66 s	2.80	—
Qwen3-TTS Base	1.7B bf16 ICL	0.721	10.8%	3.34	5.79 s	1.72	1.8 GB
Higgs TTS 3	bf16	0.678	5.7%	2.95	11.82 s	0.78	8.0 GB

Moderno standard arabo

FLEURS test/ar_eg, 10 coppie di riferimento/target

Umano ASR floor: 32.8% WER sull'audio di destinazione originale FLEURS.

Modello	Precisione	Cosi'.	WER	UTMOS	Audio μ	RTF med.	picco RSS
OmniVoice	int8	0.727	33.2%	2.72	7.04 s	0.18	—
VoxCPM2	bf16	0.678	30.2%	2.67	6.26 s	1.14	1.5 GB
Chatterbox Multilingual	fp16	0.703	28.3%	2.90	6.37 s	1.10	—
Fish Audio S2 Pro	fp16	0.688	26.7%	3.30	5.63 s	2.83	—
Higgs TTS 3	bf16	0.700	20.2%	2.75	12.33 s	0.78	8.0 GB

Spagnolo

FLEURS test/es_419, 10 coppie di riferimento/target

Umano ASR floor: 10.6% WER sull'audio di destinazione originale FLEURS.

Modello	Precisione	Cosi'.	WER	UTMOS	Audio μ	RTF med.	picco RSS
OmniVoice	int8	0.758	9.9%	2.86	6.29 s	0.21	—
VoxCPM2	bf16	0.641	5.8%	2.62	4.58 s	1.18	1.5 GB
Chatterbox Multilingual	fp16	0.708	6.9%	3.37	5.08 s	1.22	—
Fish Audio S2 Pro	fp16	0.633	6.8%	2.95	4.48 s	2.73	—
Qwen3-TTS Base	1.7B bf16 ICL	0.710	11.1%	3.03	4.79 s	1.76	1.8 GB
Higgs TTS 3	bf16	0.623	1.0%	2.84	5.08 s	0.78	8.0 GB

Cinese

FLEURS test/cmn_hans_cn, 10 coppie di riferimento/target

Umano ASR floor: 7.6% CER sull'audio di destinazione originale FLEURS.

Modello	Precisione	Cosi'.	CER	UTMOS	Audio μ	RTF med.	picco RSS
OmniVoice	int8	0.709	4.9%	2.83	6.56 s	0.21	—
VoxCPM2	bf16	0.695	4.9%	2.91	5.70 s	1.10	1.5 GB
Fish Audio S2 Pro	fp16	0.634	6.2%	3.55	4.95 s	2.76	—
Qwen3-TTS Base	1.7B bf16 ICL	0.701	5.7%	3.44	5.24 s	1.73	1.8 GB
F5-TTS	fp16	0.780	13.9%	1.66	6.91 s	0.57	0.7 GB
Higgs TTS 3	bf16	0.574	4.3%	3.13	5.01 s	0.78	8.0 GB

I valori sono mezzi oltre dieci clip generati per lingua supportata, tranne RTF, che utilizza la mediana per evitare outlier di temporizzazione a freddo. Più alto rumore diffusore significa che la clip generata è più vicina al FLEURS diffusore di riferimento incorporato. In basso WER/CER significa che il testo richiesto è stato recuperato più pulita; il cinese è segnato con CER, le altre lingue WER. Più alto UTMOS è un punteggio di naturalezza predetto no-reference su un 1-5 in scala. RTF è più veloce. Un trattino significa che il batch run non ha prodotto tempistiche affidabili per quella fila. Queste sono metriche di regressione di ingegneria, non un pannello MOS umano. Qwen3-ASR il segnapunti non è altrettanto pulito su ogni lingua: sull'uomo originale FLEURS clip di destinazione in questo set, il suo errore di base è 3.5% Inglese WER, 11.4% Germania WER, 32.8% Arabo WER, 10.6% Spagnolo WERe 7.6% Cinese CER. Leggi WER/CER come un segnale di stress di recupero di testo, non come un puro TTS punteggio di qualità. La precisione è elencata per riga: VoxCPM2’s public full-precision Swift il sentiero è bf16♪ OmniVoice è mostrato con il pubblicato int8 il fascio perché il fp16 La colonna vertebrale non è stata utilizzata per questo run pubblicato. Le righe quantizzate possono cambiare sia la qualità che la velocità, quindi la tabella include solo il percorso reale misurato per ogni riga.

F5-TTS, Higgs TTS 3e IndexTTS2 le righe sono state misurate luglio 12, 2026 sulla stessa FLEURS set di test e comandi di punteggio (n=10 per lingua; UTMOS22-strong); loro RTF è la cifra di riferimento del rilascio di singola frase, e Peak RSS proviene da un clone CLI corsa dove il motore navi nel discorso CLI.

Tassi di campionamento in ingresso e in uscita

Fonte	Role	Tasso
FLEURS references	Riferimento dell'input	16 kHz
OmniVoice / Chatterbox	Produzione generata	24 kHz
Qwen3-TTS Base ICL	Produzione generata	24 kHz
Fish Audio S2 Pro	Produzione generata	44.1 kHz
VoxCPM2	Produzione generata	48 kHz
F5-TTS / Higgs TTS 3	Produzione generata	24 kHz
IndexTTS2	Produzione generata	22.05 kHz

I riferimenti sono 16 kHz, quindi contengono solo prove osservabili fino a circa 8 kHz. Le uscite più elevate possono suonare più aperte perché conservano o sintetizzano il respiro più a banda alta, la sibilanza e i dettagli della stanza, ma 44.1 o 48 L'uscita kHz non significa automaticamente un clone migliore. La maggior parte dei diffusori identità e intelligibilità cues vivono ben al di sotto di quella fascia alta, mentre l'energia ad alta frequenza eccessiva può rendere una voce acuta anche quando WER e diffusore cosìne aspetto buono.

Audio di riferimento e cloni generati

Riferimento: Inglese

Inglese

FLEURS test/en_us/6306322369645218273.wav

Trascrizione di riferimento: One can only wonder what the keyboard will become when something newer comes along.

Testo generato: While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice

int8 clone dal riferimento Inglese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.513

WER μ

11.1%

UTMOS μ

2.32

RTF med.

0.17

VoxCPM2

bf16 clone dal riferimento Inglese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.547

WER μ

1.8%

UTMOS μ

2.97

RTF med.

1.11

Chatterbox Multilingual

fp16 clone dal riferimento Inglese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.642

WER μ

1.2%

UTMOS μ

2.22

RTF med.

0.76

Fish Audio S2 Pro

fp16 clone dal riferimento Inglese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.489

WER μ

3.9%

UTMOS μ

3.47

RTF med.

2.78

Qwen3-TTS Base

1.7B bf16 ICL clone dal riferimento Inglese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.491

WER μ

2.4%

UTMOS μ

3.50

RTF med.

1.70

F5-TTS

fp16 clone dal riferimento Inglese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.698

WER μ

5.6%

UTMOS μ

1.82

RTF med.

0.57

Higgs TTS 3

bf16 clone dal riferimento Inglese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.472

WER μ

4.0%

UTMOS μ

2.88

RTF med.

0.78

IndexTTS2

fp16 clone dal riferimento Inglese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.738

WER μ

5.1%

UTMOS μ

2.98

RTF med.

1.0

Riferimento: Germania

Germania

FLEURS test/de_de/17047810064400454397.wav

Trascrizione di riferimento: Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

Testo generato: Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice

int8 clone dal riferimento Germania . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.787

WER μ

4.3%

UTMOS μ

2.89

RTF med.

0.22

VoxCPM2

bf16 clone dal riferimento Germania . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.732

WER μ

3.8%

UTMOS μ

2.80

RTF med.

1.09

Chatterbox Multilingual

fp16 clone dal riferimento Germania . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.778

WER μ

5.2%

UTMOS μ

3.32

RTF med.

1.20

Fish Audio S2 Pro

fp16 clone dal riferimento Germania . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.718

WER μ

7.0%

UTMOS μ

3.34

RTF med.

2.80

Qwen3-TTS Base

1.7B bf16 ICL clone dal riferimento Germania . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.721

WER μ

10.8%

UTMOS μ

3.34

RTF med.

1.72

Higgs TTS 3

bf16 clone dal riferimento Germania . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.678

WER μ

5.7%

UTMOS μ

2.95

RTF med.

0.78

Riferimento: Moderno standard arabo

Moderno standard arabo

FLEURS test/ar_eg/747984393569561964.wav

Trascrizione di riferimento: المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

Testo generato: قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice

int8 clone dal riferimento Moderno standard arabo . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.727

WER μ

33.2%

UTMOS μ

2.72

RTF med.

0.18

VoxCPM2

bf16 clone dal riferimento Moderno standard arabo . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.678

WER μ

30.2%

UTMOS μ

2.67

RTF med.

1.14

Chatterbox Multilingual

fp16 clone dal riferimento Moderno standard arabo . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.703

WER μ

28.3%

UTMOS μ

2.90

RTF med.

1.10

Fish Audio S2 Pro

fp16 clone dal riferimento Moderno standard arabo . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.688

WER μ

26.7%

UTMOS μ

3.30

RTF med.

2.83

Higgs TTS 3

bf16 clone dal riferimento Moderno standard arabo . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.700

WER μ

20.2%

UTMOS μ

2.75

RTF med.

0.78

Riferimento: Spagnolo

Spagnolo

FLEURS test/es_419/11137049735103408221.wav

Trascrizione di riferimento: Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

Testo generato: La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice

int8 clone dal riferimento Spagnolo . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.758

WER μ

9.9%

UTMOS μ

2.86

RTF med.

0.21

VoxCPM2

bf16 clone dal riferimento Spagnolo . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.641

WER μ

5.8%

UTMOS μ

2.62

RTF med.

1.18

Chatterbox Multilingual

fp16 clone dal riferimento Spagnolo . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.708

WER μ

6.9%

UTMOS μ

3.37

RTF med.

1.22

Fish Audio S2 Pro

fp16 clone dal riferimento Spagnolo . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.633

WER μ

6.8%

UTMOS μ

2.95

RTF med.

2.73

Qwen3-TTS Base

1.7B bf16 ICL clone dal riferimento Spagnolo . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.710

WER μ

11.1%

UTMOS μ

3.03

RTF med.

1.76

Higgs TTS 3

bf16 clone dal riferimento Spagnolo . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.623

WER μ

1.0%

UTMOS μ

2.84

RTF med.

0.78

Riferimento: Cinese

Cinese

FLEURS test/cmn_hans_cn/6735471425702786619.wav

Trascrizione di riferimento: 当天，格林尼治时间 (GMT) 约 12 时许，该车辆被拖离事故现场。

Testo generato: 植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice

int8 clone dal riferimento Cinese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.709

CER μ

4.9%

UTMOS μ

2.83

RTF med.

0.21

VoxCPM2

bf16 clone dal riferimento Cinese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.695

CER μ

4.9%

UTMOS μ

2.91

RTF med.

1.10

Fish Audio S2 Pro

fp16 clone dal riferimento Cinese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.634

CER μ

6.2%

UTMOS μ

3.55

RTF med.

2.76

Qwen3-TTS Base

1.7B bf16 ICL clone dal riferimento Cinese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.701

CER μ

5.7%

UTMOS μ

3.44

RTF med.

1.73

F5-TTS

fp16 clone dal riferimento Cinese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.780

CER μ

13.9%

UTMOS μ

1.66

RTF med.

0.57

Higgs TTS 3

bf16 clone dal riferimento Cinese . I metri sono mezzi di dieci-clip; l'audio è un campione rappresentativo.

Cosine μ

0.574

CER μ

4.3%

UTMOS μ

3.13

RTF med.

0.78

Metodo

Riferimenti di dataset, non demo a mano

I riferimenti e i testi di destinazione provengono da Google FLEURS test split: Inglese, Tedesco, Arabo, Spagnolo e Mandarino Cinese. Per ogni lingua abbiamo selezionato dieci clip di riferimento e abbinato ciascuno con un diverso tenuto-out FLEURS la frase di destinazione, quindi le metriche sono meno sensibili a una frase facile o cattiva. Per i motori che accettano una trascrizione di riferimento, l'esatto FLEURS trascrizione è stato passato con il prompt audio.

La forma del punteggio rispecchia il lato obiettivo della valutazione della clonazione vocale in stile VoxCPM: intelligibilità tramite WER/CER, e clonazione tramite la somiglianza del coseno che indossa l'altoparlante. Soniqo’ speech embed-speaker --engine mlx, quindi confrontare le righe all'interno di questa tabella, non contro le percentuali di carta SIM direttamente.

UTMOS è calcolato con utmos22_strong da SpeechMOS dopo aver risampato le clip generate a 16 kHz. Dà un segnale di naturalezza di no-referenza che WER e la mancanza del diffusore, ma è ancora una predizione del modello piuttosto che uno studio di ascolto umano.

Qwen3-TTS Base è misurata con il pubblico speech-swift ICL APIQwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL) utilizzando lo stesso audio di riferimento FLEURS e trascrizione. È omesso per l'arabo perché l'attuale lingua Qwen3-TTS impostato qui esposto non include arabo. L'elenco di lingue a monte di Chatterbox include il cinese, ma l'attuale frontend Swift supporta solo il percorso di tokenizer diretto per en, ar, hi, de, es, fr, ite pt; la fila cinese è intenzionalmente omessa fino a quando quel frontend atterra.

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

Perché più punteggi?

Un clone può suonare come l'altoparlante, ma dire il testo sbagliato, o dire il testo chiaramente mentre manca l'oratore. Può anche abbinare il testo e l'altopiano mentre trasporta artefatti udibili. WER/CERe UTMOS prendere diverse modalità di guasto, quindi tutti e tre devono essere visibili.

Emozione e attribuzione di stile

OmniVoice

Suggerimenti in stile ampio

Bene quando si desidera un altoparlante clonato con una semplice guida di consegna, come un più calmo, più giovane, più basso, o bisbigliato leggere.

Chatterbox Multilingual

Resistenza all'espressività

Utile quando si desidera che lo stesso altoparlante suoni più restrittivo o più animato senza scrivere etichette di emozione nel testo.

VoxCPM2

Direzione vocale in parole semplici

Forte vestibilità quando si desidera descrivere la voce di destinazione o la consegna in lingua naturale, mentre ancora clonazione da una clip di riferimento.

Fish Audio S2 Pro

Cure di consegna attive

Meglio quando lo script ha bisogno di momenti espliciti come ridere, bisbigliare, eccitare, o tristezza. Questo benchmark ha usato il testo normale senza cue di recitazione.

Qwen3-TTS Base

ICL di riferimento audio

Utilizza la clip FLEURS e la trascrizione come condizionamento in-contesto. Questo è il percorso Qwen3-TTS per clonazione basata sul campione nella tabella.

F5-TTS

Velocità + bandiere di semi

Non ci sono tag in linea; --f5-speed scale pacing e --f5-seed indica esattamente il flusso — il più pulito dei cloner veloci.

Higgs TTS 3

Token di controllo in linea

<|emotion:...|>, <

IndexTTS2

Preimpostazioni di emozione + vettori

--indextts2-emotion presets o un vettore a 8 valori, ponderato, più una clip di riferimento di stile separato e il controllo della frequenza parlante.

Il benchmark lascia intenzionalmente questi controlli neutri, che mantiene la somiglianza dei diffusori legata al riferimento FLEURS invece di premiare un modello per l'aggiunta di emozioni extra, bisbigliamento, urla o risate.

Leggere il risultato

Ten coppie di riferimento/target per lingua sono più utili di una singola frase demo, ma ancora troppo piccole per incoronare un vincitore universale. La lettura utile è dove un modello è stabile o fragile per una lingua specifica e metrica.

Fish Audio e Qwen3-TTS spesso segnano meglio su UTMOS anche quando un altro modello ha un'alta qualità dell'altoparlante. Qwen3-TTS Base ICL è incluso per l'inglese, il tedesco, lo spagnolo e il cinese.

Prova la pila

Speech Studio

App desktop locale per clonare voci e rendering script multi-speaker sulla vostra macchina.

Open Speech Studio

Soniqo Cloud

Endpoint ospitato per testare lo stesso stack di parole prima di cablarlo in un prodotto.

Aprire soniqo.audio/cloud

Docs di clonazione vocale Documento di valutazione VoxCPM