Benchmarks de clonage vocal

July 2, 2026

Modèles de clonage vocal, mesurés sur cinq langues.

Nous avons cloné dix locuteurs de référence FLEURS par langue, généré dix phrases cibles FLEURS réservées, puis moyenné la similarité de locuteur, le WER/CER, la qualité prédite UTMOS et la vitesse en régime établi. Les lecteurs ci-dessous montrent une référence représentative et la sortie générée du même run.

English Español DeutschFrançaisPortuguês Русский 中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

Anglais

FLEURS test/en_us, 10 paires référence/cible

Plancher ASR humain : 3.5% WER sur l’audio cible original de FLEURS.

Modèle	Précision	Cosinus	WER	UTMOS	Audio μ	RTF méd.
OmniVoice	int8	0.513	11.1%	2.32	5.20 s	0.17
VoxCPM2	bf16	0.547	1.8%	2.97	4.88 s	1.11
Chatterbox Multilingual	fp16	0.642	1.2%	2.22	5.10 s	0.76
Fish Audio S2 Pro	fp16	0.489	3.9%	3.47	4.60 s	2.78
Qwen3-TTS Base	1.7B bf16 ICL	0.491	2.4%	3.50	4.95 s	1.70

Allemand

FLEURS test/de_de, 10 paires référence/cible

Plancher ASR humain : 11.4% WER sur l’audio cible original de FLEURS.

Modèle	Précision	Cosinus	WER	UTMOS	Audio μ	RTF méd.
OmniVoice	int8	0.787	4.3%	2.89	6.57 s	0.22
VoxCPM2	bf16	0.732	3.8%	2.80	5.76 s	1.09
Chatterbox Multilingual	fp16	0.778	5.2%	3.32	6.12 s	1.20
Fish Audio S2 Pro	fp16	0.718	7.0%	3.34	5.66 s	2.80
Qwen3-TTS Base	1.7B bf16 ICL	0.721	10.8%	3.34	5.79 s	1.72

Arabe standard moderne

FLEURS test/ar_eg, 10 paires référence/cible

Plancher ASR humain : 32.8% WER sur l’audio cible original de FLEURS.

Modèle	Précision	Cosinus	WER	UTMOS	Audio μ	RTF méd.
OmniVoice	int8	0.727	33.2%	2.72	7.04 s	0.18
VoxCPM2	bf16	0.678	30.2%	2.67	6.26 s	1.14
Chatterbox Multilingual	fp16	0.703	28.3%	2.90	6.37 s	1.10
Fish Audio S2 Pro	fp16	0.688	26.7%	3.30	5.63 s	2.83

Espagnol

FLEURS test/es_419, 10 paires référence/cible

Plancher ASR humain : 10.6% WER sur l’audio cible original de FLEURS.

Modèle	Précision	Cosinus	WER	UTMOS	Audio μ	RTF méd.
OmniVoice	int8	0.758	9.9%	2.86	6.29 s	0.21
VoxCPM2	bf16	0.641	5.8%	2.62	4.58 s	1.18
Chatterbox Multilingual	fp16	0.708	6.9%	3.37	5.08 s	1.22
Fish Audio S2 Pro	fp16	0.633	6.8%	2.95	4.48 s	2.73
Qwen3-TTS Base	1.7B bf16 ICL	0.710	11.1%	3.03	4.79 s	1.76

Chinois

FLEURS test/cmn_hans_cn, 10 paires référence/cible

Plancher ASR humain : 7.6% CER sur l’audio cible original de FLEURS.

Modèle	Précision	Cosinus	CER	UTMOS	Audio μ	RTF méd.
OmniVoice	int8	0.709	4.9%	2.83	6.56 s	0.21
VoxCPM2	bf16	0.695	4.9%	2.91	5.70 s	1.10
Fish Audio S2 Pro	fp16	0.634	6.2%	3.55	4.95 s	2.76
Qwen3-TTS Base	1.7B bf16 ICL	0.701	5.7%	3.44	5.24 s	1.73

Les valeurs sont des moyennes sur dix clips générés par langue prise en charge, sauf le RTF, qui utilise la médiane pour éviter les valeurs aberrantes de démarrage à froid. Un cosinus de locuteur plus élevé signifie que le clip généré est plus proche de l’embedding du locuteur de référence FLEURS. Un WER/CER plus bas signifie que le texte demandé a été récupéré plus proprement ; le chinois est noté avec le CER, les autres langues avec le WER. Un UTMOS plus élevé est un score de naturel prédit sans référence sur une échelle de 1 à 5. Un RTF plus bas est plus rapide. Un tiret signifie que le run par lots n’a pas produit de chronométrage fiable pour cette ligne. Ce sont des métriques de régression d’ingénierie, pas un panel humain MOS. Le même évaluateur Qwen3-ASR n’est pas aussi propre dans chaque langue : sur les clips cibles humains originaux de FLEURS de cet ensemble, son erreur de base est de 3,5% WER en anglais, 11,4% WER en allemand, 32,8% WER en arabe, 10,6% WER en espagnol et 7,6% CER en chinois. Lisez le WER/CER comme un signal de stress de récupération de texte, pas comme un score pur de qualité TTS. La précision est indiquée par ligne : le chemin Swift public en pleine précision de VoxCPM2 est bf16, tandis qu’OmniVoice est montré avec le bundle int8 publié parce que le backbone fp16 n’a pas été utilisé pour ce run publié. Les lignes quantifiées peuvent changer à la fois la qualité et la vitesse, donc le tableau n’inclut que le chemin réellement mesuré pour chaque ligne.

Fréquences d’échantillonnage d’entrée et de sortie

Source	Rôle	Fréquence
FLEURS references	Référence d’entrée	16 kHz
OmniVoice / Chatterbox	Sortie générée	24 kHz
Qwen3-TTS Base ICL	Sortie générée	24 kHz
Fish Audio S2 Pro	Sortie générée	44.1 kHz
VoxCPM2	Sortie générée	48 kHz

Les références sont en 16 kHz, elles ne contiennent donc de preuve observable que jusqu’à environ 8 kHz. Les sorties à fréquence plus élevée peuvent sonner plus ouvertes parce qu’elles préservent ou synthétisent plus de souffle de bande haute, de sibilance et de détail de pièce, mais une sortie à 44,1 ou 48 kHz ne signifie pas automatiquement un meilleur clone. La plupart des indices d’identité et d’intelligibilité du locuteur vivent bien en dessous de cette bande haute, tandis qu’un excès d’énergie haute fréquence peut rendre une voix acérée même quand le WER et le cosinus de locuteur semblent bons.

Audio de référence et clones générés

Référence anglais

Anglais

FLEURS test/en_us/6306322369645218273.wav

Transcription de référence : One can only wonder what the keyboard will become when something newer comes along.

Texte généré : While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice

Clone int8 à partir de la référence anglais. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.513

WER μ

11.1%

UTMOS μ

2.32

RTF méd.

0.17

VoxCPM2

Clone bf16 à partir de la référence anglais. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.547

WER μ

1.8%

UTMOS μ

2.97

RTF méd.

1.11

Chatterbox Multilingual

Clone fp16 à partir de la référence anglais. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.642

WER μ

1.2%

UTMOS μ

2.22

RTF méd.

0.76

Fish Audio S2 Pro

Clone fp16 à partir de la référence anglais. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.489

WER μ

3.9%

UTMOS μ

3.47

RTF méd.

2.78

Qwen3-TTS Base

Clone 1.7B bf16 ICL à partir de la référence anglais. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.491

WER μ

2.4%

UTMOS μ

3.50

RTF méd.

1.70

Référence allemand

Allemand

FLEURS test/de_de/17047810064400454397.wav

Transcription de référence : Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

Texte généré : Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice

Clone int8 à partir de la référence allemand. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.787

WER μ

4.3%

UTMOS μ

2.89

RTF méd.

0.22

VoxCPM2

Clone bf16 à partir de la référence allemand. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.732

WER μ

3.8%

UTMOS μ

2.80

RTF méd.

1.09

Chatterbox Multilingual

Clone fp16 à partir de la référence allemand. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.778

WER μ

5.2%

UTMOS μ

3.32

RTF méd.

1.20

Fish Audio S2 Pro

Clone fp16 à partir de la référence allemand. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.718

WER μ

7.0%

UTMOS μ

3.34

RTF méd.

2.80

Qwen3-TTS Base

Clone 1.7B bf16 ICL à partir de la référence allemand. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.721

WER μ

10.8%

UTMOS μ

3.34

RTF méd.

1.72

Référence arabe standard moderne

Arabe standard moderne

FLEURS test/ar_eg/747984393569561964.wav

Transcription de référence : المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

Texte généré : قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice

Clone int8 à partir de la référence arabe standard moderne. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.727

WER μ

33.2%

UTMOS μ

2.72

RTF méd.

0.18

VoxCPM2

Clone bf16 à partir de la référence arabe standard moderne. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.678

WER μ

30.2%

UTMOS μ

2.67

RTF méd.

1.14

Chatterbox Multilingual

Clone fp16 à partir de la référence arabe standard moderne. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.703

WER μ

28.3%

UTMOS μ

2.90

RTF méd.

1.10

Fish Audio S2 Pro

Clone fp16 à partir de la référence arabe standard moderne. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.688

WER μ

26.7%

UTMOS μ

3.30

RTF méd.

2.83

Référence espagnol

Espagnol

FLEURS test/es_419/11137049735103408221.wav

Transcription de référence : Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

Texte généré : La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice

Clone int8 à partir de la référence espagnol. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.758

WER μ

9.9%

UTMOS μ

2.86

RTF méd.

0.21

VoxCPM2

Clone bf16 à partir de la référence espagnol. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.641

WER μ

5.8%

UTMOS μ

2.62

RTF méd.

1.18

Chatterbox Multilingual

Clone fp16 à partir de la référence espagnol. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.708

WER μ

6.9%

UTMOS μ

3.37

RTF méd.

1.22

Fish Audio S2 Pro

Clone fp16 à partir de la référence espagnol. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.633

WER μ

6.8%

UTMOS μ

2.95

RTF méd.

2.73

Qwen3-TTS Base

Clone 1.7B bf16 ICL à partir de la référence espagnol. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.710

WER μ

11.1%

UTMOS μ

3.03

RTF méd.

1.76

Référence chinois

Chinois

FLEURS test/cmn_hans_cn/6735471425702786619.wav

Transcription de référence : 当天，格林尼治时间 (GMT) 约 12 时许，该车辆被拖离事故现场。

Texte généré : 植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice

Clone int8 à partir de la référence chinois. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.709

CER μ

4.9%

UTMOS μ

2.83

RTF méd.

0.21

VoxCPM2

Clone bf16 à partir de la référence chinois. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.695

CER μ

4.9%

UTMOS μ

2.91

RTF méd.

1.10

Fish Audio S2 Pro

Clone fp16 à partir de la référence chinois. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.634

CER μ

6.2%

UTMOS μ

3.55

RTF méd.

2.76

Qwen3-TTS Base

Clone 1.7B bf16 ICL à partir de la référence chinois. Les métriques sont des moyennes de dix clips ; l’audio est un échantillon représentatif.

Cosinus μ

0.701

CER μ

5.7%

UTMOS μ

3.44

RTF méd.

1.73

Méthode

Des références de dataset, pas des démos triées sur le volet

Les références et les textes cibles proviennent du split de test de Google FLEURS : anglais, allemand, arabe, espagnol et chinois mandarin. Pour chaque langue, nous avons sélectionné dix clips de référence et associé chacun à une phrase cible FLEURS réservée différente, afin que les métriques soient moins sensibles à une phrase facile ou mauvaise. Pour les moteurs qui acceptent une transcription de référence, la transcription FLEURS exacte a été passée avec le prompt audio.

La forme du score reflète le côté objectif de l’évaluation de clonage vocal de type VoxCPM : intelligibilité via le WER/CER, et clonage via la similarité cosinus de l’embedding de locuteur. L’encodeur de locuteur ici est le speech embed-speaker --engine mlx de Soniqo, alors comparez les lignes à l’intérieur de ce tableau, pas directement contre les pourcentages SIM des articles.

L’UTMOS est calculé avec utmos22_strong de SpeechMOS après rééchantillonnage des clips générés à 16 kHz. Il donne un signal de naturel sans référence que le WER et le cosinus de locuteur manquent, mais il reste une prédiction de modèle plutôt qu’une étude d’écoute humaine.

Qwen3-TTS Base est mesuré avec l’API ICL publique de speech-swift (Qwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL) en utilisant le même audio et la même transcription de référence FLEURS. Il est omis pour l’arabe parce que l’ensemble de langues Qwen3-TTS exposé ici n’inclut pas l’arabe. La liste de langues en amont de Chatterbox inclut le chinois, mais le frontend Swift actuel ne prend en charge le chemin de tokeniseur direct que pour en, ar, hi, de, es, fr, it et pt ; la ligne du chinois est omise à dessein jusqu’à l’arrivée de ce frontend.

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

Pourquoi plusieurs scores ?

Un clone peut sonner comme le locuteur mais dire le mauvais texte, ou dire le texte clairement tout en manquant le locuteur. Il peut aussi coller au texte et au locuteur tout en portant des artefacts audibles. Le cosinus de locuteur, le WER/CER et l’UTMOS attrapent des modes d’échec différents, il faut donc que les trois soient visibles.

Attribution d’émotion et de style

OmniVoice

Indices de style larges

Bon quand vous voulez un locuteur cloné avec un guidage de diction simple, comme une lecture plus calme, plus jeune, plus grave ou chuchotée. Ce benchmark a utilisé une diction neutre.

Chatterbox Multilingual

Force d’expressivité

Utile quand vous voulez que le même locuteur sonne plus retenu ou plus animé sans écrire de balises d’émotion dans le texte. Ce benchmark a gardé l’expressivité neutre.

VoxCPM2

Direction de voix en langage simple

Bien adapté quand vous voulez décrire la voix ou la diction cible en langage naturel tout en clonant depuis un clip de référence. Ce benchmark a utilisé uniquement le clip de référence.

Fish Audio S2 Pro

Indices de jeu d’acteur

Le mieux quand le script a besoin de moments explicites comme rire, chuchoter, s’enthousiasmer ou s’attrister. Ce benchmark a utilisé du texte simple sans indices de jeu.

Qwen3-TTS Base

ICL par audio de référence

Utilise le clip et la transcription FLEURS comme conditionnement en contexte. C’est le chemin Qwen3-TTS comparable pour le clonage par échantillon dans le tableau.

Le benchmark laisse volontairement ces contrôles en neutre. Cela maintient la similarité de locuteur liée à la référence FLEURS au lieu de récompenser un modèle pour avoir ajouté de l’émotion supplémentaire, du chuchotement, des cris ou des rires.

Lire le résultat

Traitez ceci comme une vérification d’ingénierie compacte, pas comme un classement. Dix paires référence/cible par langue sont plus utiles qu’une seule phrase de démo, mais restent trop peu nombreuses pour couronner un vainqueur universel. La lecture utile est de savoir où un modèle est stable ou fragile pour une langue et une métrique données.

Fish Audio et Qwen3-TTS obtiennent souvent un meilleur UTMOS même quand un autre modèle a un cosinus de locuteur plus élevé. Qwen3-TTS Base ICL est inclus pour l’anglais, l’allemand, l’espagnol et le chinois ; dans ce run, il est le plus fort comme base de naturel/récupération de texte, tandis que les modèles de clonage dédiés restent compétitifs sur l’identité de locuteur. La bonne lecture, ce sont les compromis par langue, pas un vainqueur unique.

Essayez la stack

Speech Studio

App de bureau locale pour cloner des voix et rendre des scripts multi-locuteurs sur votre machine.

Ouvrir Speech Studio

Soniqo Cloud

Endpoint hébergé pour tester la même stack vocale avant de l’intégrer dans un produit.

Ouvrir cloud.soniqo.audio

Docs de clonage vocal Article d’évaluation VoxCPM