语音克隆基准

July 2, 2026

语音克隆模型，在五种语言上实测。

我们为每种语言克隆了十位 FLEURS 参考说话人，生成十句留出的 FLEURS 目标句，然后对说话人相似度、WER/CER、UTMOS 预测质量和稳态速度求平均。下方的播放器展示同一次运行中一个有代表性的参考与生成输出。

English Español Deutsch Français Português Русский中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

英语

FLEURS test/en_us，10 组参考/目标配对

人类 ASR 底线：在原始 FLEURS 目标音频上为 3.5% WER。

模型	精度	余弦	WER	UTMOS	音频 μ	RTF 中位
OmniVoice	int8	0.513	11.1%	2.32	5.20 s	0.17
VoxCPM2	bf16	0.547	1.8%	2.97	4.88 s	1.11
Chatterbox Multilingual	fp16	0.642	1.2%	2.22	5.10 s	0.76
Fish Audio S2 Pro	fp16	0.489	3.9%	3.47	4.60 s	2.78
Qwen3-TTS Base	1.7B bf16 ICL	0.491	2.4%	3.50	4.95 s	1.70

德语

FLEURS test/de_de，10 组参考/目标配对

人类 ASR 底线：在原始 FLEURS 目标音频上为 11.4% WER。

模型	精度	余弦	WER	UTMOS	音频 μ	RTF 中位
OmniVoice	int8	0.787	4.3%	2.89	6.57 s	0.22
VoxCPM2	bf16	0.732	3.8%	2.80	5.76 s	1.09
Chatterbox Multilingual	fp16	0.778	5.2%	3.32	6.12 s	1.20
Fish Audio S2 Pro	fp16	0.718	7.0%	3.34	5.66 s	2.80
Qwen3-TTS Base	1.7B bf16 ICL	0.721	10.8%	3.34	5.79 s	1.72

现代标准阿拉伯语

FLEURS test/ar_eg，10 组参考/目标配对

人类 ASR 底线：在原始 FLEURS 目标音频上为 32.8% WER。

模型	精度	余弦	WER	UTMOS	音频 μ	RTF 中位
OmniVoice	int8	0.727	33.2%	2.72	7.04 s	0.18
VoxCPM2	bf16	0.678	30.2%	2.67	6.26 s	1.14
Chatterbox Multilingual	fp16	0.703	28.3%	2.90	6.37 s	1.10
Fish Audio S2 Pro	fp16	0.688	26.7%	3.30	5.63 s	2.83

西班牙语

FLEURS test/es_419，10 组参考/目标配对

人类 ASR 底线：在原始 FLEURS 目标音频上为 10.6% WER。

模型	精度	余弦	WER	UTMOS	音频 μ	RTF 中位
OmniVoice	int8	0.758	9.9%	2.86	6.29 s	0.21
VoxCPM2	bf16	0.641	5.8%	2.62	4.58 s	1.18
Chatterbox Multilingual	fp16	0.708	6.9%	3.37	5.08 s	1.22
Fish Audio S2 Pro	fp16	0.633	6.8%	2.95	4.48 s	2.73
Qwen3-TTS Base	1.7B bf16 ICL	0.710	11.1%	3.03	4.79 s	1.76

中文

FLEURS test/cmn_hans_cn，10 组参考/目标配对

人类 ASR 底线：在原始 FLEURS 目标音频上为 7.6% CER。

模型	精度	余弦	CER	UTMOS	音频 μ	RTF 中位
OmniVoice	int8	0.709	4.9%	2.83	6.56 s	0.21
VoxCPM2	bf16	0.695	4.9%	2.91	5.70 s	1.10
Fish Audio S2 Pro	fp16	0.634	6.2%	3.55	4.95 s	2.76
Qwen3-TTS Base	1.7B bf16 ICL	0.701	5.7%	3.44	5.24 s	1.73

数值为每种受支持语言十个生成片段的均值，RTF 除外——它取中位数以避免冷启动计时的离群值。说话人余弦越高，表示生成片段越接近 FLEURS 参考说话人的嵌入。WER/CER 越低，表示所请求文本恢复得越干净；中文用 CER 评分，其他语言用 WER。UTMOS 越高，是 1–5 分制的无参考预测自然度分数。RTF 越低越快。破折号表示该行的批量运行未产生可靠计时。这些是工程回归指标，不是人类 MOS 评审。同一个 Qwen3-ASR 评分器在每种语言上并不同样干净：在本组原始人类 FLEURS 目标片段上，其基线错误为英语 3.5% WER、德语 11.4% WER、阿拉伯语 32.8% WER、西班牙语 10.6% WER、中文 7.6% CER。请把 WER/CER 读作文本恢复的压力信号，而非纯粹的 TTS 质量分。精度按行列出：VoxCPM2 的公开全精度 Swift 路径为 bf16，而 OmniVoice 以已发布的 int8 包展示，因为本次发布运行未使用 fp16 主干。量化行可能同时改变质量和速度，所以表中只包含每行实际测量的路径。

输入与输出采样率

来源	角色	采样率
FLEURS references	输入参考	16 kHz
OmniVoice / Chatterbox	生成输出	24 kHz
Qwen3-TTS Base ICL	生成输出	24 kHz
Fish Audio S2 Pro	生成输出	44.1 kHz
VoxCPM2	生成输出	48 kHz

参考音频为 16 kHz，因此只包含约 8 kHz 以下的可观测信息。更高采样率的输出可能听起来更开阔，因为它们保留或合成了更多高频段的气息、齿音和房间细节，但 44.1 或 48 kHz 的输出并不自动意味着更好的克隆。大多数说话人身份和可懂度线索都远在该高频段之下，而过量的高频能量可能让声音显得尖锐，即使 WER 和说话人余弦看起来不错。

参考音频与生成克隆

英语参考

英语

FLEURS test/en_us/6306322369645218273.wav

参考转录： One can only wonder what the keyboard will become when something newer comes along.

生成文本： While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice

从英语参考克隆的 int8 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.513

WER μ

11.1%

UTMOS μ

2.32

RTF 中位

0.17

VoxCPM2

从英语参考克隆的 bf16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.547

WER μ

1.8%

UTMOS μ

2.97

RTF 中位

1.11

Chatterbox Multilingual

从英语参考克隆的 fp16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.642

WER μ

1.2%

UTMOS μ

2.22

RTF 中位

0.76

Fish Audio S2 Pro

从英语参考克隆的 fp16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.489

WER μ

3.9%

UTMOS μ

3.47

RTF 中位

2.78

Qwen3-TTS Base

从英语参考克隆的 1.7B bf16 ICL 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.491

WER μ

2.4%

UTMOS μ

3.50

RTF 中位

1.70

德语参考

德语

FLEURS test/de_de/17047810064400454397.wav

参考转录： Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

生成文本： Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice

从德语参考克隆的 int8 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.787

WER μ

4.3%

UTMOS μ

2.89

RTF 中位

0.22

VoxCPM2

从德语参考克隆的 bf16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.732

WER μ

3.8%

UTMOS μ

2.80

RTF 中位

1.09

Chatterbox Multilingual

从德语参考克隆的 fp16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.778

WER μ

5.2%

UTMOS μ

3.32

RTF 中位

1.20

Fish Audio S2 Pro

从德语参考克隆的 fp16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.718

WER μ

7.0%

UTMOS μ

3.34

RTF 中位

2.80

Qwen3-TTS Base

从德语参考克隆的 1.7B bf16 ICL 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.721

WER μ

10.8%

UTMOS μ

3.34

RTF 中位

1.72

现代标准阿拉伯语参考

现代标准阿拉伯语

FLEURS test/ar_eg/747984393569561964.wav

参考转录： المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

生成文本： قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice

从现代标准阿拉伯语参考克隆的 int8 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.727

WER μ

33.2%

UTMOS μ

2.72

RTF 中位

0.18

VoxCPM2

从现代标准阿拉伯语参考克隆的 bf16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.678

WER μ

30.2%

UTMOS μ

2.67

RTF 中位

1.14

Chatterbox Multilingual

从现代标准阿拉伯语参考克隆的 fp16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.703

WER μ

28.3%

UTMOS μ

2.90

RTF 中位

1.10

Fish Audio S2 Pro

从现代标准阿拉伯语参考克隆的 fp16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.688

WER μ

26.7%

UTMOS μ

3.30

RTF 中位

2.83

西班牙语参考

西班牙语

FLEURS test/es_419/11137049735103408221.wav

参考转录： Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

生成文本： La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice

从西班牙语参考克隆的 int8 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.758

WER μ

9.9%

UTMOS μ

2.86

RTF 中位

0.21

VoxCPM2

从西班牙语参考克隆的 bf16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.641

WER μ

5.8%

UTMOS μ

2.62

RTF 中位

1.18

Chatterbox Multilingual

从西班牙语参考克隆的 fp16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.708

WER μ

6.9%

UTMOS μ

3.37

RTF 中位

1.22

Fish Audio S2 Pro

从西班牙语参考克隆的 fp16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.633

WER μ

6.8%

UTMOS μ

2.95

RTF 中位

2.73

Qwen3-TTS Base

从西班牙语参考克隆的 1.7B bf16 ICL 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.710

WER μ

11.1%

UTMOS μ

3.03

RTF 中位

1.76

中文参考

中文

FLEURS test/cmn_hans_cn/6735471425702786619.wav

参考转录：当天，格林尼治时间 (GMT) 约 12 时许，该车辆被拖离事故现场。

生成文本：植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice

从中文参考克隆的 int8 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.709

CER μ

4.9%

UTMOS μ

2.83

RTF 中位

0.21

VoxCPM2

从中文参考克隆的 bf16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.695

CER μ

4.9%

UTMOS μ

2.91

RTF 中位

1.10

Fish Audio S2 Pro

从中文参考克隆的 fp16 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.634

CER μ

6.2%

UTMOS μ

3.55

RTF 中位

2.76

Qwen3-TTS Base

从中文参考克隆的 1.7B bf16 ICL 版本。指标为十个片段的均值；音频为一个有代表性的样本。

余弦 μ

0.701

CER μ

5.7%

UTMOS μ

3.44

RTF 中位

1.73

方法

数据集参考，而非精挑细选的演示

参考与目标文本来自 Google FLEURS 测试集：英语、德语、阿拉伯语、西班牙语和普通话中文。对每种语言我们选取十个参考片段，并将每个与一句不同的留出 FLEURS 目标句配对，使指标对单个容易或糟糕的句子不那么敏感。对于接受参考转录的引擎，会将确切的 FLEURS 转录与音频提示一起传入。

评分形态映射了 VoxCPM 式语音克隆评估的客观一面：通过 WER/CER 的可懂度，以及通过说话人嵌入余弦相似度的克隆。这里的说话人编码器是 Soniqo 的 speech embed-speaker --engine mlx，所以请在本表内部比较各行，而不要直接与论文中的 SIM 百分比对比。

UTMOS 使用 SpeechMOS 的 utmos22_strong 计算，在把生成片段重采样到 16 kHz 之后。它给出 WER 和说话人余弦所遗漏的无参考自然度信号，但它仍是模型预测，而非人类听测研究。

Qwen3-TTS Base 使用 speech-swift 的公开 ICL API （Qwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL）测量，使用相同的 FLEURS 参考音频与转录。阿拉伯语被省略，因为此处暴露的 Qwen3-TTS 语言集不包含阿拉伯语。Chatterbox 的上游语言列表包含中文，但当前 Swift 前端仅支持 en、ar、hi、de、es、fr、it 和 pt 的直接分词器路径；中文行在该前端落地前被有意省略。

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

为什么要多项分数？

一个克隆可能听起来像说话人却说错文本，或把文本说清楚却丢了说话人。它也可能文本和说话人都对，却带着可听见的伪影。说话人余弦、WER/CER 和 UTMOS 捕捉不同的失效模式，所以三者都需要可见。

情感与风格归因

OmniVoice

宽泛的风格提示

当你想要一个带简单表达指引的克隆说话人时很好，比如更平静、更年轻、更低沉或耳语式的朗读。本基准使用中性表达。

Chatterbox Multilingual

表现力强度

当你想让同一说话人听起来更克制或更活跃、又不想在文本里写情感标签时很有用。本基准把表现力保持中性。

VoxCPM2

用平白语言指挥声音

当你想用自然语言描述目标声音或表达、同时仍从参考片段克隆时非常契合。本基准仅使用参考片段。

Fish Audio S2 Pro

表演式表达提示

当脚本需要明确的时刻（如大笑、耳语、兴奋或悲伤）时最佳。本基准使用不带表演提示的纯文本。

Qwen3-TTS Base

参考音频 ICL

把 FLEURS 片段与转录作为上下文条件。这是表中用于基于样本克隆的可比 Qwen3-TTS 路径。

本基准有意让这些控制保持中性。这样能把说话人相似度绑定到 FLEURS 参考，而不是奖励模型添加额外的情感、耳语、喊叫或大笑。

如何解读结果

请把它当作一次紧凑的工程检查，而非排行榜。每种语言十组参考/目标配对比单句演示更有用，但仍太少，不足以加冕一个通用赢家。有用的解读是：某模型在特定语言与指标上是稳定还是脆弱。

Fish Audio 和 Qwen3-TTS 常常在 UTMOS 上得分更高，即使另一模型的说话人余弦更高。Qwen3-TTS Base ICL 纳入了英语、德语、西班牙语和中文；在本次运行中它作为自然度/文本恢复基线最强，而专用克隆模型在说话人身份上仍具竞争力。正确的解读是按语言权衡，而非单一赢家。

试试这套栈

Speech Studio

本地桌面应用，可在你的机器上克隆声音并渲染多说话人脚本。

打开 Speech Studio

Soniqo Cloud

托管端点，可在接入产品前测试同一套语音栈。

打开 cloud.soniqo.audio

语音克隆文档 VoxCPM 评估论文