Бенчмарки клонирования голоса

July 2, 2026

Модели клонирования голоса, измеренные на пяти языках.

Мы клонировали по десять референсных дикторов FLEURS на язык, сгенерировали десять отложенных целевых предложений FLEURS, затем усреднили схожесть диктора, WER/CER, предсказанное качество UTMOS и установившуюся скорость. Плееры ниже показывают один репрезентативный референс и сгенерированный вывод из того же прогона.

English Español Deutsch Français PortuguêsРусский中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

Английский

FLEURS test/en_us, 10 пар референс/цель

Человеческий порог ASR: 3.5% WER на оригинальном целевом аудио FLEURS.

Модель	Точность	Косинус	WER	UTMOS	Аудио μ	RTF мед.
OmniVoice	int8	0.513	11.1%	2.32	5.20 s	0.17
VoxCPM2	bf16	0.547	1.8%	2.97	4.88 s	1.11
Chatterbox Multilingual	fp16	0.642	1.2%	2.22	5.10 s	0.76
Fish Audio S2 Pro	fp16	0.489	3.9%	3.47	4.60 s	2.78
Qwen3-TTS Base	1.7B bf16 ICL	0.491	2.4%	3.50	4.95 s	1.70

Немецкий

FLEURS test/de_de, 10 пар референс/цель

Человеческий порог ASR: 11.4% WER на оригинальном целевом аудио FLEURS.

Модель	Точность	Косинус	WER	UTMOS	Аудио μ	RTF мед.
OmniVoice	int8	0.787	4.3%	2.89	6.57 s	0.22
VoxCPM2	bf16	0.732	3.8%	2.80	5.76 s	1.09
Chatterbox Multilingual	fp16	0.778	5.2%	3.32	6.12 s	1.20
Fish Audio S2 Pro	fp16	0.718	7.0%	3.34	5.66 s	2.80
Qwen3-TTS Base	1.7B bf16 ICL	0.721	10.8%	3.34	5.79 s	1.72

Современный стандартный арабский

FLEURS test/ar_eg, 10 пар референс/цель

Человеческий порог ASR: 32.8% WER на оригинальном целевом аудио FLEURS.

Модель	Точность	Косинус	WER	UTMOS	Аудио μ	RTF мед.
OmniVoice	int8	0.727	33.2%	2.72	7.04 s	0.18
VoxCPM2	bf16	0.678	30.2%	2.67	6.26 s	1.14
Chatterbox Multilingual	fp16	0.703	28.3%	2.90	6.37 s	1.10
Fish Audio S2 Pro	fp16	0.688	26.7%	3.30	5.63 s	2.83

Испанский

FLEURS test/es_419, 10 пар референс/цель

Человеческий порог ASR: 10.6% WER на оригинальном целевом аудио FLEURS.

Модель	Точность	Косинус	WER	UTMOS	Аудио μ	RTF мед.
OmniVoice	int8	0.758	9.9%	2.86	6.29 s	0.21
VoxCPM2	bf16	0.641	5.8%	2.62	4.58 s	1.18
Chatterbox Multilingual	fp16	0.708	6.9%	3.37	5.08 s	1.22
Fish Audio S2 Pro	fp16	0.633	6.8%	2.95	4.48 s	2.73
Qwen3-TTS Base	1.7B bf16 ICL	0.710	11.1%	3.03	4.79 s	1.76

Китайский

FLEURS test/cmn_hans_cn, 10 пар референс/цель

Человеческий порог ASR: 7.6% CER на оригинальном целевом аудио FLEURS.

Модель	Точность	Косинус	CER	UTMOS	Аудио μ	RTF мед.
OmniVoice	int8	0.709	4.9%	2.83	6.56 s	0.21
VoxCPM2	bf16	0.695	4.9%	2.91	5.70 s	1.10
Fish Audio S2 Pro	fp16	0.634	6.2%	3.55	4.95 s	2.76
Qwen3-TTS Base	1.7B bf16 ICL	0.701	5.7%	3.44	5.24 s	1.73

Значения — средние по десяти сгенерированным клипам на поддерживаемый язык, кроме RTF, где берётся медиана, чтобы избежать выбросов из-за холодного старта. Более высокий косинус диктора означает, что сгенерированный клип ближе к эмбеддингу референсного диктора FLEURS. Более низкий WER/CER означает, что запрошенный текст восстановлен чище; китайский оценивается по CER, остальные языки — по WER. Более высокий UTMOS — это безреференсная предсказанная оценка естественности по шкале от 1 до 5. Более низкий RTF — быстрее. Прочерк означает, что пакетный прогон не дал надёжного тайминга для этой строки. Это инженерные регрессионные метрики, а не человеческая панель MOS. Один и тот же оценщик Qwen3-ASR не одинаково чист на каждом языке: на оригинальных человеческих целевых клипах FLEURS в этом наборе его базовая ошибка — 3,5% WER для английского, 11,4% WER для немецкого, 32,8% WER для арабского, 10,6% WER для испанского и 7,6% CER для китайского. Читайте WER/CER как сигнал нагрузки на восстановление текста, а не как чистую оценку качества TTS. Точность указана по строкам: публичный Swift-путь VoxCPM2 полной точности — bf16, тогда как OmniVoice показан с опубликованным int8-бандлом, потому что fp16-бэкбон в этом опубликованном прогоне не использовался. Квантованные строки могут менять и качество, и скорость, поэтому таблица включает только фактически измеренный путь для каждой строки.

Частоты дискретизации входа и выхода

Источник	Роль	Частота
FLEURS references	Входной референс	16 kHz
OmniVoice / Chatterbox	Сгенерированный вывод	24 kHz
Qwen3-TTS Base ICL	Сгенерированный вывод	24 kHz
Fish Audio S2 Pro	Сгенерированный вывод	44.1 kHz
VoxCPM2	Сгенерированный вывод	48 kHz

Референсы — 16 кГц, поэтому содержат наблюдаемые данные лишь примерно до 8 кГц. Выводы с более высокой частотой могут звучать более открыто, потому что сохраняют или синтезируют больше высокочастотного дыхания, шипящих и деталей помещения, но вывод 44,1 или 48 кГц не означает автоматически лучший клон. Большинство признаков идентичности и разборчивости диктора лежат гораздо ниже этой высокой полосы, тогда как избыток высокочастотной энергии может делать голос резким, даже когда WER и косинус диктора выглядят хорошо.

Референсное аудио и сгенерированные клоны

Референс: Английский

Английский

FLEURS test/en_us/6306322369645218273.wav

Референсная транскрипция: One can only wonder what the keyboard will become when something newer comes along.

Сгенерированный текст: While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice

Клон int8 из референса (Английский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.513

WER μ

11.1%

UTMOS μ

2.32

RTF мед.

0.17

VoxCPM2

Клон bf16 из референса (Английский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.547

WER μ

1.8%

UTMOS μ

2.97

RTF мед.

1.11

Chatterbox Multilingual

Клон fp16 из референса (Английский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.642

WER μ

1.2%

UTMOS μ

2.22

RTF мед.

0.76

Fish Audio S2 Pro

Клон fp16 из референса (Английский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.489

WER μ

3.9%

UTMOS μ

3.47

RTF мед.

2.78

Qwen3-TTS Base

Клон 1.7B bf16 ICL из референса (Английский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.491

WER μ

2.4%

UTMOS μ

3.50

RTF мед.

1.70

Референс: Немецкий

Немецкий

FLEURS test/de_de/17047810064400454397.wav

Референсная транскрипция: Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

Сгенерированный текст: Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice

Клон int8 из референса (Немецкий). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.787

WER μ

4.3%

UTMOS μ

2.89

RTF мед.

0.22

VoxCPM2

Клон bf16 из референса (Немецкий). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.732

WER μ

3.8%

UTMOS μ

2.80

RTF мед.

1.09

Chatterbox Multilingual

Клон fp16 из референса (Немецкий). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.778

WER μ

5.2%

UTMOS μ

3.32

RTF мед.

1.20

Fish Audio S2 Pro

Клон fp16 из референса (Немецкий). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.718

WER μ

7.0%

UTMOS μ

3.34

RTF мед.

2.80

Qwen3-TTS Base

Клон 1.7B bf16 ICL из референса (Немецкий). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.721

WER μ

10.8%

UTMOS μ

3.34

RTF мед.

1.72

Референс: Современный стандартный арабский

Современный стандартный арабский

FLEURS test/ar_eg/747984393569561964.wav

Референсная транскрипция: المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

Сгенерированный текст: قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice

Клон int8 из референса (Современный стандартный арабский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.727

WER μ

33.2%

UTMOS μ

2.72

RTF мед.

0.18

VoxCPM2

Клон bf16 из референса (Современный стандартный арабский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.678

WER μ

30.2%

UTMOS μ

2.67

RTF мед.

1.14

Chatterbox Multilingual

Клон fp16 из референса (Современный стандартный арабский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.703

WER μ

28.3%

UTMOS μ

2.90

RTF мед.

1.10

Fish Audio S2 Pro

Косинус μ

0.688

WER μ

26.7%

UTMOS μ

3.30

RTF мед.

2.83

Референс: Испанский

Испанский

FLEURS test/es_419/11137049735103408221.wav

Референсная транскрипция: Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

Сгенерированный текст: La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice

Клон int8 из референса (Испанский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.758

WER μ

9.9%

UTMOS μ

2.86

RTF мед.

0.21

VoxCPM2

Клон bf16 из референса (Испанский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.641

WER μ

5.8%

UTMOS μ

2.62

RTF мед.

1.18

Chatterbox Multilingual

Клон fp16 из референса (Испанский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.708

WER μ

6.9%

UTMOS μ

3.37

RTF мед.

1.22

Fish Audio S2 Pro

Клон fp16 из референса (Испанский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.633

WER μ

6.8%

UTMOS μ

2.95

RTF мед.

2.73

Qwen3-TTS Base

Клон 1.7B bf16 ICL из референса (Испанский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.710

WER μ

11.1%

UTMOS μ

3.03

RTF мед.

1.76

Референс: Китайский

Китайский

FLEURS test/cmn_hans_cn/6735471425702786619.wav

Референсная транскрипция: 当天，格林尼治时间 (GMT) 约 12 时许，该车辆被拖离事故现场。

Сгенерированный текст: 植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice

Клон int8 из референса (Китайский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.709

CER μ

4.9%

UTMOS μ

2.83

RTF мед.

0.21

VoxCPM2

Клон bf16 из референса (Китайский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.695

CER μ

4.9%

UTMOS μ

2.91

RTF мед.

1.10

Fish Audio S2 Pro

Клон fp16 из референса (Китайский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.634

CER μ

6.2%

UTMOS μ

3.55

RTF мед.

2.76

Qwen3-TTS Base

Клон 1.7B bf16 ICL из референса (Китайский). Метрики — средние по десяти клипам; аудио — один репрезентативный образец.

Косинус μ

0.701

CER μ

5.7%

UTMOS μ

3.44

RTF мед.

1.73

Метод

Референсы из датасета, а не отобранные вручную демо

Референсы и целевые тексты взяты из тестового сплита Google FLEURS: английский, немецкий, арабский, испанский и китайский (мандарин). Для каждого языка мы выбрали десять референсных клипов и сопоставили каждый с отдельным отложенным целевым предложением FLEURS, чтобы метрики были менее чувствительны к одному лёгкому или плохому предложению. Для движков, принимающих референсную транскрипцию, точная транскрипция FLEURS передавалась вместе с аудио-промптом.

Форма оценки отражает объективную сторону оценки клонирования голоса в стиле VoxCPM: разборчивость через WER/CER и клонирование через косинусную схожесть эмбеддинга диктора. Энкодер диктора здесь — это speech embed-speaker --engine mlx от Soniqo, так что сравнивайте строки внутри этой таблицы, а не напрямую с процентами SIM из статей.

UTMOS вычисляется с utmos22_strong из SpeechMOS после ресэмплинга сгенерированных клипов до 16 кГц. Он даёт безреференсный сигнал естественности, который WER и косинус диктора упускают, но всё же это предсказание модели, а не исследование с человеческим прослушиванием.

Qwen3-TTS Base измеряется публичным ICL-API speech-swift (Qwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL) с тем же референсным аудио и транскрипцией FLEURS. Он опущен для арабского, потому что набор языков Qwen3-TTS, представленный здесь, не включает арабский. Список языков upstream у Chatterbox включает китайский, но текущий Swift-фронтенд поддерживает прямой путь токенизатора только для en, ar, hi, de, es, fr, it и pt; строка китайского намеренно опущена, пока этот фронтенд не появится.

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

Зачем несколько оценок?

Клон может звучать как диктор, но произносить неверный текст, или чётко произносить текст, но упускать диктора. Он может совпадать и по тексту, и по диктору, но нести слышимые артефакты. Косинус диктора, WER/CER и UTMOS ловят разные режимы отказа, поэтому видны должны быть все три.

Атрибуция эмоции и стиля

OmniVoice

Широкие подсказки стиля

Хорошо, когда нужен клонированный диктор с простым указанием подачи — например, спокойнее, моложе, ниже по тону или шёпотом. В этом бенчмарке использовалась нейтральная подача.

Chatterbox Multilingual

Сила выразительности

Полезно, когда нужно, чтобы тот же диктор звучал сдержаннее или живее, не вписывая теги эмоций в текст. В этом бенчмарке выразительность держалась нейтральной.

VoxCPM2

Направление голоса простыми словами

Хорошо подходит, когда нужно описать целевой голос или подачу естественным языком, всё ещё клонируя из референсного клипа. В этом бенчмарке использовался только референсный клип.

Fish Audio S2 Pro

Актёрские подсказки подачи

Лучше всего, когда сценарию нужны явные моменты вроде смеха, шёпота, возбуждения или грусти. В этом бенчмарке использовался простой текст без актёрских подсказок.

Qwen3-TTS Base

ICL по референсному аудио

Использует клип и транскрипцию FLEURS как контекстную обусловленность. Это сопоставимый путь Qwen3-TTS для клонирования по образцу в таблице.

Бенчмарк намеренно оставляет эти регуляторы нейтральными. Это удерживает схожесть диктора привязанной к референсу FLEURS, вместо того чтобы вознаграждать модель за добавленную эмоцию, шёпот, крик или смех.

Как читать результат

Воспринимайте это как компактную инженерную проверку, а не таблицу лидеров. Десять пар референс/цель на язык полезнее одного демо-предложения, но всё ещё слишком малы, чтобы короновать универсального победителя. Полезное прочтение — где модель стабильна или хрупка для конкретного языка и метрики.

Fish Audio и Qwen3-TTS часто набирают больше по UTMOS, даже когда у другой модели выше косинус диктора. Qwen3-TTS Base ICL включён для английского, немецкого, испанского и китайского; в этом прогоне он сильнее всего как база естественности/восстановления текста, тогда как специализированные модели клонирования остаются конкурентными по идентичности диктора. Правильное прочтение — компромиссы по языкам, а не единственный победитель.

Попробуйте стек

Speech Studio

Локальное десктоп-приложение для клонирования голосов и рендеринга многодикторных сценариев на вашей машине.

Открыть Speech Studio

Soniqo Cloud

Хостируемый эндпоинт для тестирования того же речевого стека перед встраиванием в продукт.

Открыть cloud.soniqo.audio

Документация по клонированию голоса Статья с оценкой VoxCPM