Ses klonlama karşılaştırmaları

July 2, 2026

Ses klonlama modelleri, beş dilde ölçüldü.

Dil başına on FLEURS referans konuşmacısını klonladık, on adet ayrılmış FLEURS hedef cümlesi ürettik, ardından konuşmacı benzerliğini, WER/CER’i, UTMOS tahmini kalitesini ve durağan durum hızını ortalamaladık. Aşağıdaki oynatıcılar aynı çalıştırmadan temsili bir referans ile üretilen çıktıyı gösterir.

English Español Deutsch Français Português Русский 中文日本語 한국어 हिन्दी العربية Tiếng ViệtTürkçeไทย

İngilizce

FLEURS test/en_us, 10 referans/hedef çifti

İnsan ASR tabanı: orijinal FLEURS hedef sesinde 3.5% WER.

Model	Hassasiyet	Kosinüs	WER	UTMOS	Ses μ	RTF ort.
OmniVoice	int8	0.513	11.1%	2.32	5.20 s	0.17
VoxCPM2	bf16	0.547	1.8%	2.97	4.88 s	1.11
Chatterbox Multilingual	fp16	0.642	1.2%	2.22	5.10 s	0.76
Fish Audio S2 Pro	fp16	0.489	3.9%	3.47	4.60 s	2.78
Qwen3-TTS Base	1.7B bf16 ICL	0.491	2.4%	3.50	4.95 s	1.70

Almanca

FLEURS test/de_de, 10 referans/hedef çifti

İnsan ASR tabanı: orijinal FLEURS hedef sesinde 11.4% WER.

Model	Hassasiyet	Kosinüs	WER	UTMOS	Ses μ	RTF ort.
OmniVoice	int8	0.787	4.3%	2.89	6.57 s	0.22
VoxCPM2	bf16	0.732	3.8%	2.80	5.76 s	1.09
Chatterbox Multilingual	fp16	0.778	5.2%	3.32	6.12 s	1.20
Fish Audio S2 Pro	fp16	0.718	7.0%	3.34	5.66 s	2.80
Qwen3-TTS Base	1.7B bf16 ICL	0.721	10.8%	3.34	5.79 s	1.72

Modern Standart Arapça

FLEURS test/ar_eg, 10 referans/hedef çifti

İnsan ASR tabanı: orijinal FLEURS hedef sesinde 32.8% WER.

Model	Hassasiyet	Kosinüs	WER	UTMOS	Ses μ	RTF ort.
OmniVoice	int8	0.727	33.2%	2.72	7.04 s	0.18
VoxCPM2	bf16	0.678	30.2%	2.67	6.26 s	1.14
Chatterbox Multilingual	fp16	0.703	28.3%	2.90	6.37 s	1.10
Fish Audio S2 Pro	fp16	0.688	26.7%	3.30	5.63 s	2.83

İspanyolca

FLEURS test/es_419, 10 referans/hedef çifti

İnsan ASR tabanı: orijinal FLEURS hedef sesinde 10.6% WER.

Model	Hassasiyet	Kosinüs	WER	UTMOS	Ses μ	RTF ort.
OmniVoice	int8	0.758	9.9%	2.86	6.29 s	0.21
VoxCPM2	bf16	0.641	5.8%	2.62	4.58 s	1.18
Chatterbox Multilingual	fp16	0.708	6.9%	3.37	5.08 s	1.22
Fish Audio S2 Pro	fp16	0.633	6.8%	2.95	4.48 s	2.73
Qwen3-TTS Base	1.7B bf16 ICL	0.710	11.1%	3.03	4.79 s	1.76

Çince

FLEURS test/cmn_hans_cn, 10 referans/hedef çifti

İnsan ASR tabanı: orijinal FLEURS hedef sesinde 7.6% CER.

Model	Hassasiyet	Kosinüs	CER	UTMOS	Ses μ	RTF ort.
OmniVoice	int8	0.709	4.9%	2.83	6.56 s	0.21
VoxCPM2	bf16	0.695	4.9%	2.91	5.70 s	1.10
Fish Audio S2 Pro	fp16	0.634	6.2%	3.55	4.95 s	2.76
Qwen3-TTS Base	1.7B bf16 ICL	0.701	5.7%	3.44	5.24 s	1.73

Değerler, desteklenen her dil için üretilen on klibin ortalamalarıdır; yalnızca RTF, soğuk başlangıç zamanlama aykırılıklarından kaçınmak için medyanı kullanır. Konuşmacı kosinüsü ne kadar yüksekse, üretilen klip FLEURS referans konuşmacı gömmesine o kadar yakındır. WER/CER ne kadar düşükse istenen metin o kadar temiz kurtarılmıştır; Çince CER ile, diğer diller WER ile puanlanır. UTMOS ne kadar yüksekse, 1–5 ölçeğinde referanssız tahmini doğallık puanıdır. RTF ne kadar düşükse o kadar hızlıdır. Bir tire, toplu çalıştırmanın o satır için güvenilir zamanlama üretmediği anlamına gelir. Bunlar mühendislik regresyon metrikleridir, insan MOS paneli değil. Aynı Qwen3-ASR puanlayıcı her dilde eşit temiz değildir: bu kümedeki orijinal insan FLEURS hedef kliplerinde temel hatası İngilizce 3,5% WER, Almanca 11,4% WER, Arapça 32,8% WER, İspanyolca 10,6% WER ve Çince 7,6% CER’dir. WER/CER’i saf bir TTS kalite puanı değil, metin kurtarma stres sinyali olarak okuyun. Hassasiyet satır satır listelenir: VoxCPM2’nin açık tam hassasiyetli Swift yolu bf16’dır, OmniVoice ise yayınlanan int8 paketiyle gösterilir çünkü bu yayınlanan çalıştırmada fp16 omurgası kullanılmadı. Nicemlenmiş satırlar hem kaliteyi hem hızı değiştirebilir, bu yüzden tabloda her satır için yalnızca gerçekten ölçülen yol yer alır.

Giriş ve çıkış örnekleme oranları

Kaynak	Rol	Oran
FLEURS references	Giriş referansı	16 kHz
OmniVoice / Chatterbox	Üretilen çıktı	24 kHz
Qwen3-TTS Base ICL	Üretilen çıktı	24 kHz
Fish Audio S2 Pro	Üretilen çıktı	44.1 kHz
VoxCPM2	Üretilen çıktı	48 kHz

Referanslar 16 kHz olduğundan yalnızca yaklaşık 8 kHz’e kadar gözlemlenebilir kanıt içerir. Daha yüksek oranlı çıktılar daha açık duyulabilir çünkü daha fazla üst bant nefesi, ıslıklı ses ve oda ayrıntısı korur veya sentezler, ama 44,1 ya da 48 kHz çıktı otomatik olarak daha iyi bir klon anlamına gelmez. Konuşmacı kimliği ve anlaşılırlık ipuçlarının çoğu o üst bandın çok altında yaşar; öte yandan aşırı yüksek frekans enerjisi, WER ve konuşmacı kosinüsü iyi görünse bile bir sesi keskin hissettirebilir.

Referans ses ve üretilen klonlar

İngilizce referansı

İngilizce

FLEURS test/en_us/6306322369645218273.wav

Referans dökümü: One can only wonder what the keyboard will become when something newer comes along.

Üretilen metin: While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice

İngilizce referansından int8 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.513

WER μ

11.1%

UTMOS μ

2.32

RTF ort.

0.17

VoxCPM2

İngilizce referansından bf16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.547

WER μ

1.8%

UTMOS μ

2.97

RTF ort.

1.11

Chatterbox Multilingual

İngilizce referansından fp16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.642

WER μ

1.2%

UTMOS μ

2.22

RTF ort.

0.76

Fish Audio S2 Pro

İngilizce referansından fp16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.489

WER μ

3.9%

UTMOS μ

3.47

RTF ort.

2.78

Qwen3-TTS Base

İngilizce referansından 1.7B bf16 ICL klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.491

WER μ

2.4%

UTMOS μ

3.50

RTF ort.

1.70

Almanca referansı

Almanca

FLEURS test/de_de/17047810064400454397.wav

Referans dökümü: Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

Üretilen metin: Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice

Almanca referansından int8 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.787

WER μ

4.3%

UTMOS μ

2.89

RTF ort.

0.22

VoxCPM2

Almanca referansından bf16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.732

WER μ

3.8%

UTMOS μ

2.80

RTF ort.

1.09

Chatterbox Multilingual

Almanca referansından fp16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.778

WER μ

5.2%

UTMOS μ

3.32

RTF ort.

1.20

Fish Audio S2 Pro

Almanca referansından fp16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.718

WER μ

7.0%

UTMOS μ

3.34

RTF ort.

2.80

Qwen3-TTS Base

Almanca referansından 1.7B bf16 ICL klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.721

WER μ

10.8%

UTMOS μ

3.34

RTF ort.

1.72

Modern Standart Arapça referansı

Modern Standart Arapça

FLEURS test/ar_eg/747984393569561964.wav

Referans dökümü: المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

Üretilen metin: قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice

Modern Standart Arapça referansından int8 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.727

WER μ

33.2%

UTMOS μ

2.72

RTF ort.

0.18

VoxCPM2

Modern Standart Arapça referansından bf16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.678

WER μ

30.2%

UTMOS μ

2.67

RTF ort.

1.14

Chatterbox Multilingual

Modern Standart Arapça referansından fp16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.703

WER μ

28.3%

UTMOS μ

2.90

RTF ort.

1.10

Fish Audio S2 Pro

Modern Standart Arapça referansından fp16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.688

WER μ

26.7%

UTMOS μ

3.30

RTF ort.

2.83

İspanyolca referansı

İspanyolca

FLEURS test/es_419/11137049735103408221.wav

Referans dökümü: Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

Üretilen metin: La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice

İspanyolca referansından int8 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.758

WER μ

9.9%

UTMOS μ

2.86

RTF ort.

0.21

VoxCPM2

İspanyolca referansından bf16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.641

WER μ

5.8%

UTMOS μ

2.62

RTF ort.

1.18

Chatterbox Multilingual

İspanyolca referansından fp16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.708

WER μ

6.9%

UTMOS μ

3.37

RTF ort.

1.22

Fish Audio S2 Pro

İspanyolca referansından fp16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.633

WER μ

6.8%

UTMOS μ

2.95

RTF ort.

2.73

Qwen3-TTS Base

İspanyolca referansından 1.7B bf16 ICL klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.710

WER μ

11.1%

UTMOS μ

3.03

RTF ort.

1.76

Çince referansı

Çince

FLEURS test/cmn_hans_cn/6735471425702786619.wav

Referans dökümü: 当天，格林尼治时间 (GMT) 约 12 时许，该车辆被拖离事故现场。

Üretilen metin: 植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice

Çince referansından int8 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.709

CER μ

4.9%

UTMOS μ

2.83

RTF ort.

0.21

VoxCPM2

Çince referansından bf16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.695

CER μ

4.9%

UTMOS μ

2.91

RTF ort.

1.10

Fish Audio S2 Pro

Çince referansından fp16 klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.634

CER μ

6.2%

UTMOS μ

3.55

RTF ort.

2.76

Qwen3-TTS Base

Çince referansından 1.7B bf16 ICL klon. Metrikler on klibin ortalamasıdır; ses temsili bir örnektir.

Kosinüs μ

0.701

CER μ

5.7%

UTMOS μ

3.44

RTF ort.

1.73

Yöntem

Elle seçilmiş demolar değil, veri kümesi referansları

Referanslar ve hedef metinler Google FLEURS test bölünmesinden gelir: İngilizce, Almanca, Arapça, İspanyolca ve Mandarin Çincesi. Her dil için on referans klibi seçtik ve her birini farklı bir ayrılmış FLEURS hedef cümlesiyle eşleştirdik, böylece metrikler tek bir kolay ya da kötü cümleye daha az duyarlı olur. Referans dökümü kabul eden motorlar için tam FLEURS dökümü ses istemiyle birlikte geçirildi.

Puan biçimi, VoxCPM tarzı ses klonlama değerlendirmesinin nesnel yönünü yansıtır: WER/CER üzerinden anlaşılırlık ve konuşmacı gömme kosinüs benzerliği üzerinden klonlama. Buradaki konuşmacı kodlayıcı Soniqo’nun speech embed-speaker --engine mlx’idir, bu yüzden satırları bu tablonun içinde karşılaştırın, doğrudan makale SIM yüzdelerine karşı değil.

UTMOS, üretilen klipler 16 kHz’e yeniden örneklendikten sonra SpeechMOS’un utmos22_strong’u ile hesaplanır. WER ve konuşmacı kosinüsünün kaçırdığı referanssız bir doğallık sinyali verir, ama yine de insan dinleme çalışması değil, bir model tahminidir.

Qwen3-TTS Base, speech-swift’in açık ICL API’siyle （Qwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL）aynı FLEURS referans sesi ve dökümü kullanılarak ölçülür. Arapça için atlanır çünkü burada açığa çıkarılan Qwen3-TTS dil kümesi Arapçayı içermez. Chatterbox’ın üst kaynak dil listesi Çinceyi içerir, ama mevcut Swift ön ucu doğrudan tokenizer yolunu yalnızca en, ar, hi, de, es, fr, it ve pt için destekler; Çince satırı o ön uç gelene kadar bilerek atlanmıştır.

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

Neden birden çok puan?

Bir klon konuşmacı gibi duyulup yanlış metni söyleyebilir ya da metni net söyleyip konuşmacıyı ıskalayabilir. Metni ve konuşmacıyı tutturup yine de duyulur bozulmalar taşıyabilir. Konuşmacı kosinüsü, WER/CER ve UTMOS farklı başarısızlık kiplerini yakalar, bu yüzden üçünün de görünür olması gerekir.

Duygu ve stil atfı

OmniVoice

Geniş stil ipuçları

Klonlanmış bir konuşmacıyı basit bir sunum yönlendirmesiyle istediğinizde iyidir; örneğin daha sakin, daha genç, daha pes ya da fısıltılı bir okuma. Bu karşılaştırma nötr bir sunum kullandı.

Chatterbox Multilingual

İfade gücü şiddeti

Aynı konuşmacının metne duygu etiketleri yazmadan daha ölçülü ya da daha canlı duyulmasını istediğinizde yararlıdır. Bu karşılaştırma ifade gücünü nötr tuttu.

VoxCPM2

Sade sözcüklerle ses yönlendirme

Bir referans klipten klonlarken hedef sesi veya sunumu doğal dille betimlemek istediğinizde güçlü uyum sağlar. Bu karşılaştırma yalnızca referans klibi kullandı.

Fish Audio S2 Pro

Oyunculuk sunum ipuçları

Senaryonun gülme, fısıldama, heyecan ya da hüzün gibi açık anlara ihtiyaç duyduğunda en iyisidir. Bu karşılaştırma oyunculuk ipucu olmayan düz metin kullandı.

Qwen3-TTS Base

Referans sesli ICL

FLEURS klibini ve dökümünü bağlam içi koşullandırma olarak kullanır. Tablodaki örnek tabanlı klonlama için karşılaştırılabilir Qwen3-TTS yoludur.

Karşılaştırma bu denetimleri bilerek nötr bırakır. Bu, konuşmacı benzerliğini bir modeli fazladan duygu, fısıltı, bağırma ya da kahkaha eklediği için ödüllendirmek yerine FLEURS referansına bağlı tutar.

Sonucu okumak

Bunu bir lider tablosu değil, derli toplu bir mühendislik kontrolü olarak ele alın. Dil başına on referans/hedef çifti tek bir demo cümlesinden daha yararlıdır, ama yine de evrensel bir kazananı taçlandırmak için fazla küçüktür. Yararlı okuma, bir modelin belirli bir dil ve metrik için nerede kararlı ya da kırılgan olduğudur.

Fish Audio ve Qwen3-TTS, başka bir modelin konuşmacı kosinüsü daha yüksek olsa bile UTMOS’ta çoğu zaman daha iyi puan alır. Qwen3-TTS Base ICL İngilizce, Almanca, İspanyolca ve Çince için dahil edilmiştir; bu çalıştırmada doğallık/metin kurtarma temeli olarak en güçlüsüdür, oysa özel klonlama modelleri konuşmacı kimliğinde rekabetçi kalır. Doğru okuma tek bir kazanan değil, dil başına ödünleşmelerdir.

Yığını dene

Speech Studio

Sesleri klonlamak ve çok konuşmacılı senaryoları kendi makinenizde işlemek için yerel masaüstü uygulaması.

Speech Studio’yu aç

Soniqo Cloud

Aynı konuşma yığınını bir ürüne bağlamadan önce test etmek için barındırılan uç nokta.

cloud.soniqo.audio’yu aç

Ses klonlama belgeleri VoxCPM değerlendirme makalesi