Soniqosoniqo
ब्लॉग
वॉइस क्लोनिंग बेंचमार्क
July 2, 2026

वॉइस क्लोनिंग मॉडल, पाँच भाषाओं में मापे गए।

हमने प्रति भाषा दस FLEURS संदर्भ वक्ताओं को क्लोन किया, दस रोक कर रखे गए FLEURS लक्ष्य वाक्य जनरेट किए, फिर वक्ता समानता, WER/CER, UTMOS अनुमानित गुणवत्ता और स्थिर-अवस्था गति का औसत निकाला। नीचे के प्लेयर उसी रन से एक प्रतिनिधि संदर्भ और जनरेट किया आउटपुट दिखाते हैं।

EnglishEspañolDeutschFrançaisPortuguêsРусский中文日本語한국어हिन्दीالعربيةTiếng ViệtTürkçeไทย

अंग्रेज़ी

FLEURS test/en_us, 10 संदर्भ/लक्ष्य जोड़े

मानव ASR तल: मूल FLEURS लक्ष्य ऑडियो पर 3.5% WER।

मॉडलप्रिसिज़नकोसाइनWERUTMOSऑडियो μRTF मध्य
OmniVoiceint80.51311.1%2.325.20 s0.17
VoxCPM2bf160.5471.8%2.974.88 s1.11
Chatterbox Multilingualfp160.6421.2%2.225.10 s0.76
Fish Audio S2 Profp160.4893.9%3.474.60 s2.78
Qwen3-TTS Base1.7B bf16 ICL0.4912.4%3.504.95 s1.70

जर्मन

FLEURS test/de_de, 10 संदर्भ/लक्ष्य जोड़े

मानव ASR तल: मूल FLEURS लक्ष्य ऑडियो पर 11.4% WER।

मॉडलप्रिसिज़नकोसाइनWERUTMOSऑडियो μRTF मध्य
OmniVoiceint80.7874.3%2.896.57 s0.22
VoxCPM2bf160.7323.8%2.805.76 s1.09
Chatterbox Multilingualfp160.7785.2%3.326.12 s1.20
Fish Audio S2 Profp160.7187.0%3.345.66 s2.80
Qwen3-TTS Base1.7B bf16 ICL0.72110.8%3.345.79 s1.72

आधुनिक मानक अरबी

FLEURS test/ar_eg, 10 संदर्भ/लक्ष्य जोड़े

मानव ASR तल: मूल FLEURS लक्ष्य ऑडियो पर 32.8% WER।

मॉडलप्रिसिज़नकोसाइनWERUTMOSऑडियो μRTF मध्य
OmniVoiceint80.72733.2%2.727.04 s0.18
VoxCPM2bf160.67830.2%2.676.26 s1.14
Chatterbox Multilingualfp160.70328.3%2.906.37 s1.10
Fish Audio S2 Profp160.68826.7%3.305.63 s2.83

स्पेनिश

FLEURS test/es_419, 10 संदर्भ/लक्ष्य जोड़े

मानव ASR तल: मूल FLEURS लक्ष्य ऑडियो पर 10.6% WER।

मॉडलप्रिसिज़नकोसाइनWERUTMOSऑडियो μRTF मध्य
OmniVoiceint80.7589.9%2.866.29 s0.21
VoxCPM2bf160.6415.8%2.624.58 s1.18
Chatterbox Multilingualfp160.7086.9%3.375.08 s1.22
Fish Audio S2 Profp160.6336.8%2.954.48 s2.73
Qwen3-TTS Base1.7B bf16 ICL0.71011.1%3.034.79 s1.76

चीनी

FLEURS test/cmn_hans_cn, 10 संदर्भ/लक्ष्य जोड़े

मानव ASR तल: मूल FLEURS लक्ष्य ऑडियो पर 7.6% CER।

मॉडलप्रिसिज़नकोसाइनCERUTMOSऑडियो μRTF मध्य
OmniVoiceint80.7094.9%2.836.56 s0.21
VoxCPM2bf160.6954.9%2.915.70 s1.10
Fish Audio S2 Profp160.6346.2%3.554.95 s2.76
Qwen3-TTS Base1.7B bf16 ICL0.7015.7%3.445.24 s1.73

मान प्रत्येक समर्थित भाषा के दस जनरेट किए क्लिप के औसत हैं, सिवाय RTF के, जो कोल्ड-स्टार्ट टाइमिंग के आउटलायर से बचने के लिए मध्यिका लेता है। वक्ता कोसाइन जितना ऊँचा, उतना ही जनरेट किया क्लिप FLEURS संदर्भ वक्ता एम्बेडिंग के करीब है। WER/CER जितना कम, माँगा गया टेक्स्ट उतना साफ़ पुनर्प्राप्त हुआ; चीनी को CER से और बाकी भाषाओं को WER से आँका जाता है। UTMOS जितना ऊँचा, वह 1–5 पैमाने पर बिना-संदर्भ अनुमानित स्वाभाविकता स्कोर है। RTF जितना कम, उतना तेज़। एक डैश का मतलब है कि बैच रन ने उस पंक्ति के लिए भरोसेमंद टाइमिंग नहीं दी। ये इंजीनियरिंग रिग्रेशन मीट्रिक हैं, कोई मानव MOS पैनल नहीं। वही Qwen3-ASR स्कोरर हर भाषा में समान रूप से साफ़ नहीं है: इस सेट के मूल मानव FLEURS लक्ष्य क्लिप पर उसकी बेसलाइन त्रुटि अंग्रेज़ी 3.5% WER, जर्मन 11.4% WER, अरबी 32.8% WER, स्पेनिश 10.6% WER और चीनी 7.6% CER है। WER/CER को शुद्ध TTS गुणवत्ता स्कोर के बजाय टेक्स्ट-रिकवरी तनाव संकेत के रूप में पढ़ें। प्रिसिज़न पंक्ति-दर-पंक्ति दी गई है: VoxCPM2 का सार्वजनिक पूर्ण-प्रिसिज़न Swift पथ bf16 है, जबकि OmniVoice प्रकाशित int8 बंडल के साथ दिखाया गया है क्योंकि इस प्रकाशित रन में fp16 बैकबोन का उपयोग नहीं हुआ। क्वांटाइज़्ड पंक्तियाँ गुणवत्ता और गति दोनों बदल सकती हैं, इसलिए तालिका में हर पंक्ति के लिए केवल वास्तव में मापा गया पथ शामिल है।

इनपुट और आउटपुट सैंपल रेट

स्रोतभूमिकारेट
FLEURS referencesइनपुट संदर्भ16 kHz
OmniVoice / Chatterboxजनरेट किया आउटपुट24 kHz
Qwen3-TTS Base ICLजनरेट किया आउटपुट24 kHz
Fish Audio S2 Proजनरेट किया आउटपुट44.1 kHz
VoxCPM2जनरेट किया आउटपुट48 kHz

संदर्भ 16 kHz के हैं, इसलिए उनमें लगभग 8 kHz तक ही अवलोकन योग्य साक्ष्य होता है। उच्च-रेट आउटपुट अधिक खुला सुनाई दे सकते हैं क्योंकि वे अधिक उच्च-बैंड साँस, सिबिलेंस और कमरे का विवरण संरक्षित या संश्लेषित करते हैं, पर 44.1 या 48 kHz आउटपुट स्वतः बेहतर क्लोन नहीं दर्शाता। वक्ता पहचान और सुबोधता के अधिकांश संकेत उस उच्च बैंड से काफ़ी नीचे रहते हैं, जबकि अत्यधिक उच्च-आवृत्ति ऊर्जा किसी आवाज़ को तीखा महसूस करा सकती है, भले ही WER और वक्ता कोसाइन अच्छे दिखें।

संदर्भ ऑडियो और जनरेट किए क्लोन

अंग्रेज़ी संदर्भ

अंग्रेज़ी

FLEURS test/en_us/6306322369645218273.wav

संदर्भ ट्रांसक्रिप्ट: One can only wonder what the keyboard will become when something newer comes along.

जनरेट किया टेक्स्ट: While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice
अंग्रेज़ी संदर्भ से int8 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.513
WER μ
11.1%
UTMOS μ
2.32
RTF मध्य
0.17
VoxCPM2
अंग्रेज़ी संदर्भ से bf16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.547
WER μ
1.8%
UTMOS μ
2.97
RTF मध्य
1.11
Chatterbox Multilingual
अंग्रेज़ी संदर्भ से fp16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.642
WER μ
1.2%
UTMOS μ
2.22
RTF मध्य
0.76
Fish Audio S2 Pro
अंग्रेज़ी संदर्भ से fp16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.489
WER μ
3.9%
UTMOS μ
3.47
RTF मध्य
2.78
Qwen3-TTS Base
अंग्रेज़ी संदर्भ से 1.7B bf16 ICL क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.491
WER μ
2.4%
UTMOS μ
3.50
RTF मध्य
1.70
जर्मन संदर्भ

जर्मन

FLEURS test/de_de/17047810064400454397.wav

संदर्भ ट्रांसक्रिप्ट: Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

जनरेट किया टेक्स्ट: Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice
जर्मन संदर्भ से int8 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.787
WER μ
4.3%
UTMOS μ
2.89
RTF मध्य
0.22
VoxCPM2
जर्मन संदर्भ से bf16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.732
WER μ
3.8%
UTMOS μ
2.80
RTF मध्य
1.09
Chatterbox Multilingual
जर्मन संदर्भ से fp16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.778
WER μ
5.2%
UTMOS μ
3.32
RTF मध्य
1.20
Fish Audio S2 Pro
जर्मन संदर्भ से fp16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.718
WER μ
7.0%
UTMOS μ
3.34
RTF मध्य
2.80
Qwen3-TTS Base
जर्मन संदर्भ से 1.7B bf16 ICL क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.721
WER μ
10.8%
UTMOS μ
3.34
RTF मध्य
1.72
आधुनिक मानक अरबी संदर्भ

आधुनिक मानक अरबी

FLEURS test/ar_eg/747984393569561964.wav

संदर्भ ट्रांसक्रिप्ट: المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

जनरेट किया टेक्स्ट: قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice
आधुनिक मानक अरबी संदर्भ से int8 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.727
WER μ
33.2%
UTMOS μ
2.72
RTF मध्य
0.18
VoxCPM2
आधुनिक मानक अरबी संदर्भ से bf16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.678
WER μ
30.2%
UTMOS μ
2.67
RTF मध्य
1.14
Chatterbox Multilingual
आधुनिक मानक अरबी संदर्भ से fp16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.703
WER μ
28.3%
UTMOS μ
2.90
RTF मध्य
1.10
Fish Audio S2 Pro
आधुनिक मानक अरबी संदर्भ से fp16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.688
WER μ
26.7%
UTMOS μ
3.30
RTF मध्य
2.83
स्पेनिश संदर्भ

स्पेनिश

FLEURS test/es_419/11137049735103408221.wav

संदर्भ ट्रांसक्रिप्ट: Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

जनरेट किया टेक्स्ट: La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice
स्पेनिश संदर्भ से int8 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.758
WER μ
9.9%
UTMOS μ
2.86
RTF मध्य
0.21
VoxCPM2
स्पेनिश संदर्भ से bf16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.641
WER μ
5.8%
UTMOS μ
2.62
RTF मध्य
1.18
Chatterbox Multilingual
स्पेनिश संदर्भ से fp16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.708
WER μ
6.9%
UTMOS μ
3.37
RTF मध्य
1.22
Fish Audio S2 Pro
स्पेनिश संदर्भ से fp16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.633
WER μ
6.8%
UTMOS μ
2.95
RTF मध्य
2.73
Qwen3-TTS Base
स्पेनिश संदर्भ से 1.7B bf16 ICL क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.710
WER μ
11.1%
UTMOS μ
3.03
RTF मध्य
1.76
चीनी संदर्भ

चीनी

FLEURS test/cmn_hans_cn/6735471425702786619.wav

संदर्भ ट्रांसक्रिप्ट: 当天，格林尼治时间 (GMT) 约 12 时许，该车辆被拖离事故现场。

जनरेट किया टेक्स्ट: 植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice
चीनी संदर्भ से int8 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.709
CER μ
4.9%
UTMOS μ
2.83
RTF मध्य
0.21
VoxCPM2
चीनी संदर्भ से bf16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.695
CER μ
4.9%
UTMOS μ
2.91
RTF मध्य
1.10
Fish Audio S2 Pro
चीनी संदर्भ से fp16 क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.634
CER μ
6.2%
UTMOS μ
3.55
RTF मध्य
2.76
Qwen3-TTS Base
चीनी संदर्भ से 1.7B bf16 ICL क्लोन। मीट्रिक दस क्लिप के औसत हैं; ऑडियो एक प्रतिनिधि नमूना है।
कोसाइन μ
0.701
CER μ
5.7%
UTMOS μ
3.44
RTF मध्य
1.73
विधि

हाथ से चुने डेमो नहीं, डेटासेट संदर्भ

संदर्भ और लक्ष्य टेक्स्ट Google FLEURS टेस्ट स्प्लिट से आते हैं: अंग्रेज़ी, जर्मन, अरबी, स्पेनिश और मंदारिन चीनी। हर भाषा के लिए हमने दस संदर्भ क्लिप चुने और हर एक को एक अलग रोक कर रखे गए FLEURS लक्ष्य वाक्य से जोड़ा, ताकि मीट्रिक किसी एक आसान या ख़राब वाक्य के प्रति कम संवेदनशील हों। जो इंजन संदर्भ ट्रांसक्रिप्ट स्वीकार करते हैं, उनके लिए ठीक वही FLEURS ट्रांसक्रिप्ट ऑडियो प्रॉम्प्ट के साथ भेजी गई।

स्कोर का आकार VoxCPM-शैली वॉइस क्लोनिंग मूल्यांकन के वस्तुनिष्ठ पक्ष को दर्शाता है: WER/CER के ज़रिए सुबोधता और वक्ता-एम्बेडिंग कोसाइन समानता के ज़रिए क्लोनिंग। यहाँ वक्ता एनकोडर Soniqo का speech embed-speaker --engine mlx है, इसलिए पंक्तियों की तुलना इस तालिका के भीतर करें, पेपर के SIM प्रतिशत से सीधे नहीं।

UTMOS जनरेट किए क्लिप को 16 kHz पर रीसैंपल करने के बाद SpeechMOS के utmos22_strong से गणना किया जाता है। यह WER और वक्ता कोसाइन से छूटा बिना-संदर्भ स्वाभाविकता संकेत देता है, पर यह अब भी मानव श्रवण अध्ययन नहीं, बल्कि एक मॉडल पूर्वानुमान है।

Qwen3-TTS Base को speech-swift के सार्वजनिक ICL API （Qwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL）से उसी FLEURS संदर्भ ऑडियो और ट्रांसक्रिप्ट का उपयोग करके मापा गया है। अरबी के लिए इसे छोड़ा गया है क्योंकि यहाँ उजागर किया गया Qwen3-TTS भाषा सेट अरबी को शामिल नहीं करता। Chatterbox की अपस्ट्रीम भाषा सूची में चीनी है, पर मौजूदा Swift फ्रंटएंड सीधे टोकेनाइज़र पथ को केवल en, ar, hi, de, es, fr, it और pt के लिए समर्थन करता है; चीनी पंक्ति उस फ्रंटएंड के आने तक जानबूझकर छोड़ी गई है।

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

कई स्कोर क्यों?

एक क्लोन वक्ता जैसा सुनाई दे सकता है पर ग़लत टेक्स्ट कह सकता है, या टेक्स्ट साफ़ कहे पर वक्ता चूक जाए। वह टेक्स्ट और वक्ता दोनों से मेल खाते हुए भी श्रव्य आर्टिफ़ैक्ट ढो सकता है। वक्ता कोसाइन, WER/CER और UTMOS अलग-अलग विफलता मोड पकड़ते हैं, इसलिए तीनों का दिखना ज़रूरी है।

भावना और शैली आरोपण

OmniVoice
व्यापक शैली संकेत

तब अच्छा जब आप एक क्लोन वक्ता चाहते हैं जिसे सरल प्रस्तुति मार्गदर्शन हो, जैसे शांत, युवा, नीची पिच या फुसफुसाती पढ़त। इस बेंचमार्क ने तटस्थ प्रस्तुति का उपयोग किया।

Chatterbox Multilingual
अभिव्यंजना की तीव्रता

तब उपयोगी जब आप चाहते हैं कि वही वक्ता टेक्स्ट में भावना टैग लिखे बिना अधिक संयमित या अधिक सजीव सुनाई दे। इस बेंचमार्क ने अभिव्यंजना को तटस्थ रखा।

VoxCPM2
सादे शब्दों में आवाज़ निर्देशन

तब मज़बूत मेल जब आप संदर्भ क्लिप से क्लोन करते हुए भी लक्ष्य आवाज़ या प्रस्तुति को स्वाभाविक भाषा में वर्णित करना चाहते हैं। इस बेंचमार्क ने केवल संदर्भ क्लिप का उपयोग किया।

Fish Audio S2 Pro
अभिनयपूर्ण प्रस्तुति संकेत

तब सर्वोत्तम जब स्क्रिप्ट को हँसी, फुसफुसाहट, उत्साह या उदासी जैसे स्पष्ट क्षण चाहिए। इस बेंचमार्क ने बिना अभिनय संकेत वाले सादे टेक्स्ट का उपयोग किया।

Qwen3-TTS Base
संदर्भ-ऑडियो ICL

FLEURS क्लिप और ट्रांसक्रिप्ट को इन-कॉन्टेक्स्ट कंडीशनिंग के रूप में उपयोग करता है। तालिका में नमूना-आधारित क्लोनिंग के लिए यह तुलनीय Qwen3-TTS पथ है।

बेंचमार्क जानबूझकर इन नियंत्रणों को तटस्थ छोड़ता है। इससे वक्ता समानता FLEURS संदर्भ से बँधी रहती है, बजाय इसके कि मॉडल को अतिरिक्त भावना, फुसफुसाहट, चीख या हँसी जोड़ने पर पुरस्कृत किया जाए।

परिणाम कैसे पढ़ें

इसे एक सुगठित इंजीनियरिंग जाँच मानें, लीडरबोर्ड नहीं। प्रति भाषा दस संदर्भ/लक्ष्य जोड़े एक अकेले डेमो वाक्य से अधिक उपयोगी हैं, पर किसी सार्वभौमिक विजेता को ताज पहनाने के लिए अब भी बहुत कम हैं। उपयोगी पढ़त यह है कि कोई मॉडल किसी विशिष्ट भाषा और मीट्रिक के लिए स्थिर है या भंगुर।

Fish Audio और Qwen3-TTS अक्सर UTMOS पर बेहतर स्कोर करते हैं, भले ही किसी अन्य मॉडल का वक्ता कोसाइन अधिक हो। Qwen3-TTS Base ICL अंग्रेज़ी, जर्मन, स्पेनिश और चीनी के लिए शामिल है; इस रन में यह स्वाभाविकता/टेक्स्ट-रिकवरी बेसलाइन के रूप में सबसे मज़बूत है, जबकि समर्पित क्लोनिंग मॉडल वक्ता पहचान पर प्रतिस्पर्धी बने रहते हैं। सही पढ़त प्रति-भाषा समझौते हैं, कोई एकल विजेता नहीं।

स्टैक आज़माएँ

Speech Studio

आवाज़ें क्लोन करने और बहु-वक्ता स्क्रिप्ट को अपनी मशीन पर रेंडर करने के लिए लोकल डेस्कटॉप ऐप।

Speech Studio खोलें
Soniqo Cloud

किसी उत्पाद में जोड़ने से पहले उसी स्पीच स्टैक को परखने के लिए होस्टेड एंडपॉइंट।

cloud.soniqo.audio खोलें
वॉइस क्लोनिंग डॉक्स VoxCPM मूल्यांकन पेपर