48 kHz पर एक आवाज़ क्लोन करना
VoxCPM2 के साथ।
Soniqo में अभी एक नया TTS मॉडल आया है। यह आपके लैपटॉप पर चलता है, स्टूडियो-गुणवत्ता का 48 kHz ऑडियो देता है, और एक ही छोटे क्लिप से आवाज़ क्लोन करता है। यह पोस्ट बताती है कि आप इससे क्या बना सकते हैं, यह आपको आवाज़ क्लोन करने के तीन तरीके कैसे देता है, और मॉडल अंदर कैसे काम करता है इसकी एक सहज झलक।
जब क्लोनिंग लोकल चलती है तो बदलने वाली चार चीज़ें।
डिवाइस पर क्लोनिंग चलाने से एक साथ चार गुण खुलते हैं — निजता, ऑफ़लाइन उपयोग, प्रति-कॉल कोई लागत नहीं, और आवाज़ का पूर्ण स्वामित्व। हर एक उत्पादों का एक वर्ग खोलता है जिसे किसी और तरीके से बनाना कठिन है।
किसी माता-पिता के पढ़ने के 30 सेकंड रिकॉर्ड करें। ऑडियोबुक ऐप फिर किसी भी अध्याय को उनकी आवाज़ में सुनाता है — वही गर्मजोशी, वही उच्चारण, हर सत्र में लोकल रूप से जनरेट।
YouTuber और पॉडकास्टर 30 भाषाओं में एक सुसंगत आवाज़ रखते हैं। अंग्रेज़ी में एक बार रिकॉर्ड करें, वही एपिसोड जापानी, स्पेनिश और हिंदी में बिना आवाज़ कलाकारों के भेजें।
आवाज़ खोने का सामना कर रहे लोग अपनी आवाज़ एक छोटे क्लिप में सहेज सकते हैं और ऐसी सहायक तकनीक से बोलते रह सकते हैं जो उन्हीं जैसी सुनाई दे — किसी सामान्य TTS इंजन जैसी नहीं।
जो आवाज़ आप चाहते हैं उसे बताएँ — "युवा महिला, कोमल और गर्म आवाज़" — और मॉडल इसे बिना संदर्भ रिकॉर्डिंग के डिज़ाइन करता है। गेम NPC, कियोस्क संकेत, या ब्रांड आवाज़ों के A/B परीक्षण के लिए उपयोगी।
VoxCPM2 की ElevenLabs से तुलना।
ElevenLabs स्पष्ट क्लाउड-API विकल्प है। समझौता यह है कि क्या कहाँ चलता है — और उसके बाद आवाज़ किसकी है।
जिन उत्पादों को निजता की गारंटी, ऑफ़लाइन संचालन, या प्रति-कॉल शून्य लागत चाहिए, उनके लिए ऑन-डिवाइस क्लोनिंग ही एकमात्र विकल्प है — हर ElevenLabs कॉल ऑडियो को उनके सर्वर पर अपलोड करती है।
| VoxCPM2 (Soniqo) | ElevenLabs | |
|---|---|---|
| कहाँ चलता है | उपयोगकर्ता के डिवाइस पर | होस्टेड API |
| ऑडियो डिवाइस छोड़ता है | नहीं | हाँ (ElevenLabs पर अपलोड) |
| ऑफ़लाइन उपयोग | हाँ | नहीं (इंटरनेट चाहिए) |
| प्रति-कॉल लागत | कोई नहीं | प्रति-अक्षर बिलिंग |
| मॉडल लाइसेंस | Apache 2.0, खुले वेट | स्वामित्व वाला, केवल SaaS |
| अधिकतम आउटपुट सैंपल रेट | 48 kHz नेटिव | 48 kHz (Pro स्तर और ऊपर) |
| भाषाएँ | 30 | 29 (Multilingual v2) · 70+ (Eleven v3) |
| आवश्यक संदर्भ क्लिप | 5–30 से | 1 मिन (Instant) · 30 मिन (Professional) |
| टेक्स्ट से आवाज़ डिज़ाइन | हाँ | हाँ |
दोनों इंजन 48 kHz तक पहुँचते हैं; दोनों रोज़मर्रा की क्लोनिंग के लिए समान भाषा-विस्तार का समर्थन करते हैं; दोनों टेक्स्ट विवरण से आवाज़ डिज़ाइन देते हैं। असली अंतर यह है कि ऑडियो कभी डिवाइस छोड़ता है या नहीं।
एक मॉडल, तीन प्रवेश।
हर कॉल में मॉडल एक ही है। जो बदलता है वह है आप कौन से आर्ग्युमेंट पास करते हैं — यही तय करता है कि आप विवरण से आवाज़ डिज़ाइन कर रहे हैं, रिकॉर्ड की गई की नकल कर रहे हैं, या उच्चारण संरक्षित कर रहे हैं।
आवाज़ को स्वाभाविक भाषा में बताएँ। मॉडल एक मेल खाती आवाज़ चुनता है और कॉलों में सुसंगत रहता है।
let audio = try await tts.generateVoxCPM2(
text: "Welcome to the show.",
instruct: "A young woman, gentle and warm voice."
)5–30 से की कोई भी साफ़ वाणी पास करें। मॉडल लय और तान की नकल करता है और उस आवाज़ में नया टेक्स्ट संश्लेषित करता है।
let ref = try AudioFileLoader.load(
url: URL(fileURLWithPath: "speaker.wav"),
targetSampleRate: 16000
)
let audio = try await tts.generateVoxCPM2(
text: "This is a cloned voice.",
refAudio: ref
)क्लिप और उसकी ट्रांसक्रिप्ट दोनों पास करें। अब मॉडल ध्वनिक विशेषताओं को स्वनिमों से मिला सकता है — उच्चारण और स्वर विकल्प आगे बढ़ते हैं।
let audio = try await tts.generateVoxCPM2(
text: "Hello from the cloned voice.",
refAudio: ref,
promptText: "this is what the reference clip actually said",
promptAudio: ref
)वही इनपुट स्लॉट, अलग-अलग टुकड़ों से भरा। मॉडल कभी कोई फ़्लैग नहीं देखता — वह अनुक्रम पढ़ता है।
VoxCPM2 ऑडियो कैसे बनाता है।
चार सहयोगी मॉड्यूल। मॉडल उपयोग करने के लिए आपको इनमें से कुछ जानने की ज़रूरत नहीं, पर अगर आप उत्सुक हैं कि 48 kHz कहाँ से आता है — यह रहा।
पाइपलाइन एक लोकल एनकोडर (LocEnc) से शुरू होती है जो टेक्स्ट टोकन और (वैकल्पिक) संदर्भ ऑडियो को वेक्टरों की एक धारा में मिला देता है। वह धारा TSLM में जाती है — 28-परत का MiniCPM-4 भाषा मॉडल जो तय करता है कि अगला ऑडियो "पैच" क्या हो, ठीक वैसे ही जैसे टेक्स्ट LM अगला टोकन चुनता है। RALM से एक दूसरा पास हर पैच को निखारता है।
यहाँ तक सब कुछ एक ट्रांसफ़ॉर्मर है। दिलचस्प मोड़ है LocDiT: असतत ऑडियो टोकन के तयशुदा शब्दकोश से चुनने के बजाय, यह हर स्लॉट में ऑडियो लेटेंट "रँगने" के लिए एक छोटी डिफ़्यूज़न प्रक्रिया चलाता है। कोई असतत कोडेक नहीं यानी कोई क्वांटाइज़ेशन अड़चन नहीं — यही अंतिम चरण AudioVAE V2 को सीधे 48 kHz पर डिकोड करने देता है। इस स्टैक का हर दूसरा ऑन-डिवाइस इंजन 24 kHz पर रुक जाता है।
यह बँटवारा ध्यान देने योग्य है: ऑटोरिग्रेसिव LM यह तय करने में शानदार है कि आगे क्या आना चाहिए (सामग्री, लय, लंबाई); डिफ़्यूज़न हेड ध्वनिक विवरण (फ़ेज़, स्पेक्ट्रम) रँगने में शानदार है। VoxCPM2 हर एक को उसका काम करने देता है। इसी वजह से मॉडल केवल 2B पैरामीटर पर भी टिका रहता है — बोधगम्य गुणवत्ता आर्किटेक्चर कमाता है, आकार नहीं।
मूल शोध पढ़ें।
तीन आकार। अपने डिस्क बजट से चुनें।
तीनों बंडल एक ही आर्किटेक्चर चलाते हैं; ये केवल इसमें भिन्न हैं कि भाषा मॉडल कितनी आक्रामकता से क्वांटाइज़ किया गया है। int8 बंडल अनुशंसित डिफ़ॉल्ट है — यह 8-वाक्य राउंड-ट्रिप बेंचमार्क पर अपस्ट्रीम Python पाइपलाइन के बराबर है, साथ ही bf16 से तेज़ और 40% छोटा।
| बंडल | आकार | किसके लिए |
|---|---|---|
| bf16 | ~5.0 GB | संदर्भ / डिबगिंग। |
| int8 डिफ़ॉल्ट | ~3.0 GB | रोज़मर्रा की क्लोनिंग, ऑडियोबुक, पॉडकास्ट। |
| int4 | ~1.9 GB | डिस्क-सीमित परिनियोजन। |
CLI से।
# Voice design — no reference clip
speech speak "Welcome to the show." \
--engine voxcpm2 \
--voxcpm2-instruct "A young woman, gentle and warm voice." \
--output design.wav
# Reference cloning — 5–30 s clean clip
speech speak "This is a cloned voice." \
--engine voxcpm2 \
--voxcpm2-variant int8 \
--voice-sample speaker.wav \
--output clone.wav