Chatterbox Multilingual
यह Soniqo पेज स्थानीय speech-swift / speech-core implementation में Chatterbox Multilingual को दस्तावेज़ करता है। Hugging Face bundle links integration notes के बाद दिए गए हैं।
पहले आंतरिक पेज
Landing cards और docs menus पहले इसी पेज पर आते हैं; source model और bundle links यहीं उपलब्ध रहते हैं।
सारांश
| मॉडल | Chatterbox Multilingual |
|---|---|
| भूमिका | Multilingual zero-shot voice-cloning TTS |
| Backend | MLX fp16 on Apple; LiteRT default-voice runtime in Speech Core |
| Output | 24 kHz mono waveform |
| भाषाएँ | 23 languages |
| लाइसेंस | MIT |
| स्थिति | MLX cloning runtime; LiteRT greedy/default-voice runtime for edge deployments |
| Source | Resemble AI Chatterbox |
| Swift product | ChatterboxTTS |
| CLI / runtime | Programmatic speech-swift runtime; LiteRT example CLI in speech-core/examples/litert |
उपयोग
नीचे का snippet मौजूदा speech-swift API या command से मेल खाता है।
import ChatterboxTTS
let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
referenceSamples: reference,
sampleRate: 24_000,
text: "The cloned voice now speaks a new sentence.",
languageId: "en"
)मॉडल लिंक
implementation notes
- डाउनलोड मुख्य Chatterbox bundle और अलग S3 tokenizer repository में बाँटा गया है।
- Pipeline में T3 text-to-speech tokens, S3Gen flow mel decoder, और फिर HiFi-GAN / HiFTGenerator vocoder चलते हैं।
- Reference clips को S3Gen के लिए 24 kHz और speaker/token conditioning के लिए 16 kHz पर resample किया जाता है।
- MLX clone path और standalone S3Gen synthesis default रूप से balanced memory policy इस्तेमाल करते हैं: generation के दौरान अधिकतम 512 MB MLX cache cap, जो caller के अधिक सख्त cap को नहीं बढ़ाता, और T3, S3Gen flow, तथा vocoder stages के बीच cache clear. MLX का default cache behavior रखने के लिए
memoryOptions: .unrestrictedपास करें। - Flash Core ML cloning, conditioning तैयार करने के लिए MLX reference-audio encoders का उपयोग करती है और फिर exported T3/S3Gen Core ML graphs चलाती है। Bundle में
t3/NullTextPrefill.mlmodelcन हो तो CFG default रूप से बंद रहता है; public 192-token audio export Flash reference prompt को 6 seconds तक सीमित करता है ताकि generated speech के लिए जगह बचे। - speech-core का LiteRT path default voice देता है; Arabic quality के लिए fp16 T3 अनुशंसित है।