Chatterbox Multilingual
Cette page Soniqo documente Chatterbox Multilingual tel qu'il est implémenté dans speech-swift / speech-core. Les liens Hugging Face sont placés après les notes d'intégration.
Page interne d'abord
Les cartes et menus pointent d'abord ici; les liens vers le modèle source et les bundles restent disponibles sur cette page.
Aperçu
| Modèle | Chatterbox Multilingual |
|---|---|
| Rôle | Multilingual zero-shot voice-cloning TTS |
| Backend | MLX fp16 on Apple; LiteRT default-voice runtime in Speech Core |
| Sortie | 24 kHz mono waveform |
| Langues | 23 languages |
| Licence | MIT |
| État | MLX cloning runtime; LiteRT greedy/default-voice runtime for edge deployments |
| Source | Resemble AI Chatterbox |
| Produit Swift | ChatterboxTTS |
| CLI / runtime | Programmatic speech-swift runtime; LiteRT example CLI in speech-core/examples/litert |
Utilisation
L'extrait ci-dessous suit l'API ou la commande actuellement exposée par speech-swift.
import ChatterboxTTS
let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
referenceSamples: reference,
sampleRate: 24_000,
text: "The cloned voice now speaks a new sentence.",
languageId: "en"
)Liens du modèle
Notes d'implémentation
- Download is split between the main Chatterbox bundle and the separate S3 tokenizer repository.
- Pipeline is T3 text-to-speech tokens, S3Gen flow mel decoder, then HiFi-GAN / HiFTGenerator vocoder.
- Reference clips are resampled to 24 kHz for S3Gen and 16 kHz for speaker/token conditioning.
- speech-core's LiteRT path ships a default voice; fp16 T3 is recommended for Arabic quality.