Chatterbox Multilingual

Bu Soniqo sayfası, yerel speech-swift / speech-core uygulamasındaki Chatterbox Multilingual modelini belgeler. Hugging Face bundle bağlantıları entegrasyon notlarından sonra yer alır.

Önce dahili sayfa

Açılış kartları ve belge menüleri önce buraya yönlenir; kaynak model ve bundle bağlantıları bu sayfada kalır.

Özet

Model	Chatterbox Multilingual
Rol	Multilingual zero-shot voice-cloning TTS
Backend	MLX fp16 on Apple; LiteRT default-voice runtime in Speech Core
Çıktı	24 kHz mono waveform
Diller	23 languages
Lisans	MIT
Durum	MLX cloning runtime; LiteRT greedy/default-voice runtime for edge deployments
Kaynak	Resemble AI Chatterbox
Swift ürünü	`ChatterboxTTS`
CLI / runtime	Programmatic speech-swift runtime; LiteRT example CLI in speech-core/examples/litert

Kullanım

Aşağıdaki parça, speech-swift deposundaki güncel API veya komutla eşleşir.

import ChatterboxTTS

let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
    referenceSamples: reference,
    sampleRate: 24_000,
    text: "The cloned voice now speaks a new sentence.",
    languageId: "en"
)

Model bağlantıları

Uygulama notları

İndirme, ana Chatterbox bundle ile ayrı S3 tokenizer deposu arasında bölünür.
Pipeline sırasıyla T3 text-to-speech tokens, S3Gen flow mel decoder ve HiFi-GAN / HiFTGenerator vocoder kullanır.
Referans klipler S3Gen için 24 kHz, speaker/token conditioning için 16 kHz olarak yeniden örneklenir.
MLX klonlama yolu ve bağımsız S3Gen sentezi varsayılan olarak balanced memory policy kullanır: çağıranın daha sıkı cap değerini yükseltmeyen geçici en fazla 512 MB MLX cache sınırı ve T3, S3Gen flow ile vocoder aşamaları arasında cache temizliği. MLX'in varsayılan cache davranışı için memoryOptions: .unrestricted geçirin.
Flash Core ML klonlama, conditioning hazırlamak için MLX reference-audio encoders kullanır ve ardından dışa aktarılan T3/S3Gen Core ML graph'lerini çalıştırır. Bundle t3/NullTextPrefill.mlmodelc içermedikçe CFG varsayılan olarak kapalıdır; herkese açık 192-token audio export, üretilen konuşmaya yer bırakmak için Flash referans prompt'unu 6 saniyeyle sınırlar.
speech-core LiteRT yolu varsayılan bir ses içerir; Arapça kalitesi için fp16 T3 önerilir.