Strojový překlad · Anglický originál
Chatterbox Vícejazyčné
Tato první strana Soniqo stránka dokumenty Chatterbox Multilingual z místní speech-swift / speech-core implementace. Hugging Face svazky jsou spojeny níže po integraci poznámky.
Interní stránka
Přistávací karty a docs menu nyní ukázat zde první; zdrojový model a svazky odkazy zůstávají k dispozici z této stránky.
V Glance
| Vzor | Chatterbox Vícejazyčné |
|---|---|
| Úloha | Vícejazyčné zero-shot hlasové klonování TTS |
| Backend | MLX fp16 na Apple; LiteRT default- hlasové runtime v Speech Core |
| Výstup | 24 kHz mono waveform |
| Jazyky | 23 jazyků |
| Licence | MIT |
| Stav | MLX klonování runtime; LiteRT chamtivé / default- hlasové runtime pro nasazení hran |
| Zdroj | Resemble AI Chatterbox |
| Swift produkt | ChatterboxTTS |
| CLI / runtime | Programmatic speech-swift runtime; LiteRT example CLI in speech-core / examples / dompt |
Použití
Snippet níže odráží aktuální speech-swift API nebo příkaz vystavený repo.
import ChatterboxTTS
let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
referenceSamples: reference,
sampleRate: 24_000,
text: "The cloned voice now speaks a new sentence.",
languageId: "en"
)
Modelové odkazy
Poznámky k provádění
- Download je rozdělen mezi hlavní balíček Chatterbox a samostatný úložiště S3 tokenizer.
- Pipeline je T3 text- to- speak tokens, S3Gen flow mel dekodér, pak HiFi-GAN / HiFTGenerator vokodér.
- Referenční klipy jsou přepočteny na 24 kHz pro S3Gen a 16 KHz pro reproduktor / token kondicionování.
- Klonová cesta MLX a samostatná syntéza S3Gen využívají vyváženou paměť: dočasný uzávěr paměti up-to-512 MiB a úschova mezi etapami. Dolní rozpočty volajících jsou zachovány.
memoryOptions: .unrestrictedpřeskočuje tyto kontroly výroby; společná horní hranice doby životnosti modelu stále platí. - Flash Core ML klonování používá MLX reference-audio enkodéry pro přípravu kondicionování, pak běží exportované T3 / S3Gen Core ML grafy. CFG zůstává vypnutý ve výchozím nastavení, pokud svazek obsahuje
t3/NullTextPrefill.mlmodelc; veřejnost 192-token audio exportní čepice Flash reference vyzývá na 6 sekund, takže generované řeči má prostor. - speech-core je LiteRT cesta loď výchozí hlas; fp16 T3 se doporučuje pro arabskou kvalitu.