Konekäännös · Englanninkielinen alkuperäinen
Chatterbox Monikielinen
Tämä ensimmäinen osapuoli Soniqo sivuasiakirjat Chatterbox Monikielinen paikallisesta speech-swift / speech-core -toteutus. Hugging Face -paketit on linkitetty alla olevien integrointihuomautusten jälkeen.
Sisäinen sivu ensin
Laskeutumiskortit ja dokumentit ovat nyt tässä ensin; lähdemalli ja nippulinkit ovat saatavilla tältä sivulta.
Katselu
| Malli | Chatterbox Monikielinen |
|---|---|
| Rooli | Monikielinen, ei laukeava ääni-kloonaus TTS |
| Taustaosa | MLX fp16 Applen osalta; LiteRT Oletusäänen runtime Puheen ytimessä |
| Tuotos | 24 kHz mono-aaltomuoto |
| Kieli | 23 kieltä |
| Lisenssi | MIT |
| Tila | MLX kloonauksen kesto; LiteRT ahneus/oletusääni-runtime reunakäyttöön |
| Lähde | Kokoonpano AI Chatterbox |
| Swift -tuote | ChatterboxTTS |
| CLI / ajoaika | Programmatic speech-swift runtime; LiteRT example CLI in speech-core/esimerkkeinä/litert |
Käyttö
Alla oleva nappula peilaa virta speech-swift API tai repon paljastamaa komentoa.
import ChatterboxTTS
let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
referenceSamples: reference,
sampleRate: 24_000,
text: "The cloned voice now speaks a new sentence.",
languageId: "en"
)
Malli Linkit
Täytäntöönpano Huomioita
- Lataus jaetaan pää- Chatterbox -pakettiin ja erilliseen S3 tokenizer -varastoon.
- Putkisto on T3 tekstipuheen kuponkia, S3Gen virtausmel dekooderi, sitten HiFi-GAN / HiFTGenerator vocoder.
- Vertailuleikkeet otetaan uudelleen 24 kHz:n tarkkuudella S3Gen ja 16 kHz:n tasolle kaiuttimen/token-käsittelyn osalta.
- MLX kloonipolku ja erillinen S3Gen synteesi käyttävät tasapainoista muistipolitiikkaa: väliaikainen up-to-512 MiB-välimuistin kansi ja välimuisti tyhjenevät vaiheiden välillä. Alemmat soittajabudjetit säilytetään.
memoryOptions: .unrestrictedjättää nämä sukupolven kontrollit huomiotta; jaettua malli-elinaikakattoa sovelletaan edelleen. - Flash Core ML kloonaaminen käyttää MLX vertailu-audio-koodaajia esikäsittelyn valmistelemiseksi, suorittaa sitten viedyn T3/S3Gen Core ML kaaviot. CFG pysyy pois päältä oletusarvoisesti, ellei nippu sisällä
t3/NullTextPrefill.mlmodelc; yleinen 192-takeinen audiovientikorkki Flash-viiteke 6 sekunnin kuluessa näin luotua puhetta on tilaa. - speech-core LiteRT -reittialus, oletusääni; fp16 T3 -reittiä suositellaan arabiaksi.