Maskinoversettelse · Engelsk original

Chatterbox Flerspråklig

Denne førsteparts Soniqo sidedokumenter Chatterbox Flerspråklig fra den lokale speech-swift / speech-core implementasjon. Hugging Face pakker er koblet nedenfor etter integrasjonsnotasjonene.

På en glanse

Bruk

Den snutten nedenfor speiler gjeldende speech-swift API eller kommando som eksponeres av repoen.

import ChatterboxTTS

let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
    referenceSamples: reference,
    sampleRate: 24_000,
    text: "The cloned voice now speaks a new sentence.",
    languageId: "en"
)

Modelllenker

• MLX fp16 bunt
• LiteRT pakke
• speech-swift docs
• speech-core header

Implementasjonsnotater

• Last ned er delt mellom den viktigste Chatterbox bunten og den separate S3 tokenizer-arkivet.
• Pipeline er T3 tekst-til-speech polletter, S3Gen flyt mel dekoder, deretter HiFi-GAN / HiFTGenerator vocoder.
• Referanseklipp er resupplert til 24 kHz for S3Gen og 16 kHz til høyttaler/token-kondisjonering.
• MLX klonesti og frittstående S3Gen syntese bruker en balansert minnepolicy: en midlertidig up-to-512 MiB cache cache cace lue og cache rydder mellom stadier. Lavere oppringingsbudsjett er bevart. memoryOptions: .unrestricted hopper over disse generasjonskontrollene; den delte modellen-livstid cap fortsatt gjelder.
• Flash Core ML kloning bruker MLX referanse-audio-kodere for å forberede kondisjonering, deretter kjører de eksporterte T3/S3Gen Core ML grafer. CFG holder seg av som standard med mindre bundten inneholder t3/NullTextPrefill.mlmodelc; den offentlige 192-token lydeksportkapslene Flash-referanser på 6 sekunder så generert tale har rom.
• speech-cores LiteRT bane sender en standard stemme; fp16 T3 anbefales for arabisk kvalitet.