Maskinöversättning · Engelskt original

Chatterbox Multilingual

Denna första part Soniqo siddokument Chatterbox Flerspråkig från de lokala speech-swift / speech-core implementering. Hugging Face buntar är länkade nedan efter integrationsnoterna.

Intern sida först

Landningskort och docs-menyer pekar nu här först; källmodell och buntlänkar förblir tillgängliga från denna sida.

På en Glance

Modell	Chatterbox Multilingual
Rollen	Flerspråkig noll-shot röstkloning TTS
Backend	MLX fp16 på Apple; LiteRT standardröstlöptid i Speech Core
Output	24 kHz mono vågform
Språk	23 språk
Licens	MIT
Status	MLX kloning runtime; LiteRT greedy/default-voice runtime for edge deployments
Källa	Resemble AI Chatterbox
Swift produkt	`ChatterboxTTS`
CLI / runtime	Programmatisk speech-swift runtime; LiteRT exempel CLI i speech-core/exempel/litert

Användning

Nyckeln nedan speglar den nuvarande speech-swift API eller kommandot exponerat av repan.

import ChatterboxTTS

let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
    referenceSamples: reference,
    sampleRate: 24_000,
    text: "The cloned voice now speaks a new sentence.",
    languageId: "en"
)

Modelllänkar

Implementeringsmeddelanden

Ladda ner delas mellan huvud Chatterbox bunt och separat S3 tokenizer repository.
Pipeline är T3 text-till-tal tokens, S3Gen flöde mel decoder, sedan HiFi-GAN / HiFTGenerator vocoder.
Referensklipp förs vidare till 24 kHz för S3Gen och 16 kHz till högtalare/token konditionering.
MLX klonväg och fristående S3Gen syntes använder en balanserad minnespolicy: en tillfällig up-to-512 MiB cache cap och cache clears mellan steg. Lägre caller budgetar bevaras. memoryOptions: .unrestricted hoppar över dessa generationskontroller; den delade modell-livstid cap fortfarande gäller.
Flash Core ML kloning använder MLX referens-audio-kodare för att förbereda konditionering, kör sedan den exporterade T3/S3Gen Core ML grafer. CFG stannar av som standard om inte paketet innehåller t3/NullTextPrefill.mlmodelc; den offentliga 192-token-exportkapsen Flash referens prompts 6 sekunder
speech-core's LiteRT banfartyg en standardröst; fp16 T3 rekommenderas för arabisk kvalitet.