Chatterbox Multilingual

Esta página de Soniqo documenta Chatterbox Multilingual tal como está implementado en speech-swift / speech-core. Los enlaces a Hugging Face aparecen debajo de las notas de integración.

Resumen

Uso

El fragmento siguiente refleja la API o el comando actual expuesto por speech-swift.

import ChatterboxTTS

let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
    referenceSamples: reference,
    sampleRate: 24_000,
    text: "The cloned voice now speaks a new sentence.",
    languageId: "en"
)

Enlaces del modelo

• MLX fp16 bundle
• LiteRT bundle
• speech-swift docs
• speech-core header

Notas de implementación

• La descarga se divide entre el paquete principal de Chatterbox y el repositorio separado del S3 tokenizer.
• La canalización usa T3 text-to-speech tokens, el S3Gen flow mel decoder y después el vocoder HiFi-GAN / HiFTGenerator.
• Los clips de referencia se remuestrean a 24 kHz para S3Gen y a 16 kHz para speaker/token conditioning.
• La ruta de clonación MLX y la síntesis S3Gen independiente usan por defecto una balanced memory policy: un límite temporal de hasta 512 MB para la caché MLX que no aumenta un límite más estricto del llamador, y limpiezas de caché entre T3, S3Gen flow y vocoder. Pasa memoryOptions: .unrestricted para conservar el comportamiento de caché predeterminado de MLX.
• La clonación con Flash Core ML usa MLX reference-audio encoders para preparar conditioning y luego ejecuta los grafos T3/S3Gen Core ML exportados. CFG queda desactivado por defecto salvo que el paquete incluya t3/NullTextPrefill.mlmodelc; el audio export público de 192 tokens limita el prompt de referencia Flash a 6 segundos para dejar espacio a la voz generada.
• La ruta LiteRT de speech-core incluye una voz predeterminada; se recomienda fp16 T3 para la calidad en árabe.