Chatterbox Multilingual
หน้านี้ของ Soniqo อธิบาย Chatterbox Multilingual ตาม implementation ใน speech-swift / speech-core ส่วนลิงก์ Hugging Face อยู่ใต้หมายเหตุการใช้งาน
เข้าหน้าในเว็บก่อน
การ์ดหน้าแรกและเมนูเอกสารจะชี้มาที่หน้านี้ก่อน ส่วนลิงก์ไปยัง source model และ bundle ยังอยู่ในหน้านี้
ภาพรวม
| โมเดล | Chatterbox Multilingual |
|---|---|
| บทบาท | Multilingual zero-shot voice-cloning TTS |
| Backend | MLX fp16 on Apple; LiteRT default-voice runtime in Speech Core |
| Output | 24 kHz mono waveform |
| ภาษา | 23 languages |
| License | MIT |
| สถานะ | MLX cloning runtime; LiteRT greedy/default-voice runtime for edge deployments |
| Source | Resemble AI Chatterbox |
| Swift product | ChatterboxTTS |
| CLI / runtime | Programmatic speech-swift runtime; LiteRT example CLI in speech-core/examples/litert |
การใช้งาน
snippet ด้านล่างตรงกับ API หรือคำสั่งปัจจุบันใน speech-swift
import ChatterboxTTS
let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
referenceSamples: reference,
sampleRate: 24_000,
text: "The cloned voice now speaks a new sentence.",
languageId: "en"
)
ลิงก์โมเดล
หมายเหตุ implementation
- การดาวน์โหลดแยกระหว่าง Chatterbox bundle หลักกับ repository ของ S3 tokenizer แยกต่างหาก
- Pipeline ใช้ T3 text-to-speech tokens, S3Gen flow mel decoder แล้วจึงเข้า HiFi-GAN / HiFTGenerator vocoder
- Reference clips จะถูก resample เป็น 24 kHz สำหรับ S3Gen และ 16 kHz สำหรับ speaker/token conditioning
- เส้นทาง clone แบบ MLX และการสังเคราะห์ S3Gen แยกเดี่ยวใช้ balanced memory policy เป็นค่าเริ่มต้น: จำกัด MLX cache ชั่วคราวสูงสุด 512 MB โดยไม่เพิ่ม cap ที่ caller ตั้งไว้เข้มงวดกว่า และล้าง cache ระหว่างขั้น T3, S3Gen flow และ vocoder หากต้องการพฤติกรรม cache เดิมของ MLX ให้ส่ง
memoryOptions: .unrestricted - การ clone ด้วย Flash Core ML ใช้ MLX reference-audio encoders เพื่อเตรียม conditioning แล้วจึงรัน T3/S3Gen Core ML graphs ที่ export แล้ว ค่า CFG ปิดเป็นค่าเริ่มต้น เว้นแต่ bundle จะมี
t3/NullTextPrefill.mlmodelc; audio export สาธารณะขนาด 192-token จำกัด Flash reference prompt ไว้ที่ 6 วินาทีเพื่อเหลือพื้นที่สำหรับเสียงที่สร้างขึ้น - เส้นทาง LiteRT ของ speech-core มี default voice มาให้; แนะนำ fp16 T3 สำหรับคุณภาพภาษาอาหรับ