Qwen3-TTS

Qwen3-TTS เป็นโมเดลภาษา codec 12Hz พร้อมตัวถอดรหัส Mimi สำหรับการสังเคราะห์เสียงพูดคุณภาพสูงจากข้อความ โมเดลถูก quantize เป็น 4-bit และทำงานได้เร็วกว่าเวลาจริงบน Apple Silicon

Pipeline

การสังเคราะห์เสียงพูดดำเนินตาม pipeline สามขั้นตอน:

1. Talker — transformer 28 ชั้นที่แปลงข้อความอินพุตเป็นโทเค็น codebook แรกที่ความถี่ 12.5 Hz
2. Code Predictor — transformer 5 ชั้นที่ทำนาย codebook อีก 15 ตัวที่เหลือจาก hidden state ของ codebook แรก
3. ตัวถอดรหัส codec Mimi — แปลงโทเค็น codebook ทั้ง 16 ตัวเป็นรูปคลื่นเสียง 24 kHz

สถาปัตยกรรม

Talker

Talker คือโมเดล autoregressive หลักที่สร้างโทเค็น codec จากข้อความอินพุต

Code Predictor

transformer ขนาดเบา 5 ชั้นที่รับ hidden state จาก codebook แรกและทำนาย codebook อีก 15 ตัวที่เหลือแบบขนาน วิธีนี้ช่วยหลีกเลี่ยงการรัน Talker เต็มรูปแบบ 16 ครั้งต่อขั้นตอน

ตัวถอดรหัส codec Mimi

ตัวถอดรหัส Mimi แปลงโทเค็น codec ที่ quantize แล้วกลับเป็นเสียง:

1. ถอดรหัส RVQ (16 codebook)
2. Pre-convolution (512 ถึง 1024 ช่อง)
3. Pre-transformer (bottleneck จาก 1024 เหลือ 512, 8 ชั้น, SwiGLU + LayerScale)
4. Upsample (2x, 2x)
5. ตัวถอดรหัส SEANet (ขั้น upsample 8x, 5x, 4x, 3x)
6. เอาต์พุตรูปคลื่น 24 kHz

รุ่นของโมเดล

Backend CoreML

Backend CoreML รัน pipeline Qwen3-TTS ทั้งหมดบน GPU ผ่าน Core ML ทำให้สามารถ deploy บน iOS และ macOS โดยไม่ต้องพึ่ง MLX โมเดลถูกแบ่งเป็น 6 submodel เฉพาะทางที่ปรับให้เหมาะกับสแต็กการประมวลผลของ Apple:

1. TextProjector — ฉาย embedding ของโทเค็นข้อความไปยังพื้นที่ hidden ที่ใช้ร่วมกัน
2. CodeEmbedder — ทำ embedding โทเค็น codebook แรกและโทเค็นควบคุม
3. MultiCodeEmbedder — ทำ embedding โทเค็นจาก codebook 1–15
4. CodeDecoder — transformer autoregressive 28 ชั้นพร้อม KV cache แบบไร้สถานะ (สูงสุด 256 ตำแหน่ง)
5. MultiCodeDecoder — code predictor 5 ชั้นสำหรับ codebook 1–15
6. SpeechDecoder — ตัวถอดรหัส codec Mimi แปลงโทเค็น codebook 16 ตัวเป็นเสียง 24 kHz

# การสังเคราะห์ด้วย CoreML
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML ใช้ temperature 0.8 เป็นค่าเริ่มต้น (จำเป็นเพื่อคุณภาพเอาต์พุต)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

การใช้งาน CLI

สร้างเสียงพูดจากข้อความ:

.build/release/speech speak "Hello, world!" --output hello.wav

ตัวเลือก

ตัวอย่าง

# การสังเคราะห์พื้นฐาน
.build/release/speech speak "The quick brown fox." -o fox.wav

# เอาต์พุต streaming
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# การสังเคราะห์แบบ batch จากไฟล์
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Streaming

Flag --stream เปิดใช้งานเอาต์พุตเสียงแบบเป็นชิ้นระหว่างการสร้าง แทนที่จะรอให้ประโยคทั้งหมดเสร็จสิ้น เสียงจะถูกส่งออกเป็นชิ้นๆ ขณะที่โทเค็นถูกสร้างขึ้น ใช้ --first-chunk-frames และ --chunk-frames เพื่อควบคุมขนาดของแต่ละชิ้น

โหมด batch

สำหรับการสังเคราะห์หลายประโยค ให้ใช้ --batch-file กับไฟล์ข้อความที่มีหนึ่งประโยคต่อบรรทัด Flag --batch-size ควบคุมจำนวนประโยคที่ประมวลผลขนาน

ประสิทธิภาพ

บน M2 Max, Qwen3-TTS ทำ RTF (real-time factor) ได้ประมาณ 0.55 หมายความว่าสร้างเสียงพูดได้เร็วกว่าเวลาจริง ด้วย warmup ผ่าน compile() แต่ละขั้นใช้เวลาประมาณ 37 ms

ภาษา

Qwen3-TTS รองรับการสังเคราะห์เสียงพูดหลายภาษา โมเดลจะตรวจจับภาษาของอินพุตโดยอัตโนมัติและสร้างเสียงพูดที่เหมาะสม

API Swift

import Qwen3TTS

let model = try await Qwen3TTSModel.loadFromHub()
let audio = try await model.speak("Hello, world!")
try audio.write(to: "hello.wav")