Terjemahan mesin · Versi asli bahasa Inggris

Qwen3-TTS

Qwen3-TTS adalah 12Model bahasa codec Hz dengan Mimi decoder untuk tinggi-kualitas teks -to-speech synthesis. Baku MLX path sekarang menggunakan 1.7Basis B bf16 bundle; 8-bit bundles tetap tersedia untuk unduhan yang lebih kecil. int4 dinonaktifkan untuk TTS kualitas.

VoxCPM2 vs Qwen3-TTS · Suara lima bahasa penuh - kloning perbandingan dan metodologi.

Baris pipa

Sintesis pidato mengikuti pipeline tahap tiga:

1. Talker - 28-layer transformer yang mengkonversi teks masukan kedalam token-token codebook pertama di 12.5 Hz
2. Prediktor Kode - 5-layer transformer yang tersisa memprediksikan kodebuku 15 dari codebook pertama yang tersembunyi
3. Mimi Codec Decoder - Mengkonversi semua 16 token codebook kedalam 24 bentuk gelombang audio kHz

Arsitektur

Talker

Talker adalah inti model autoregresif yang menghasilkan token codec dari masukan teks.

Prediktor Kode

Transformer lapisan 5- ringan yang mengambil negara bagian tersembunyi dari buku kode pertama dan memprediksi 15 buku kode yang tersisa secara autoregreatly. Untuk sintesis item tunggal, loop grup 15 tetap berjalan sebagai salah satu grafik yang dikompilasi.

Mimi Codec Decoder

The Mimi decoder mengkonversi token codec yang telah diquantized kembali ke audio:

1. RVQ decode (16 buku kode)
2. Pre- convoIution (512 sampai 1024 saluran)
3. Pre- transformer (1024 sampai 512 bottleneck, 8 lapis, SwiGLU + LayerScale)
4. Upsample (2x, 2x)
5. Seanet decoder (8x, 5x, 4x, 3x upsample sestages)
6. Keluaran 24 kHz waveform

Variants Model

CoreML Backend

CoreML menjalankan enam komponen terkompail. Penempatan komputer tergantung pada bundel yang dipilih.

1. Pengproyektor TektProyektor - Proyek teks token menggelapkan ke ruang tersembunyi bersama
2. CodeEmbedder - Embed First-Codebook token dan controI token
3. MultiCodeEmbedder - Token Embed dari buku kode 1–15
4. CodeDecoder - 28-layer autoregresif transformer dengan status KV cache (max posisi 256)
5. MultiCodeDecoder — 5-layer prediktor kode untuk codebooks 1–15
6. SpeechDecoder — Mimi codec decoder, converts 16 token codebook ke 24 audio kHz

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

Penggunaan CLI

Hasilkan pidato dari teks:

.build/release/speech speak "Hello, world!" --output hello.wav

Opsi

Contoh

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Streaming

The --stream flag memungkinkan keluaran audio dipotong selama generasi. Alih-alih menunggu seluruh ucapan untuk menyelesaikan, audio dipancarkan dalam potongan sebagai token dihasilkan. Gunakan --first-chunk-frames dan --chunk-frames untuk mengontrol ukuran setiap potongan.

Mode Batch

Untuk mensintesis ucapan berganda, gunakan --batch-file dengan berkas teks yang berisi satu baris per kalimat. The --batch-size flag mengontrol berapa banyak ucapan diproses dalam paralel.

Penampilan

Pada M2 Max, Qwen3-TTS mencapai sebuah RTF (Faktor real-time) sekitar 0.55, berarti menghasilkan pidato lebih cepat dari real-time. compile() warmap, setiap langkah mengambil sekitar 37 ms.

Bahasa

Qwen3-TTS mendukung multibahasa teks -to-speech synthesis. Model secara otomatis mendeteksi bahasa masukan dan menghasilkan pidato sesuai.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Local- hanya bundles

Gunakan fromLocal ketika aplikasi anda memiliki model akuisisi dan penyimpanan. Lewatkan model TTS utama dan direktori speech-tokenizer secara terpisah. Panggilan tidak pernah menyelesaikan cache atau kontak jaringan, dan membaca bundel utama config.json sebelum mengalokasikan modul MLX.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Diagnostik

Qwen3-TTS mengirimkan model-loading dan diagnosis inferensi ke AudioLog.modelLoading dan AudioLog.inference bukan stdout atau stderr. Menghitung, bentuk, dan waktu tetap terlihat; caller- yang disediakan nilai bahasa dan speaker adalah pribadi, dan teks masukan tidak pernah log.