Awtomatikong salin · Orihinal sa Ingles

Qwen3-TTS

Qwen3-TTS ay isang 12Hz codec language model na may Mimi decoder para sa mataas-quality text-to-speech synthesis. Ang default MLX Ginagamit na ngayon ng landas ang 1.7Base bf16 talaksan; 8- Ang mga bungkos ng basura ay nananatiling magagamit para sa mas maliliit na download. int4 ay inalis sa tungkulin TTS kalidad.

VoxCPM2 vs Qwen3-TTS · Buong limang-wikang voice-cloning na paghahambing at metolohiya.

Pipeline

Ang synthesis sa pagsasalita ay sumusunod sa isang tatlong-stage pipeline:

1. Mangusap — 28-layer transformer na binabago ang input na teksto upang maging unang codebook tokens sa 12.5 Hz
2. Hula Tungkol sa Kodigo — 5-layer transformer na humuhula sa natitirang 15 codebook mula sa unang codebook na nakatagong mga estado
3. Mimi Codec Decoder — Kinokomberti ang lahat ng 16 codebook na inilalagay sa isang 24 kHz audio waveform

Arkitektura

Mangusap

Ang Talisay ay ang core autoregressive model na lumilikha ng mga codec token mula sa text input.

Hula Tungkol sa Kodigo

Isang lightlight 5-layer transformer na kumukuha sa mga nakatagong estado mula sa unang codebook at humuhula sa natitirang 15 codebooks autoregressively. Para sa isang-item synthesis, ang nakapirmeng 15-group loop run bilang isa na tinipong graph.

Mimi Codec Decoder

Ang Mimi decoder na nagkukumberte ng mga quanized codec na panimpla pabalik sa audio:

1. RVQ decode (16 codebook)
2. Pre-convolution (512 hanggang 1024 channel)
3. Pre-transpormante (1024 hanggang 512 thutneck, 8 layer, SwiGLU + LayerScale)
4. Upsample (2x, 2x)
5. SEANet decoder (8x, 5x, 4x, 3x upsample stage)
6. 24 kHz waveform output

Modelong mga Variante

CoreML Backend

Ang CoreML ay nagpapatakbo ng anim na tinipong sangkap. Ang comute placement ay nakasalalay sa napiling bungkos.

1. TextProjector — Ang teksto sa mga Project ay nagtatanda ng mga emebeding sa bahaging nakatagong espasyo
2. Tagaayos ng Kodigo — Ang unang-codebook na mga token at control tokens
3. Multi Codembender — Ang mga marka mula sa mga codebook na 1–15
4. Pag - aayos ng Kodigo — 28-layer autoregressive transformer na may stateless KV cache (mga posisyong 256)
5. Maraming - Gamit na Gamot — 5-layer code propesiyar para sa mga codebook na 1–15
6. Pandaraya sa Pagsasalita — Mimi codec decoder, kinumberte ang 16 na codebook to 24 kHz audio

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

Paggamit ng CLI

Pag - usapan ang mga salita mula sa teksto:

.build/release/speech speak "Hello, world!" --output hello.wav

Mga Mapagpipilian

Mga Halimbawa

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Pag - aaksaya

Ang --stream flag ay nagbibigay ng splited audio output sa panahon ng henerasyon. Sa halip na hintayin ang buong salita upang makumpleto, ang audio ay inilalabas sa mga tipak habang ang mga token ay ginagawa. Gamitin ang --first-chunk-frames at --chunk-frames upang kontrolin ang sukat ng bawat kripto.

" Batch Mode "

Para sa synthesize multiple na mga kasabihan, gumamit ng --batch-file na may talaksang teksto na naglalaman ng isang linya kada salita. Ang --batch-size flag ay kumokontrol sa kung ilang mga salita ang prinoseso sa kahalintulad.

Pag - aasikaso

Sa isang M2 Max, Qwen3-TTS ay nagkamit ng RTF (tunay na-time factor) ng humigit-kumulang 0.55, na nangangahulugang ito ay lumilikha ng pagsasalita ng mas mabilis kaysa sa tunay na panahon. Sa compile() yup, ang bawat hakbang ay kumukuha ng mga 37 ms.

Wika

Qwen3-TTS ay sumusuporta sa multilingguwaheng teksto-to-speech synthesis. Ang modelo ay awtomatikong nakakadetek ng input language at lumilikha ng pagsasalita alinsunod dito.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Mga lokal-lamang na bungkos

Gamitin fromLocal Kapag ang iyong app ay nagmamay - ari ng modelong pagkakamit at pag - iimbak. TTS modelo at speech-tokenizer directories magkahiwalay. Ang tawag ay hindi kailanman nagreresulta sa isang cache o makipag-ugnayan sa network, at basahin ang pangunahing bungkos's config.json bago ang mga MLX module.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Mga Rikonosi

Qwen3-TTS ay nagpapadala ng model-based at product diagnosis sa AudioLog.modelLoading at AudioLog.inference sa halip na stdout o stderr. Ang mga konde, hugis, at mga tiyempo ay nananatiling nakikita; ang caller-produced language at speakers ay pribado, at ang input ay hindi kailanman nai-inkwenkor.