Traducere automată · Originalul în engleză

Qwen3-TTS

Qwen3-TTS este un model de limbaj codec 12Hz cu un decodor Mimi pentru sinteza de înaltă calitate a textului-la-discurs. Calea implicită MLX utilizează acum pachetul de bază 1.7B bf16; pachete de 8 biți rămân disponibile pentru descărcări mai mici. int4 a fost dezafectată pentru calitatea TTS

VoxCPM2 vs Qwen3-TTS · Comparație și metodologie de clonare vocală în cinci limbi .

Conductă

Sinteza vorbirii urmează unei conducte în trei etape:

1. Talker Transformator 28-strat care convertește textul de intrare în primele jetoane de coduri la 12,5 Hz
2. Code Predictor Transformator 5-strat care prezice restul de 15 coduri din primele state ascunse codebook
3. Decodor Mimi Conversia tuturor jetoanelor de cod 16 într-o formă audio 24 kHz

Arhitectură

Vorbitor

Talker este modelul de bază autoregresiv care generează jetoane codec de intrare text.

Predictor de cod

Un transformator usor cu 5 straturi care ia starile ascunse din primul cod si prezice restul de 15 coduri autoregresiv. Pentru sinteza unui singur element, bucla fixa de 15 grupuri functioneaza ca un grafic compilat.

Mimi Decodor codec

Mimi decodorul convertește jetoanele codec cuantice înapoi în audio:

1. RVQ decodează (16 cărți de coduri)
2. Pre-convoluție (512 până la 1024 canale)
3. Pre-transformator (1024 până la 512 sticluță, 8 straturi, SwiGLU + StrateScale)
4. Proba de sus (2x, 2x)
5. Decodor SEANet (8x, 5x, 4x, 3x în sus etape de probă)
6. Ieșire a formei de undă 24 kHz

Model Variante

CoreML Platformă

CoreML ruleaza sase componente compilate. Plasarea calcul depinde de pachetul selectat.

1. TextProjector
2. CodeEmbedder
3. MultiCodeEmbedder 1–15
4. Decodor de cod Transformator autoregresiv 28 cu cache KV apatrid (maxim 256)
5. Decodor multicod — 5-previzionator de coduri pentru coduri 1–15
6. Decodor de vorbire Decodor Mimi codec, convertește jetoane de cod 16 în audio 24

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

Utilizarea CLI

Generează discursul din text:

.build/release/speech speak "Hello, world!" --output hello.wav

Opțiuni

Exemple

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Streaming

Steagul --stream permite o ieșire audio în timpul producției. În loc să aștepte întreaga declarație pentru a finaliza, audio este emis în bucăți ca jetoane sunt produse. Utilizați --first-chunk-frames și --chunk-frames pentru a controla dimensiunea fiecărei bucăți.

Mod lot

Pentru sintetizarea mai multor declaraţii, utilizaţi --batch-file cu un fişier text conţinând o linie per declaraţie. --batch-size

Performanță

Pe o M2 Max, Qwen3-TTS atinge un RTF (factor în timp real) de aproximativ 0.55Adică generează vorbirea mai repede decât în timp real. compile() încălzire, fiecare pas ia despre 37 ms.

Limbi

Qwen3-TTS suportă sinteza multilingvă text-la-discurs. Modelul detectează automat limba de intrare și generează vorbirea în consecință.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Doar pachete locale

Utilizaţi fromLocal atunci când aplicaţia dumneavoastră deţine modelul de achiziţie şi stocare. Treceţi la modelul principal TTS şi la directoarele pentru tokenizator de vorbire separat. Apelul nu rezolvă niciodată o cache sau contactează reţeaua, şi citeşte modulele pachetului principal config.json înainte de alocarea MLX.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Diagnostice

Qwen3-TTS trimite diagnosticul de încărcare a modelelor și de interferență la AudioLog.modelLoading și AudioLog.inference în loc de stdout sau stderr. Counts, forme, și calendarul rămân vizibile; limba și valorile difuzorului furnizate de apelant sunt private, iar textul de intrare nu este niciodată autentificat.