Maskinöversättning · Engelskt original

Qwen3-TTS

Qwen3-TTS är en 12Hz codec språkmodell med en Mimi Decoder för högkvalitativ text-till-tal syntes. Standard MLX Vägen använder nu 1.7B Base bf16 bunt; 8-bit buntar finns tillgängliga för mindre nedladdningar. int4 avvecklades för TTS Kvalitet.

VoxCPM2 vs Qwen3-TTS Full 5-språkig röstkloningsjämförelse och metodologi.

Pipeline

Talsyntesen följer en trestegs pipeline:

1. Talker - 28-lagers transformator som omvandlar inmatningstext till första kodbokstokens vid 12,5 Hz
2. Code Predictor - 5-lagers transformator som förutspår de återstående 15 kodböckerna från de första kodbok dolda staterna
3. Mimi Codec Decoder - Konverterar alla 16 kodbokstokens till en 24 kHz ljudvågform

Arkitektur

Talker

Talker är den centrala autoregressiva modellen som genererar codec-tokens från textinmatning.

Kodpredictor

En lätt 5-skiktstransformator som tar de dolda staterna från den första kodboken och förutspår de återstående 15 kodböckerna autoregressivt. För single-item syntesen körs den fasta 15-gruppsloopen som en sammanställd graf.

Mimi Codec Decoder

Mimi decoder konverterar kvantiserade codec-tokens tillbaka till ljud:

1. RVQ decode (16 kodböcker)
2. Pre-convolution (512 till 1024 kanaler)
3. Pre-transformator (1024 till 512 flaskhals, 8 lager, SwiGLU + LayerScale)
4. Upsample (2x, 2x)
5. SEANet decoder (8x, 5x, 4x, 3x uppsamla steg)
6. 24 kHz vågform output

Modellvarianter

CoreML Backend

CoreML kör sex sammanställda komponenter. Beräkningsplacering beror på det valda buntet.

1. TextProjector — Projekt texttoken inbäddningar till det delade dolda utrymmet
2. CodeEmbedder - Inbäddar första koden-tokens och kontrolltokens
3. MultiCodeEmbedder - Embeds tokens from codebooks 1–15
4. CodeDecoder - 28-lagers autoregressiv transformator med statslös KV-cache (max 256 positioner)
5. MultiCodeDecoder — 5-lagers kodsprediktor för kodböcker 1–15
6. SpeechDecoder -- Mimi codec decoder, konverterar 16 kodbokstokens till 24 kHz ljud

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

CLI Användning

Generera tal från text:

.build/release/speech speak "Hello, world!" --output hello.wav

Alternativ

Exempel

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Streaming

Den --stream flaggan möjliggör chunked ljudutgång under generationen. Istället för att vänta på hela yttrandet att slutföra, ljudet släpps i bitar som tokens produceras. Använd --first-chunk-frames och --chunk-frames för att styra storleken på varje chunk.

Batch Mode

För att syntetisera flera yttranden, använd --batch-file med en textfil som innehåller en rad per yttrande. --batch-size flaggan kontrollerar hur många uttalanden som behandlas parallellt.

Prestanda

På en M2 Max, Qwen3-TTS uppnår en RTF (realtidsfaktor) på cirka 0,55, vilket betyder att den genererar tal snabbare än realtid. Med compile() uppvärmning tar varje steg cirka 37 ms.

Språk

Qwen3-TTS stöder flerspråkig text-till-talsyntes. Modellen upptäcker automatiskt ingångsspråket och genererar tal därefter.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Lokal-bara buntar

Använd fromLocal när din app äger modellförvärv och lagring. Passera de viktigaste TTS modell och tal-tokenizer kataloger separat. Samtalet löser aldrig en cache eller kontaktar nätverket, och läser huvudpaketets config.json innan fördelningen av MLX moduler.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Diagnostik

Qwen3-TTS skickar modellbelastning och inferensdiagnostik till AudioLog.modelLoading och AudioLog.inference istället för stdout eller stderr. Räknar, former och tidpunkter är fortfarande synliga; kallare-förutsatta språk och högtalarvärden är privata, och inmatningstexten är aldrig inloggad.