Maskinoversettelse · Engelsk original

Qwen3-TTS

Qwen3-TTS er en 12Hz kodekspråkmodell med en Mimi dekoder for tekst-til-speech-syntese av høy kvalitet. Standard MLX -stien bruker nå 1,7B-basen bf16 -pakken; 8-bits bundter er fortsatt tilgjengelige for mindre nedlastinger. int4 ble frakommført for TTS

VoxCPM2 vs Qwen3-TTS · Full femspråklig stemmekloning sammenligning og metode.

Pipeline

Talsyntese følger en tretrinns rørledning:

1. Talker - 28-lags transformator som konverterer inngangstekst til første kodeboktegn på 12,5 Hz
2. Code Prediktor - 5-lags transformator som forutsi de resterende 15 kodebøkene fra den første kodeboken skjulte tilstander
3. Mimi CodecDescription - Konverterer alle 16 kodeboktegn til en 24 kHz lydbølgeform

Arkitektur

Talker

Talkeren er kjernen autoregressiv modell som genererer kodek tokens fra tekstinngang.

Kodeprediktor

En lett 5-lags transformator som tar de skjulte tilstandene fra den første kodeboken og forutsier de gjenværende 15 kodebøkene automatisk regressivt. For enkel-element syntese, den faste 15-gruppe sløyfe kjører som én kompilert graf.

Mimi Kodedekode

Den Mimi dekoderen konverterer kvantiserte kodekene tilbake til lyd:

1. RVQ dekode (16 kodebøker)
2. Førkonvolusjon (512 til 1024 kanaler)
3. Pre-transformer (1024 til 512 flaskehals, 8 lag, Swiglu + LayerScale)
4. Oppprøve (2x, 2x)
5. SEANet dekoder (8x, 5x, 4x, 3x upsample-stadier)
6. 24 kHz bølgeform utgang

Modell Varianter

CoreML Motor

CoreML kjører seks kompilerte komponenter. Beregn plassering avhenger av den valgte pakke.

1. TextProjector - Prosjekter tekst token inneslutter til delt skjult plass
2. CodeEmbedder - Embeds førstekodebok token og kontrollsymboler
3. MultiCodeEmbedder — Embeds tokens fra kodebøker 1-15
4. CodeDecoder — 28 lag autoregressiv transformator med ustabil KV-buffer (maks 256 posisjoner)
5. MultiCodeDecoder — 5-lags kodeprediktor for kodebøker 1-15
6. SpeechDecoder — Mimi codecode dekoder, konverterer 16 kodeboktegn til 24 kHz-lyd

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

CLI bruk

Opprett tale fra tekst:

.build/release/speech speak "Hello, world!" --output hello.wav

Alternativer

Eksempler

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Streaming

--stream flagget gjør det mulig å dele lydutgang i løpet av generasjonen. I stedet for å vente på at hele uttalelsen skal fullføres, blir lyden sendt i biter som polletter produsert. Bruk --first-chunk-frames og --chunk-frames for å kontrollere størrelsen på hver bit.

Batchmodus

For å syntetisere flere uttalelser, bruk --batch-file med en tekstfil som inneholder én linje per uttalelse. --batch-size flagget kontrollerer hvor mange uttalelser som behandles parallellt.

Ytelse

På en M2 Max, Qwen3-TTS oppnår en RTF (realtime factor) på ca. 0,55, noe som betyr at det genererer tale raskere enn sanntid. Med compile() oppvarming, tar hvert trinn ca. 37 ms.

Språk

Qwen3-TTS støtter flerspråklig tekst-til-speech syntese. Modellen registrerer automatisk inngangsspråket og genererer tale tilsvarende.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Lokale pakker

Bruk fromLocal når appen din eier modelloppkjøp og lagring. Send hovedenheten TTS modell og tale-tokenizer kataloger separat. Oppkallet løser aldri en cache eller kontakter nettverket, og leser hovedbuntens config.json før deling MLX moduler.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Diagnostikere

Qwen3-TTS sender modell-lasting og inferensdiagnosikk til AudioLog.modelLoading og AudioLog.inference i stedet for stderr eller stderr. Taller, former og timinger forblir synlige; caller-levert språk og høyttalerverdier er private, og inngangstekst er aldri logget.