Strojový překlad · Anglický originál

Qwen3-TTS

Qwen3-TTS je 12Hz kodekový jazykový model s dekodérem Mimi pro vysoce kvalitní text- to- řeč syntézy. Výchozí cesta MLX nyní používá 1.7B Base bf16 svazku; 8-bitové balíčky zůstávají k dispozici pro menší stahování. int4 byla vyřazena pro kvalitu TTS.

VoxCPM2 vs Qwen3-TTS · Plné pětijazyčné hlasové-klonování srovnání a metodika.

Potrubí

Syntéza řeči následuje po třístupňovém potrubí:

1. Mluvčí - Transformátor 28- vrstvy, který převádí vstupní text na první kódovací tokeny na 12.5 Hz
2. Kód prediktoru - Transformátor vrstvy 5-, který předpovídá zbývající kódové knihy 15 z prvních skrytých stavů
3. Mimi Kodek Dekodér - Převede všechny kódové tokeny 16 do zvukové vlny 24 kHz

Architektura

Mluvčí

Talker je základní autoregresivní model, který generuje kodekové žetony z textového vstupu.

Kód prediktoru

Lehký 5vrstvý transformátor, který vezme skryté stavy z první kódové knihy a předpovídá zbývajících 15 kódových knih automaticky regresivně. Pro syntézu single-položky, fixní 15- skupina smyčka běží jako jeden sestavený graf.

Mimi Kodek Dekodér

Dekodér Mimi převádí kvantifikované kodekové tokeny zpět do zvuku:

1. RVQ dekódování (16 kodeknih)
2. Pre- konvoluce (512 až 1024 kanálů)
3. Pre- transformátor (1024 až 512 těsnění, 8 vrstev, SwiGLU + LayerScale)
4. Nahrávací vzorek (2x, 2x)
5. SEAnet dekodér (8x, 5x, 4x, 3x upvzort)
6. 24 kHz výstup vlnové délky

Vzor Variantů

CoreML Backend

CoreML má šest sestavených komponentů. Vypočítejte umístění závisí na zvoleném svazku.

1. TextProjektor - Projekty text symbolické embedding do sdíleného skrytého prostoru
2. CodeEmbedder - Vloží první-codebook tokens a ovládací tokens
3. MultiCodeEmbedder - Vložené žetony z kódů 1-15
4. CodeDecoder - Autoregresivní transformátor 28- vrstvy s KV cache bez státní příslušnosti (max. 256 pozice)
5. MultiCodeDecoder - 5- descriptor kódu pro kódy 1-15
6. SpeechDekodér - Mimi kodek dekodér, konvertuje 16 kódové tokeny na 24 codebook audio

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

Použití CLI

Vygenerovat řeč z textu:

.build/release/speech speak "Hello, world!" --output hello.wav

Možnosti

Příklady

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Streaming

V --stream vlajka umožňuje odštípnutý audio výstup během generace. Místo čekání na dokončení celého projevu, je zvuk vyzařován v kusech jako žetony jsou vyráběny. --first-chunk-frames a --chunk-frames k ovládání velikosti každého kusu.

Režim šarže

Pro syntetizaci více slov použijte --batch-file s textovým souborem, který obsahuje jeden řádek na slovo. --batch-size Vlajka kontroluje, kolik slov je zpracováváno paralelně.

Výkonnost

Na M2 Max, Qwen3-TTS dosáhne RTF (faktor reálného času) přibližně 0.55, což znamená, že generuje řeč rychleji než reálný čas. compile() Zahřívání, každý krok trvá asi 37 ms.

Jazyky

Qwen3-TTS podporuje vícejazyčnou syntézu text- to- speak. Model automaticky detekuje vstupní jazyk a podle toho generuje řeč.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Lokální-pouze svazky

Použití fromLocal když vaše aplikace vlastní model akvizice a úložiště. Předejte hlavní TTS model a speech- tokenizer adresáře odděleně. Hovor nikdy vyřeší cache nebo kontaktuje síť, a čte hlavní balíček config.json před přidělením modulů MLX.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Diagnostika

Qwen3-TTS odešle modelovou diagnostiku AudioLog.modelLoading a AudioLog.inference místo stdout nebo stderr. Počítání, tvary a časové rozvržení zůstávají viditelné; volající - za předpokladu, že jazyk a reproduktor hodnoty jsou soukromé, a vstupní text není nikdy přihlášen.