Traduzione automatica · Originale inglese

Qwen3-TTS

Qwen3-TTS è un 12Hz modello di linguaggio codec con un Mimi decoder per la sintesi test-speech di alta qualità. MLX il sentiero ora utilizza 1.7Base B bf16 fascio; 8-bit bundle rimangono disponibili per i download più piccoli. int4 è stato decommesso per TTS qualità.

VoxCPM2 vs Qwen3-TTS · Confronto e metodologia di clonazione vocale a cinque lingue.

Pipeline

La sintesi vocale segue una pipeline a tre stadi:

1. Talker — Trasformatore a 28 strati che converte il testo in ingresso in token di primo codebook a 12.5 Hz
2. Code Predictor — Trasformatore a 5 strati che predice i rimanenti 15 codebooks dal primo codebook stati nascosti
3. Mimi Codec Decoder — Converte tutti i 16 token del codebook in una forma d'onda audio a 24 kHz

Architettura

Parlante

Il Talker è il modello core autoregressive che genera token codec da input di testo.

Codice Precisore

Un trasformatore a 5 strati leggero che prende gli stati nascosti dal primo codebook e prevede i rimanenti 15 codebooks in modo autoregressivo. Per la sintesi di un singolo-item, il loop fisso di 15 gruppi viene eseguito come un grafico compilato.

Decoder del codice Mimi

Il decoder Mimi converte i token codec quantizzati in audio:

1. RVQ decodifica (16 codebooks)
2. Pre-convoluzione (512 - 1024 canali)
3. Pre-trasformatore (1024 a 512 collo di bottiglia, 8 strati, SwiGLU + LayerScale)
4. Upsample (2x, 2x)
5. decoder SEANet (8x, 5x, 4x, 3x tappe di upsample)
6. Uscita della forma d'onda 24 kHz

Varianti di modello

Indietro di CoreML

CoreML esegue sei componenti compilati. Il completamento dipende dal pacchetto selezionato.

1. TextProjector — Progetti di testo token embeddings allo spazio nascosto condiviso
2. CodeEmbedder — Incorpora i token del primo codice e i token di controllo
3. MultiCodeEmbedder — Embeds tokens from codebooks 1–15
4. CodeDecoder — Trasformatore autoregressivo a 28 strati con cache KV senza stato (max 256 posizioni)
5. MultiCodeDecoder — Preventivo di codice a 5 strati per i codebook 1–15
6. SpeechDecoder — Mimi decoder codec, converte 16 token codebook a 24 kHz audio

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

Uso CLI

Generare il discorso dal testo:

.build/release/speech speak "Hello, world!" --output hello.wav

Opzioni

Esempi

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Streaming

Il --stream Invece di aspettare che l'intera emissione completa, l'audio viene emesso in pezzi come gettoni sono prodotti. --first-chunk-frames e --chunk-frames per controllare le dimensioni di ogni pezzo.

Modalità Batch

Per sintetizzare più pronunciamenti, utilizzare --batch-file con un file di testo contenente una riga per enunciazione. La bandiera --batch-size controlla quante espressioni vengono elaborate in parallelo.

Prestazioni

Su un M2 Max, Qwen3-TTS raggiunge un RTF (fattore in tempo reale) di circa 0,55, il che significa che genera un discorso più veloce del tempo reale. Con compile() warmup, ogni passo richiede circa 37 ms.

Lingue

Qwen3-TTS supporta la sintesi multilingue del testo-to-speech. Il modello rileva automaticamente la lingua d'ingresso e genera il discorso di conseguenza.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Fasci di sola locale

Utilizzare fromLocal quando l'app possiede l'acquisizione e lo storage del modello. Passare separatamente le principali directory TTS modello e word-tokenizer. La chiamata non risolve mai una cache o contatta la rete, e legge il pacchetto principale config.json prima di assegnare moduli MLX

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Diagnostica

Qwen3-TTS invia la diagnostica per il caricamento del modello e l'inferenza a AudioLog.modelLoading e AudioLog.inference invece di stdout o stderr. Conti, forme e tempi rimangono visibili; linguaggio e valori di altoparlante non sono mai ingressi privati, testo.