Maskinoversættelse · Engelsk original

Qwen3-TTS

Qwen3-TTS er et 12Hz codec sprogmodel med en Mimi dekoder til højkvalitets tekst- to- talesyntesse. Standard MLX sti bruger nu 1.7B Base bf16 bundt 8-bit bundter forbliver tilgængelige for mindre downloads. int4 blev nedlagt for TTS kvalitet.

VoxCPM2 vs Qwen3-TTS · Fuld 5-sprog stemme-kloning sammenligning og metodologi.

Pipeline

Talesyntesen følger en tretrins rørledning:

1. Oplæser - 28- layer transformer, der konverterer input tekst til første kodebog tokens på 12.5 Hz
2. Kode Forudsigelse - 5- lag transformer, der forudsiger de resterende 15 kodebøger fra den første kodebog skjulte stater
3. Mimi Codec Decoder - Konverterer alle 16 codebook tokens til en 24 kHz lydbølgeform

Arkitektur

Oplæser

Den Oplæser er den centrale autoregressive model, der genererer codec tokens fra tekst input.

Kode Forudsigelse

En letvægts 5- lag transformer, der tager de skjulte tilstande fra den første kodebog og forudsiger de resterende 15 kodebøger autoregressivt. For single- element syntese, den faste 15- gruppe loop kører som en kompileret graf.

Mimi Codec Decoder

Mimi dekoder konverterer kvantiseret codec tokens tilbage til lyd:

1. RVQ-dekode (16 kodebøger)
2. Præ- convolution (512 til 1024 kanaler)
3. Pre- transformer (1024 til 512 flaskehals, 8 lag, SwiGLU + LayerScale)
4. Upsampe (2x, 2x)
5. SEANET-dekoder (8x, 5x, 4x, 3x upsampe)
6. 24 kHz bølgeform output

Model Variants

CoreML backend

CoreML kører seks kompilerede komponenter. Compute placering afhænger af det valgte bundt.

1. Tekstprojektor - Projekter tekst token indlejringer til den delte skjulte rum
2. CodeEmbedder - Indlejringer første- codebook tokens og kontrol tokens
3. MultiCodeEmbedder - Indlejringer tokens fra kodebøger 1- 15
4. CodeDecoder - 28- layer autoregressiv transformator med statsløs KV cache (max 256 positioner)
5. MultiCodeDecoder - 5- layer code predictor for codebooks 1-15
6. SpeechDecoder - Mimi codec dekoder, konverterer 16 kodebook tokens til 24 kHz audio

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

CLI-brug

Generér tale ud fra tekst:

.build/release/speech speak "Hello, world!" --output hello.wav

Indstillinger

Eksempler

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Streaming

Den --stream flag gør det muligt chunked lyd output under generationen. I stedet for at vente på hele udsagn for at fuldføre, lyd er udsendt i stykker som tokens er produceret. --first-chunk-frames og --chunk-frames til at kontrollere størrelsen af hvert stykke.

Batchtilstand

Til syntetisering af flere ord, brug --batch-file med en tekstfil, der indeholder en linje pr. indlæg. --batch-size flag kontrollerer, hvor mange udtalelser der behandles parallelt.

Præstation

På et M2 Max, Qwen3-TTS opnår en RTF (realtidsfaktor) på cirka 0.55, hvilket betyder, at det genererer tale hurtigere end real- tid. compile() opvarmning, hvert trin tager omkring 37 ms.

Sprog

Qwen3-TTS understøtter flersproget tekst- to- tale syntese. Modellen registrerer automatisk inputsproget og genererer tale i overensstemmelse hermed.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Lokal-kun bundter

Anvendelse fromLocal når din app ejer model erhvervelse og opbevaring. Pass de vigtigste TTS model og speech- precizer mapper separat. Opkaldet aldrig løser en cache eller kontakter netværket, og læser de vigtigste bundt config.json inden tildeling af MLX-moduler.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Diagnostik

Qwen3-TTS sender model- loading og inferens diagnostik til AudioLog.modelLoading og AudioLog.inference i stedet for stdout eller stderr. Tæller, former og tidspunkter forbliver synlige; opkald-forudsat sprog og højttalerværdier er private, og input tekst er aldrig logget.