Automatische vertaling · Engels origineel

Qwen3-TTS

Qwen3-TTS is een 12Hz codec taalmodel met een Mimi decoder voor een hoogwaardige tekst-naar-spraak synthese. Het standaard MLX pad gebruikt nu de 1.7B Base bf16 bundel; 8-bit bundels blijven beschikbaar voor kleinere downloads. int4 werd ontmanteld voor TTS

VoxCPM2 vs Qwen3-TTS · Volledige vergelijking en methodologie met vijf talen.

Pijpleiding

De spraaksynthese volgt een drietrapspijplijn:

1. Talker ..28-layer transformator die inputtekst omzet in eerste codebook tokens op 12,5 Hz
2. Code Predictor .. 5-layer transformator die de resterende 15 codeboeken uit de eerste verborgen codeboektoestanden voorspelt
3. Mimi Codec Decoder Converteert alle 16 codebook tokens in een 24 kHz audio waveform

Architectuur

Spreker

De spreker is het core autoregressief model dat codec tokens genereert van tekstinvoer.

Code predicteur

Een lichtgewicht 5-laags transformator die de verborgen toestanden uit het eerste codeboek haalt en de resterende 15 codeboeken autoregressief voorspelt. Voor een enkele-item synthese, draait de vaste 15-groep loop als een gecompileerde grafiek.

Mimi Codec Decoder

De Mimi decoder zet gequantiseerde codec tokens terug in audio:

1. RVQ decoderen (16 codeboeken)
2. Preconcentratie (512 tot 1024 kanalen)
3. Voortransformator (1024 tot 512 knelpunt, 8 lagen, SwiGLU + Laagschaal)
4. Upsample (2x, 2x)
5. SEANet decoder (8x, 5x, 4x, 3x upsample stadia)
6. 24 kHz golfvorm uitgang

Model Varianten

CoreML Backend

CoreML draait zes gecompileerde componenten. Bereken plaatsing hangt af van de geselecteerde bundel.

1. TekstProjector
2. CodeEmbedder
3. MultiCodeEmbedder Inbedden tokens uit codeboeken 1–15
4. CodeDecoder andere 28-layer autoregressieve transformator met staatloze KV-cache (max 256 posities)
5. MultiCodeDecoder 5-layer-codevoorspeller voor codeboeken 1Z15
6. SpeechDecoder .. Mimi codec decoder, zet 16 codebook tokens om naar 24 kHz audio

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

CLI-gebruik

Spraak uit tekst genereren:

.build/release/speech speak "Hello, world!" --output hello.wav

Opties

Voorbeelden

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Streaming

De --stream vlag maakt afgehaspelde audio-uitvoer tijdens het aanmaken mogelijk. In plaats van te wachten tot de volledige uitroep voltooid is, wordt audio uitgezonden in brokken als tokens worden geproduceerd. Gebruik --first-chunk-frames en --chunk-frames om de grootte van elke brok te bepalen.

Partijmodus

Voor het synchroniseren van meerdere uitingen, gebruik --batch-file met een tekstbestand dat één regel per uitdrukking bevat. De --batch-size vlag bepaalt hoeveel uitingen parallel worden verwerkt.

Prestaties

Op een M2 Max, Qwen3-TTS bereikt een RTF (real-time factor) van ongeveer 0,55, wat betekent dat het spraak sneller genereert dan real-time. Met compile() warmingup duurt elke stap ongeveer 37 ms.

Talen

Qwen3-TTS ondersteunt meertalige tekst-tot-spraak synthese. Het model detecteert automatisch de invoertaal en genereert spraak dienovereenkomstig.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Alleen lokale bundels

Gebruik fromLocal wanneer uw app modelaanwinst en -opslag bezit. Geef het hoofdmodel TTS en spraak-tokenizer directories apart door. De call lost nooit een cache op of contact op met het netwerk en leest de config.json voordat MLX modules worden toegewezen.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Diagnostica

Qwen3-TTS stuurt modelladen en gevolgtrekkingendiagnostiek naar AudioLog.modelLoading en AudioLog.inference in plaats van stdout of stderr. Tellingen, vormen en timings blijven zichtbaar; door beller verstrekte taal- en luidsprekerwaarden zijn privé en invoertekst is nooit geregistreerd.