Tłumaczenie automatyczne · Oryginał angielski

Qwen3-TTS

Qwen3-TTS jest 12Model języka kodekowego Hz z Mimi dekoder do syntezy tekstowej o wysokiej jakości. Domyślna MLX ścieżka teraz używa 1.7B Podstawa bf16 pakunek; 8-bit pakiety pozostają dostępne dla mniejszych pobrań. int4 został wycofany z eksploatacji TTS jakość.

VoxCPM2 vs Qwen3-TTS · Pełne porównanie i metodologia klonowania głosu w pięciu językach.

Pipeline

Synteza mowy następuje po trójstopniowym rurociągu:

1. Rozmowa - 28- warstwa transformator, który konwertuje tekst wejściowy do pierwszego tokena kodebook na 12.5 Hz
2. Przewidywacz kodu - 5- warstwa transformator, który przewiduje pozostałe kodebook 15 z pierwszych ukrytych stanów kodebooka
3. Dekoder kodekowy Mimi - Konwertuje wszystkie znaczniki kodowe 16 na falę audio 24 kHz

Architektura

Rozmowa

Talker jest podstawowym autoregresywnym modelem generującym żetony kodekowe z wejścia tekstowego.

Przewidywacz kodu

Lekki transformator 5 warstw, który pobiera ukryte stany z pierwszego kodebook i przewiduje pozostałe 15 kodebooków autoregresywnie. Dla syntezy pojedynczych elementów, stała pętla 15-grupowa działa jako jeden skompilowany wykres.

Dekoder kodekowy Mimi

Dekoder Mimi konwertuje kwantyfikowane żetony kodekowe z powrotem na dźwięk:

1. Dekodowanie RVQ (16 książek kodowych)
2. Pre- konvolution (512 do 1024 kanałów)
3. Przedtransformator (1024 do 512 wąskich gardeł, 8 warstw, SwiGLU + LayerScale)
4. Upload (2x, 2x)
5. Dekoder SEANET (8x, 5x, 4x, 3x do góry próbki)
6. Wyjście z formy falowej 24 kHz

Warianty modelu

Wtyczka CoreML

CoreML uruchamia sześć skompilowanych komponentów. Obliczanie miejsca zależy od wybranego pakietu.

1. TextProjector - Projects text token embeddings to the share hidden space
2. CodeEmbedder - Wszywki pierwszy-kodebook żetony i żetony kontrolne
3. MultiCodeEmbedder - Zamieść żetony z książek kodowych 1- 15
4. CodeDecode - 28- warstwa transformatora autoregresywnego z bezpaństwowym pamięci podręcznej KV (max 256 pozycje)
5. MultiCodeDecode - 5- predykator kodów dla książek kodowych 1-15
6. Dekoder mowy - dekoder kodekowy Mimi, konwertuje znaczniki kodowe 16 na audio 24 kHz

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

Zastosowanie CLI

Generuj mowę z tekstu:

.build/release/speech speak "Hello, world!" --output hello.wav

Opcje

Przykłady

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Strumieniowanie

W --stream flaga umożliwia odłamek wyjścia audio podczas generacji. Zamiast czekać na zakończenie całego wykładu, audio jest emitowane w kawałkach, jak żetony są produkowane. --first-chunk-frames oraz --chunk-frames do kontrolowania wielkości każdego kawałka.

Tryb partii

Do syntezy wielu wyrazów, użyj --batch-file z pliku tekstowego zawierającego jedną linię na wymowę. --batch-size flaga kontroluje, ile słów jest przetwarzanych równolegle.

Wydajność

Na M2 Max, Qwen3-TTS osiąga RTF (czynnik czasu rzeczywistego) w przybliżeniu 0.55, co oznacza, że generuje mowę szybciej niż w czasie rzeczywistym. compile() rozgrzewka, każdy krok zajmuje około 37 ms.

Języki

Qwen3-TTS obsługuje wielojęzyczną syntezę text- to- mowy. Model automatycznie wykrywa język wejścia i generuje odpowiednio mowę.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Paczki tylko lokalne

Stosowanie fromLocal kiedy aplikacja posiada nabywanie i przechowywanie modeli. Prześlij główny model TTS i przemówień oddzielnie. config.json przed przydzieleniem modułów MLX.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Diagnostyka

Qwen3-TTS wysyła diagnostykę obciążenia modelami i wniosków do AudioLog.modelLoading oraz AudioLog.inference zamiast stdout lub stderr. Liczenia, kształty i czas pozostają widoczne; pod warunkiem, że język dzwoniący i głośniki są prywatne, a tekst wejściowy nigdy nie jest zalogowany.