Qwen3-TTS

Qwen3-TTS e um modelo de linguagem codec de 12Hz com decodificador Mimi para sintese de texto para fala de alta qualidade. O caminho MLX padrao agora usa o pacote 1.7B Base bf16; pacotes 8-bit continuam disponiveis para downloads menores. int4 foi descontinuado por qualidade de TTS.

Pipeline

A sintese de fala segue um pipeline em tres etapas:

1. Talker — transformer de 28 camadas que converte texto de entrada em tokens do primeiro codebook a 12.5 Hz
2. Code Predictor — transformer de 5 camadas que preve os 15 codebooks restantes a partir dos hidden states do primeiro codebook
3. Decodificador Mimi Codec — converte todos os 16 tokens de codebook em uma forma de onda de audio a 24 kHz

Arquitetura

Talker

O Talker e o modelo autoregressivo central que gera tokens de codec a partir da entrada de texto.

Code Predictor

Um transformer leve de 5 camadas que recebe os hidden states do primeiro codebook e preve os 15 codebooks restantes em paralelo. Isso evita executar o Talker completo 16 vezes por passo.

Decodificador Mimi Codec

O decodificador Mimi converte tokens de codec quantizados de volta em audio:

1. Decodificacao RVQ (16 codebooks)
2. Pre-convolucao (512 para 1024 canais)
3. Pre-transformer (gargalo 1024 para 512, 8 camadas, SwiGLU + LayerScale)
4. Upsample (2x, 2x)
5. Decodificador SEANet (estagios de upsample 8x, 5x, 4x, 3x)
6. Saida de forma de onda a 24 kHz

Variantes do modelo

Backend CoreML

CoreML executa seis componentes compilados. O dispositivo de cálculo depende do pacote selecionado.

1. TextProjector — projeta embeddings de tokens de texto para o espaco oculto compartilhado
2. CodeEmbedder — incorpora tokens do primeiro codebook e tokens de controle
3. MultiCodeEmbedder — incorpora tokens dos codebooks 1–15
4. CodeDecoder — transformer autoregressivo de 28 camadas com cache KV sem estado (maximo de 256 posicoes)
5. MultiCodeDecoder — code predictor de 5 camadas para os codebooks 1–15
6. SpeechDecoder — decodificador Mimi codec, converte 16 tokens de codebook em audio a 24 kHz

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

Uso do CLI

Gere fala a partir de texto:

.build/release/speech speak "Hello, world!" --output hello.wav

Opcoes

Exemplos

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Streaming

A flag --stream habilita saida de audio em chunks durante a geracao. Em vez de aguardar a conclusao do enunciado inteiro, o audio e emitido em chunks conforme os tokens sao produzidos. Use --first-chunk-frames e --chunk-frames para controlar o tamanho de cada chunk.

Modo batch

Para sintetizar varios enunciados, use --batch-file com um arquivo de texto contendo uma linha por enunciado. A flag --batch-size controla quantos enunciados sao processados em paralelo.

Desempenho

Em um M2 Max, o Qwen3-TTS alcanca um RTF (fator de tempo real) de aproximadamente 0.55, ou seja, gera fala mais rapido que tempo real. Com aquecimento via compile(), cada passo leva cerca de 37 ms.

Idiomas

Qwen3-TTS suporta sintese de texto para fala multilingue. O modelo detecta automaticamente o idioma de entrada e gera fala adequadamente.

API Swift

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Bundles apenas locais

Use fromLocal quando o app controlar a aquisição e o armazenamento do modelo. Informe separadamente os diretórios do modelo TTS principal e do tokenizador de fala. A chamada não resolve cache nem acessa a rede e lê o config.json do bundle principal antes de alocar módulos MLX.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Diagnóstico

O Qwen3-TTS envia os diagnósticos de carregamento do modelo e inferência para AudioLog.modelLoading e AudioLog.inference, em vez de stdout ou stderr. Contagens, formas e tempos permanecem visíveis; os valores de idioma e locutor fornecidos pelo chamador ficam privados e o texto de entrada nunca é registrado.