Qwen3-TTS

Qwen3-TTS e um modelo de linguagem codec de 12Hz com decodificador Mimi para sintese de texto para fala de alta qualidade. O modelo e quantizado em 4 bits e executa mais rapido que tempo real em Apple Silicon.

Pipeline

A sintese de fala segue um pipeline em tres etapas:

1. Talker — transformer de 28 camadas que converte texto de entrada em tokens do primeiro codebook a 12.5 Hz
2. Code Predictor — transformer de 5 camadas que preve os 15 codebooks restantes a partir dos hidden states do primeiro codebook
3. Decodificador Mimi Codec — converte todos os 16 tokens de codebook em uma forma de onda de audio a 24 kHz

Arquitetura

Talker

O Talker e o modelo autoregressivo central que gera tokens de codec a partir da entrada de texto.

Code Predictor

Um transformer leve de 5 camadas que recebe os hidden states do primeiro codebook e preve os 15 codebooks restantes em paralelo. Isso evita executar o Talker completo 16 vezes por passo.

Decodificador Mimi Codec

O decodificador Mimi converte tokens de codec quantizados de volta em audio:

1. Decodificacao RVQ (16 codebooks)
2. Pre-convolucao (512 para 1024 canais)
3. Pre-transformer (gargalo 1024 para 512, 8 camadas, SwiGLU + LayerScale)
4. Upsample (2x, 2x)
5. Decodificador SEANet (estagios de upsample 8x, 5x, 4x, 3x)
6. Saida de forma de onda a 24 kHz

Variantes do modelo

Backend CoreML

O backend CoreML executa o pipeline Qwen3-TTS completo na GPU via Core ML, permitindo implantacao em iOS e macOS sem dependencias de MLX. O modelo e dividido em 6 submodelos especializados, otimizados para a pilha de computacao da Apple:

1. TextProjector — projeta embeddings de tokens de texto para o espaco oculto compartilhado
2. CodeEmbedder — incorpora tokens do primeiro codebook e tokens de controle
3. MultiCodeEmbedder — incorpora tokens dos codebooks 1–15
4. CodeDecoder — transformer autoregressivo de 28 camadas com cache KV sem estado (maximo de 256 posicoes)
5. MultiCodeDecoder — code predictor de 5 camadas para os codebooks 1–15
6. SpeechDecoder — decodificador Mimi codec, converte 16 tokens de codebook em audio a 24 kHz

# Sintese CoreML
.build/release/audio speak "Hello, world!" --engine coreml -o hello.wav

# CoreML usa temperatura 0.8 por padrao (necessario para saida de qualidade)
.build/release/audio speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

Uso do CLI

Gere fala a partir de texto:

.build/release/audio speak "Hello, world!" --output hello.wav

Opcoes

Exemplos

# Sintese basica
.build/release/audio speak "The quick brown fox." -o fox.wav

# Saida em streaming
.build/release/audio speak "Long passage of text..." --stream -o stream.wav

# Sintese em lote a partir de arquivo
.build/release/audio speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Streaming

A flag --stream habilita saida de audio em chunks durante a geracao. Em vez de aguardar a conclusao do enunciado inteiro, o audio e emitido em chunks conforme os tokens sao produzidos. Use --first-chunk-frames e --chunk-frames para controlar o tamanho de cada chunk.

Modo batch

Para sintetizar varios enunciados, use --batch-file com um arquivo de texto contendo uma linha por enunciado. A flag --batch-size controla quantos enunciados sao processados em paralelo.

Desempenho

Em um M2 Max, o Qwen3-TTS alcanca um RTF (fator de tempo real) de aproximadamente 0.55, ou seja, gera fala mais rapido que tempo real. Com aquecimento via compile(), cada passo leva cerca de 37 ms.

Idiomas

Qwen3-TTS suporta sintese de texto para fala multilingue. O modelo detecta automaticamente o idioma de entrada e gera fala adequadamente.

API Swift

import Qwen3TTS

let model = try await Qwen3TTSModel.loadFromHub()
let audio = try await model.speak("Hello, world!")
try audio.write(to: "hello.wav")