Qwen3-TTS

Qwen3-TTS는 고품질 텍스트 음성 합성을 위한 Mimi 디코더 기반 12Hz 코덱 언어 모델입니다. 기본 MLX 경로는 이제 1.7B Base bf16 번들을 사용하며, 더 작은 다운로드가 필요하면 8-bit 번들도 사용할 수 있습니다. int4는 TTS 품질 문제로 중단되었습니다.

파이프라인

음성 합성은 3단계 파이프라인을 따릅니다:

1. Talker — 입력 텍스트를 12.5 Hz로 첫 번째 코드북 토큰으로 변환하는 28 레이어 트랜스포머
2. Code Predictor — 첫 번째 코드북 은닉 상태로부터 나머지 15개 코드북을 예측하는 5 레이어 트랜스포머
3. Mimi Codec Decoder — 16개 코드북 토큰을 모두 24 kHz 오디오 파형으로 변환

아키텍처

Talker

Talker는 텍스트 입력으로부터 코덱 토큰을 생성하는 핵심 자동 회귀 모델입니다.

Code Predictor

첫 번째 코드북의 은닉 상태를 받아 나머지 15개 코드북을 병렬로 예측하는 경량 5 레이어 트랜스포머입니다. 이로써 스텝당 전체 Talker를 16번 실행하는 것을 피할 수 있습니다.

Mimi Codec Decoder

Mimi 디코더는 양자화된 코덱 토큰을 다시 오디오로 변환합니다:

1. RVQ 디코드 (16 코드북)
2. Pre-convolution (512 → 1024 채널)
3. Pre-transformer (1024 → 512 병목, 8 레이어, SwiGLU + LayerScale)
4. 업샘플 (2x, 2x)
5. SEANet 디코더 (8x, 5x, 4x, 3x 업샘플 단계)
6. 24 kHz 파형 출력

모델 변형

CoreML 백엔드

CoreML은 컴파일된 구성 요소 6개를 실행합니다. 연산 장치는 선택한 번들에 따라 달라집니다.

1. TextProjector — 텍스트 토큰 임베딩을 공유 은닉 공간으로 투영
2. CodeEmbedder — 첫 번째 코드북 토큰과 제어 토큰을 임베딩
3. MultiCodeEmbedder — 1–15번 코드북의 토큰을 임베딩
4. CodeDecoder — 무상태 KV 캐시(최대 256 위치)를 갖는 28 레이어 자동 회귀 트랜스포머
5. MultiCodeDecoder — 1–15번 코드북용 5 레이어 코드 프레딕터
6. SpeechDecoder — Mimi 코덱 디코더, 16개 코드북 토큰을 24 kHz 오디오로 변환

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

CLI 사용법

텍스트로부터 음성 생성:

.build/release/speech speak "Hello, world!" --output hello.wav

옵션

예제

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

스트리밍

--stream 플래그는 생성 중 청크 단위 오디오 출력을 활성화합니다. 전체 발화가 완료될 때까지 기다리는 대신, 토큰이 생성되는 대로 오디오가 청크로 방출됩니다. 각 청크의 크기를 제어하려면 --first-chunk-frames와 --chunk-frames를 사용하세요.

배치 모드

여러 발화를 합성하려면 한 줄당 하나의 발화를 포함한 텍스트 파일과 함께 --batch-file을 사용하세요. --batch-size 플래그는 병렬로 처리되는 발화 수를 제어합니다.

성능

M2 Max에서 Qwen3-TTS는 약 0.55의 RTF(실시간 대비 속도)를 달성하며, 이는 실시간보다 빠르게 음성을 생성한다는 것을 의미합니다. compile() 워밍업을 사용하면 각 스텝은 약 37 ms가 소요됩니다.

언어

Qwen3-TTS는 다언어 텍스트-음성 합성을 지원합니다. 모델은 입력 언어를 자동으로 감지하여 그에 맞게 음성을 생성합니다.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

로컬 전용 번들

앱이 모델 획득과 저장을 직접 관리할 때는 fromLocal을 사용하세요. 기본 TTS 모델과 음성 토크나이저 디렉터리를 따로 전달합니다. 이 호출은 캐시를 해석하거나 네트워크에 연결하지 않으며, MLX 모듈을 할당하기 전에 기본 번들의 config.json을 읽습니다.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

진단

Qwen3-TTS는 모델 로딩 및 추론 진단을 stdout이나 stderr 대신 AudioLog.modelLoading과 AudioLog.inference로 보냅니다. 개수, 형상, 시간 정보는 표시되지만 호출자가 제공한 언어와 화자 값은 비공개로 유지되며 입력 텍스트는 기록되지 않습니다.