VibeVoice

Microsoft VibeVoice é um modelo de síntese de fala de formato longo e multi-locutor para inglês e chinês. Ao contrário de TTS de enunciados curtos, foi projetado para gerar diálogos de duração de podcast, narração de audiolivros e cenas multi-locutor em uma única passagem — até 90 minutos, com até 4 vozes distintas e identidade consistente em toda a saída. Duas variantes são distribuídas: Realtime-0.5B para streaming de baixa latência e 1.5B para qualidade carro-chefe em formato longo.

O que é

• Formato longo em uma passagem — até 90 minutos de áudio com vozes consistentes em toda a saída; sem entregas frase a frase
• Diálogo multi-locutor — 4 locutores distintos ao mesmo tempo, cada um condicionado pelo seu próprio voice cache
• Inglês + chinês — os dados de áudio de treino são apenas EN/ZH; outros idiomas não são suportados (o tokenizer os aceita, mas a saída é ininteligível)
• Saída mono em 24 kHz — PCM Float32, pronto para AudioCommon.WAVWriter e StreamingAudioPlayer
• Licença MIT — os pesos do modelo e a nossa porta para Swift são ambos MIT; derivados quantizados em INT4 são permitidos

Arquitetura

Quatro componentes cooperam para produzir áudio um latente de 7,5 Hz por vez:

Clonagem de voz via voice-cache

A identidade do locutor não vem de uma forma de onda de referência no momento da geração. Em vez disso, cada voz é distribuída como um voice cache pré-calculado em .safetensors contendo os caches KV de condicionamento e os estados ocultos para um locutor específico — produzidos ao executar o áudio de referência pelo caminho do encoder offline. Carregar um voice cache é instantâneo em runtime; uma instância do modelo pode trocar de voz a baixo custo entre gerações.

Voice caches de exemplo (licença MIT): mzbac/vibevoice.swift/voice_cache — 7 vozes em inglês, incluindo Carter, Davis, Emma, Frank, Grace, Mike e Samuel com sotaque indiano.

Modelo

A quantização usa quantização afim por grupos do MLX (grupo 32). Embeddings, normalizações, convoluções do acoustic-tokenizer e o classificador EOS mantêm o dtype original.

Início rápido

import VibeVoiceTTS

let tts = try await VibeVoiceTTSModel.fromPretrained()
try tts.loadVoice(from: "/path/to/voice_cache/en-Mike_man.safetensors")
let pcm = try await tts.generate(text: "Hello world.")
// pcm: [Float] at 24 kHz mono

Long-form 1.5B (different API)

1.5B has a different architecture (unified Qwen2 LM, dual encoders, LM token sampling) so it ships as a separate class — VibeVoice15BTTSModel. Reference audio + text go in a single call:

let tts = try await VibeVoice15BTTSModel.fromPretrained()
let pcm = try await tts.generate(
    text: "Long English script.",
    referenceAudio: refSamples,    // [Float] mono speech, any rate
    referenceTranscript: "",
    sampleRate: 24000
)

No voice cache needed — the model encodes the reference audio through both acoustic_tokenizer (64-dim) and semantic_tokenizer (128-dim, ASR-trained) and sums them at audio prompt positions. Generation runs LM token sampling branched on <speech_diffusion> / <speech_end> / text — diffuses an acoustic latent only when the LM emits the speech token.

ASR-verified on M2 Max INT4 (RTFx 1.48): for input "Hello world. This is the one point five billion VibeVoice variant of the Microsoft text to speech model.", Nemotron transcribed the output as "hello world, this is the one point five billion via voice variant of the microsoft texas speech model" — every content word matched, only acoustic substitutions are VibeVoice → via voice and text to → texas.

Trocar vozes entre gerações

try tts.loadVoice(from: "en-Mike_man.safetensors")
let a = try await tts.generate(text: "First speaker line.")
try tts.loadVoice(from: "en-Emma_woman.safetensors")
let b = try await tts.generate(text: "Second speaker line.")

CLI

speech vibevoice "Hello world." \
    --voice-cache voice_cache/en-Mike_man.safetensors \
    --output hello.wav

# Formato longo 1.5B
speech vibevoice "Long paragraph ..." \
    --long-form \
    --reference-audio reference_speech.wav \
    --reference-transcript "exact transcript of the reference" \
    --max-tokens 500 --steps 20 \
    --output episode.wav

Flags: --steps (passos do DPM-Solver), --cfg (guidance), --model / --tokenizer para substituir IDs do HuggingFace, --long-form para alternar para a predefinição 1.5B, --verbose para tempos.

Escolhendo entre os módulos TTS do speech-swift