VibeVoice

Microsoft VibeVoice es un modelo de síntesis de voz de formato largo y múltiples hablantes para inglés y chino. A diferencia del TTS de enunciados cortos, está diseñado para generar diálogos de duración de podcast, narración de audiolibros y escenas multi-hablante en una sola pasada — hasta 90 minutos con hasta 4 voces distintas y una identidad consistente en toda la salida. Se distribuyen dos variantes: Realtime-0.5B para streaming de baja latencia y 1.5B para calidad insignia de formato largo.

Qué es

• Formato largo en una pasada — hasta 90 minutos de audio con voces consistentes en toda la salida; sin entregas por frase
• Diálogo multi-hablante — 4 hablantes distintos a la vez, cada uno condicionado por su propio voice cache
• Inglés + chino — los datos de entrenamiento de audio son solo EN/ZH; otros idiomas no son compatibles (el tokenizador los acepta pero la salida es ininteligible)
• Salida mono a 24 kHz — PCM Float32, listo para AudioCommon.WAVWriter y StreamingAudioPlayer
• Licencia MIT — los pesos del modelo y nuestro port a Swift son MIT; se permiten derivados cuantizados a INT4

Arquitectura

Cuatro componentes colaboran para producir audio un latente de 7.5 Hz a la vez:

Clonación de voz mediante voice-cache

La identidad del hablante no proviene de una forma de onda de referencia en el momento de la generación. En su lugar, cada voz se distribuye como un voice cache precalculado en .safetensors que contiene las cachés KV de condicionamiento y los estados ocultos para un hablante específico, producidos al ejecutar el audio de referencia por la ruta del codificador de forma offline. Cargar un voice cache es instantáneo en tiempo de ejecución; una instancia del modelo puede cambiar de voz a bajo coste entre generaciones.

Voice caches de ejemplo (licencia MIT): mzbac/vibevoice.swift/voice_cache — 7 voces en inglés que incluyen Carter, Davis, Emma, Frank, Grace, Mike y Samuel con acento indio.

Modelo

La cuantización usa cuantización afín por grupos de MLX (grupo 32). Los embeddings, normalizaciones, convoluciones del acoustic-tokenizer y el clasificador EOS conservan su dtype original.

Inicio rápido

import VibeVoiceTTS

let tts = try await VibeVoiceTTSModel.fromPretrained()
try tts.loadVoice(from: "/path/to/voice_cache/en-Mike_man.safetensors")
let pcm = try await tts.generate(text: "Hello world.")
// pcm: [Float] at 24 kHz mono

Long-form 1.5B (different API)

1.5B has a different architecture (unified Qwen2 LM, dual encoders, LM token sampling) so it ships as a separate class — VibeVoice15BTTSModel. Reference audio + text go in a single call:

let tts = try await VibeVoice15BTTSModel.fromPretrained()
let pcm = try await tts.generate(
    text: "Long English script.",
    referenceAudio: refSamples,    // [Float] mono speech, any rate
    referenceTranscript: "",
    sampleRate: 24000
)

No voice cache needed — the model encodes the reference audio through both acoustic_tokenizer (64-dim) and semantic_tokenizer (128-dim, ASR-trained) and sums them at audio prompt positions. Generation runs LM token sampling branched on <speech_diffusion> / <speech_end> / text — diffuses an acoustic latent only when the LM emits the speech token.

ASR-verified on M2 Max INT4 (RTFx 1.48): for input "Hello world. This is the one point five billion VibeVoice variant of the Microsoft text to speech model.", Nemotron transcribed the output as "hello world, this is the one point five billion via voice variant of the microsoft texas speech model" — every content word matched, only acoustic substitutions are VibeVoice → via voice and text to → texas.

Intercambiar voces entre generaciones

try tts.loadVoice(from: "en-Mike_man.safetensors")
let a = try await tts.generate(text: "First speaker line.")
try tts.loadVoice(from: "en-Emma_woman.safetensors")
let b = try await tts.generate(text: "Second speaker line.")

CLI

speech vibevoice "Hello world." \
    --voice-cache voice_cache/en-Mike_man.safetensors \
    --output hello.wav

# Formato largo 1.5B
speech vibevoice "Long paragraph ..." \
    --long-form \
    --reference-audio reference_speech.wav \
    --reference-transcript "exact transcript of the reference" \
    --max-tokens 500 --steps 20 \
    --output episode.wav

Flags: --steps (pasos del DPM-Solver), --cfg (guía), --model / --tokenizer para sobrescribir los IDs de HuggingFace, --long-form para cambiar al preset 1.5B, --verbose para tiempos.

Elegir entre los módulos TTS de speech-swift