VibeVoice

Microsoft VibeVoice es un modelo de síntesis de voz de formato largo y múltiples hablantes para inglés y chino. A diferencia del TTS de enunciados cortos, está diseñado para generar diálogos de duración de podcast, narración de audiolibros y escenas multi-hablante en una sola pasada — hasta 90 minutos con hasta 4 voces distintas y una identidad consistente en toda la salida. Se distribuyen dos variantes: Realtime-0.5B para streaming de baja latencia y 1.5B para calidad insignia de formato largo.

Qué es

• Formato largo en una pasada — hasta 90 minutos de audio con voces consistentes en toda la salida; sin entregas por frase
• Diálogo multi-hablante — 4 hablantes distintos a la vez, cada uno condicionado por su propio voice cache
• Inglés + chino — los datos de entrenamiento de audio son solo EN/ZH; otros idiomas no son compatibles (el tokenizador los acepta pero la salida es ininteligible)
• Salida mono a 24 kHz — PCM Float32, listo para AudioCommon.WAVWriter y StreamingAudioPlayer
• Licencia MIT — los pesos del modelo y nuestro port a Swift son MIT; se permiten derivados cuantizados a INT4

Arquitectura

Cuatro componentes colaboran para producir audio un latente de 7.5 Hz a la vez:

Clonación de voz mediante voice-cache

La identidad del hablante no proviene de una forma de onda de referencia en el momento de la generación. En su lugar, cada voz se distribuye como un voice cache precalculado en .safetensors que contiene las cachés KV de condicionamiento y los estados ocultos para un hablante específico, producidos al ejecutar el audio de referencia por la ruta del codificador de forma offline. Cargar un voice cache es instantáneo en tiempo de ejecución; una instancia del modelo puede cambiar de voz a bajo coste entre generaciones.

Voice caches de ejemplo (licencia MIT): mzbac/vibevoice.swift/voice_cache — 7 voces en inglés que incluyen Carter, Davis, Emma, Frank, Grace, Mike y Samuel con acento indio.

Modelo

La cuantización la produce models/vibevoice/export/convert.py usando cuantización afín por grupos de MLX (grupo 32). Los embeddings, normalizaciones, convoluciones del acoustic-tokenizer y el clasificador EOS conservan su dtype original.

Inicio rápido

import VibeVoiceTTS

let tts = try await VibeVoiceTTSModel.fromPretrained()
try tts.loadVoice(from: "/path/to/voice_cache/en-Mike_man.safetensors")
let pcm = try await tts.generate(text: "Hello world.")
// pcm: [Float] at 24 kHz mono

Preset 1.5B de formato largo

let config = VibeVoiceTTSModel.Configuration.longForm1_5B
let tts = try await VibeVoiceTTSModel.fromPretrained(configuration: config)
try tts.loadVoice(from: "voices/narrator.safetensors")
let pcm = try await tts.generate(text: longTranscript)  // up to ~90 min

El preset longForm1_5B sube maxSpeechTokens a 4000 y cfgScale a 1.5 para una salida de formato largo de mayor fidelidad.

Intercambiar voces entre generaciones

try tts.loadVoice(from: "en-Mike_man.safetensors")
let a = try await tts.generate(text: "First speaker line.")
try tts.loadVoice(from: "en-Emma_woman.safetensors")
let b = try await tts.generate(text: "Second speaker line.")

CLI

audio vibevoice "Hello world." \
    --voice-cache voice_cache/en-Mike_man.safetensors \
    --output hello.wav

# Formato largo 1.5B
audio vibevoice "Long paragraph ..." \
    --voice-cache voices/narrator.safetensors \
    --long-form \
    --max-tokens 4000 \
    --output episode.wav

Flags: --steps (pasos del DPM-Solver), --cfg (guía), --model / --tokenizer para sobrescribir los IDs de HuggingFace, --long-form para cambiar al preset 1.5B, --verbose para tiempos.

Elegir entre los módulos TTS de speech-swift