VibeVoice

Microsoft VibeVoice — это модель синтеза речи для длинных форм и многих голосов, поддерживающая английский и китайский. В отличие от TTS для коротких реплик, она спроектирована, чтобы за один проход создавать диалоги длиной с подкаст, нарративы аудиокниг и сцены с несколькими спикерами — до 90 минут, до 4 разных голосов, с сохранением единой идентичности на всём отрезке. Доступны две версии: Realtime-0.5B для потокового режима с низкой задержкой и 1.5B для флагманского качества длинных форм.

Что это

• Длинная форма за один проход — до 90 минут аудио с согласованными голосами на всём выводе; без передачи между предложениями
• Многоголосый диалог — 4 разных спикера одновременно, каждый — со своим voice cache в качестве условия
• Английский + китайский — обучающие аудиоданные только EN/ZH; другие языки не поддерживаются (токенайзер их принимает, но вывод нечленораздельный)
• Моно-вывод 24 кГц — Float32 PCM, готов к подаче в AudioCommon.WAVWriter и СтримингAudioPlayer
• Лицензия MIT — веса модели и наш Swift-порт оба под MIT; INT4-квантованные производные разрешены

Архитектура

Четыре взаимодействующих компонента производят аудио по одному латенту 7,5 Гц за шаг:

Клонирование голоса через voice-cache

Личность спикера во время генерации не берётся из эталонной волны. Вместо этого каждый голос поставляется как заранее посчитанный .safetensors voice cache, содержащий условные KV-кэши и скрытые состояния для конкретного спикера — он создаётся офлайн, прогоняя эталонное аудио через энкодер. Загрузка voice cache в рантайме мгновенна; один экземпляр модели может дешево переключать голоса между генерациями.

Примеры voice cache (лицензия MIT): mzbac/vibevoice.swift/voice_cache — 7 английских голосов, включая Carter, Davis, Emma, Frank, Grace, Mike и Samuel с индийским акцентом.

Модель

Квантизация производится групповой аффинной квантизацией MLX (группа 32). Эмбеддинги, нормализации, свёртки acoustic-tokenizer и EOS-классификатор остаются в исходном dtype.

Быстрый старт

import VibeVoiceTTS

let tts = try await VibeVoiceTTSModel.fromPretrained()
try tts.loadVoice(from: "/path/to/voice_cache/en-Mike_man.safetensors")
let pcm = try await tts.generate(text: "Hello world.")
// pcm: [Float] at 24 kHz mono

Long-form 1.5B (different API)

1.5B has a different architecture (unified Qwen2 LM, dual encoders, LM token sampling) so it ships as a separate class — VibeVoice15BTTSModel. Reference audio + text go in a single call:

let tts = try await VibeVoice15BTTSModel.fromPretrained()
let pcm = try await tts.generate(
    text: "Long English script.",
    referenceAudio: refSamples,    // [Float] mono speech, any rate
    referenceTranscript: "",
    sampleRate: 24000
)

No voice cache needed — the model encodes the reference audio through both acoustic_tokenizer (64-dim) and semantic_tokenizer (128-dim, ASR-trained) and sums them at audio prompt positions. Generation runs LM token sampling branched on <speech_diffusion> / <speech_end> / text — diffuses an acoustic latent only when the LM emits the speech token.

ASR-verified on M2 Max INT4 (RTFx 1.48): for input "Hello world. This is the one point five billion VibeVoice variant of the Microsoft text to speech model.", Nemotron transcribed the output as "hello world, this is the one point five billion via voice variant of the microsoft texas speech model" — every content word matched, only acoustic substitutions are VibeVoice → via voice and text to → texas.

Смена голосов между генерациями

try tts.loadVoice(from: "en-Mike_man.safetensors")
let a = try await tts.generate(text: "First speaker line.")
try tts.loadVoice(from: "en-Emma_woman.safetensors")
let b = try await tts.generate(text: "Second speaker line.")

CLI

speech vibevoice "Hello world." \
    --voice-cache voice_cache/en-Mike_man.safetensors \
    --output hello.wav

# Длинная форма 1.5B
speech vibevoice "Long paragraph ..." \
    --long-form \
    --reference-audio reference_speech.wav \
    --reference-transcript "exact transcript of the reference" \
    --max-tokens 500 --steps 20 \
    --output episode.wav

Флаги: --steps (шаги DPM-Solver), --cfg (guidance), --model / --tokenizer для переопределения HuggingFace ID, --long-form для переключения на пресет 1.5B, --verbose — тайминги.

Выбор между TTS-модулями speech-swift