Машинный перевод · Оригинал на английском

VibeVoice

Microsoft VibeVoice — это модель синтеза речи (TTS) для длинных форматов с несколькими говорящими, поддерживающая английский и китайский языки. В отличие от TTS для коротких фраз, она предназначена для генерации диалогов в формате подкастов, повествования аудиокниг и сцен с несколькими говорящими за один проход — до 90 минут с участием до 4 различных голосов при сохранении их идентичности на протяжении всего времени. Доступны две версии: Realtime-0.5B для потоковой передачи с низкой задержкой и 1.5B для высококачественного синтеза речи в длинных форматах.

Что это такое

Архитектура

Четыре cooperating компонента генерируют аудио по одному латентному значению 7,5 Гц за раз:

КомпонентОписание
Разделить основной блок Qwen224-слойный декодер Qwen2.5 (896 скрытых, GQA 14/2 для Realtime-0.5B). Модель разделена: нижние 4 слоя образуют текстовую LM, верхние 20 слоев работают как TTS LM. Текстовые окна (5 токенов за раз) проходят через обе; сгенерированные латенты речи проходят только через TTS LM.
акустический токенизатор σ-VAEПоток сверточных слоев, кодирующий аудио с частотой 24 кГц в латентное представление размерностью 64 измерения с частотой 7,5 Гц (временное сжатие 3200×) и декодирующий латенты обратно в звуковую волну. Используется как для создания кэша голоса, так и для финального декодирования аудио.
Голова диффузииМаленькая головка DDPM с 4 слоями с модуляцией adaLN. Образует каждое скрытое представление речи через DPM-Solver за 20 шагов с классификацией без руководства (cfg = 1.3 по умолчанию для Realtime-0.5B, 1.5 для 1.5B).
Классификатор EOSБинарный классификатор на каждом шаге на последнем скрытом состоянии TTS LM. Когда вероятность сигмоиды превышает 0.5, генерация останавливается

Языки

Согласно карточкам моделей Microsoft: Realtime-0.5B поддерживает только английский (верхний уровень демо поставляется с девятью голосовыми подсказками на не-английских языках как экспериментально; качество не гарантируется). 1.5B поддерживает английский и китайский; другие языки могут генерировать правдоподобно звучащую, но не верную аудиофайлы и должны рассматриваться как экспериментальные.

Идентичность голоса — два отдельных пути

Два варианта используют совершенно разные подходы к условию спикера, и каждый путь имеет ограничения, о которых стоит знать заранее.

Realtime-0.5B — предварительно созданные кэши голоса

Идентичность спикера берется из предвычисченного .safetensors кэша голосов, содержащего кэши KV conditioning и скрытые состояния для конкретного спикера. Загрузка кэша происходит мгновенно; один экземпляр модели может дешево менять голоса между генерациями.

Чекпоинт Realtime-0.5B распределен только для вывода — Microsoft не предоставляет акустический энкодер, поэтому кэши голосов не могут быть созданы из сырого аудио с помощью этой модели. Поддерживаемым источником является один из предварительно созданных .pt кэшей голосов Microsoft (Carter, Davis, Emma, Frank, Grace, Mike, Samuel для английского, плюс экспериментальные голоса de/fr/it/jp/kr/nl/pl), выровненные в .safetensors макет, который ожидает этот загрузчик.

1.5B для длинных форм — клонирование голоса из сырого аудио

Проверка точки 1.5B включает акустический энкодер, поэтому она может клонировать произвольного спикера из опорной волны + транскрипта за один проход. Кодирование встроен в каждый вызов синтеза — отдельного файла кэша голоса управлять не нужно.

FYI: speech vibevoice-encode-voice имеет шлюз

CLI-интерфейс для создания офлайн-кэша голоса против Realtime-0.5B быстро завершится ошибкой с указанием на рабочий процесс 1.5B raw-audio, поскольку веса энкодера отсутствуют в контрольной точке 0.5B. Пока Microsoft не выпустит их, это единственный путь от начала до конца для клонирования кастомного спикера.

Модель

BundleКвантованиеРазмерHuggingFace
Realtime-0.5BBF16 (источник)~1 ГБmicrosoft/VibeVoice-Realtime-0.5B
Realtime-0.5B INT4Qwen2 INT4, токенизатор + диффузия FP16~350 МБaufklarer/VibeVoice-Realtime-0.5B-MLX-INT4
Realtime-0.5B INT8Qwen2 INT8~570 МБaufklarer/VibeVoice-Realtime-0.5B-MLX-INT8
1,5B для длинных форматовBF16 (источник)~3 ГБговорящий/microsoft/VibeVoice-1.5B
1.5B INT4 (производство)Qwen2 INT4 + двойные энкодеры~1 ГБaufklarer/VibeVoice-1.5B-MLX-INT4

Квантование использует MLX аффинную групповую квантовку (32 группы). Вложения, нормы, свертки акустического токенизатора и классификатор EOS остаются в их исходном dtype.

Быстрый старт

import VibeVoiceTTS

let tts = try await VibeVoiceTTSModel.fromPretrained()
try tts.loadVoice(from: "/path/to/voice_cache/en-Mike_man.safetensors")
let pcm = try await tts.generate(text: "Hello world.")
// pcm: [Float] at 24 kHz mono

Длинноформатная 1.5B (другой API)

1.5B имеет другую архитектуру (единая Qwen2 LM, двойные энкодеры, выборка токенов LM), поэтому поставляется как отдельный класс — VibeVoice15BTTSModel. Аудио-референс + текст подаются в одном вызове:

let tts = try await VibeVoice15BTTSModel.fromPretrained()
let pcm = try await tts.generate(
    text: "Long English script.",
    referenceAudio: refSamples,    // [Float] mono speech, any rate
    referenceTranscript: "",
    sampleRate: 24000
)

Кэш голоса не требуется — модель кодирует референсное аудио через acoustic_tokenizer (64-мерное) и semantic_tokenizer (128-мерное, обученное для ASR) и суммирует их в позициях аудио-запроса. Генерация работает с выборкой токенов LM, разветвленной на <speech_diffusion> / <speech_end> / текст — диффундирует акустический латент только тогда, когда LM издает токен речи.

Проверено ASR на M2 Max INT4 (RTFx 1.48): для входа "Hello world. This is the one point five billion VibeVoice variant of the Microsoft text to speech model." модель Nemotron транскрибировала выход как "hello world, this is the one point five billion via voice variant of the microsoft texas speech model" — каждое смысловое слово совпало, только акустические замены — это VibeVoice → via voice и text to → texas.

Меняйте голоса между генерациями

try tts.loadVoice(from: "en-Mike_man.safetensors")
let a = try await tts.generate(text: "First speaker line.")
try tts.loadVoice(from: "en-Emma_woman.safetensors")
let b = try await tts.generate(text: "Second speaker line.")

CLI

Realtime-0.5B с конвертированным кэшем голосов Microsoft (английский):

speech vibevoice "Hello world." \
    --voice-cache voice_cache/en-Mike_man.safetensors \
    --output hello.wav

1.5B длинная форма с необработанным аудио референса + транскриптом (клонирование произвольного спикера, английский или китайский):

speech vibevoice "Long paragraph ..." \
    --long-form \
    --reference-audio voice.wav \
    --reference-transcript "what was actually said in voice.wav" \
    --max-tokens 4000 \
    --output episode.wav

Флаги: --steps (шаги DPM-Solver), --cfg (руководство), --model / --tokenizer для переопределения идентификаторов HuggingFace, --long-form для переключения на предустановку 1.5B, --verbose для тайминга.

Выбор среди модулей TTS speech-swift

Kokoro-82MQwen3-TTSCosyVoice3VibeVoice RealtimeVibeVoice 1.5B
Параметры82M7B7B500M1,5 млрд
BackendCoreML (ANE)MLXMLXMLXMLX
Языки810+10+Только ENEN + ZH
Клонирование голосаФиксированные пресетыICL referenceСсылка без подгонкиТолько предварительно созданные кэши голосовНепрерывный аудио + транскрипт
Длинный форматКороткий/среднийПотоковая передачаПотоковая передачаПотоковая передачаДо 90 мин / 4 спикера
Выбирайте VibeVoice, когда…

…вам нужен длинноформатный, многоспикерный или подкаст/аудиокнига вывод на английском или китайском, с последовательной идентичностью голоса на протяжении минут аудио. Для короткоформатного многоязычного TTS Qwen3-TTS или CosyVoice3 лучше подходят. Для iOS-нативных коротких фраз Kokoro — самый маленький вариант.