Машинный перевод · Оригинал на английском
VibeVoice
Microsoft VibeVoice — это модель синтеза речи (TTS) для длинных форматов с несколькими говорящими, поддерживающая английский и китайский языки. В отличие от TTS для коротких фраз, она предназначена для генерации диалогов в формате подкастов, повествования аудиокниг и сцен с несколькими говорящими за один проход — до 90 минут с участием до 4 различных голосов при сохранении их идентичности на протяжении всего времени. Доступны две версии: Realtime-0.5B для потоковой передачи с низкой задержкой и 1.5B для высококачественного синтеза речи в длинных форматах.
Что это такое
- Длинная форма за один проход — до 90 минут аудио с последовательными голосами на протяжении всего вывода; без передачи по предложениям
- Диалог с несколькими говорящими — 4 отдельных говорящих одновременно, каждый из которых управляется своим собственным кэшем голоса
- Английский + Китайский — обучающие аудио данные только EN/ZH; другие языки не поддерживаются (токенизатор принимает их, но вывод непонятен)
- Выход 24 кГц моно — PCM с плавающей точкой Float32, drop-in для
AudioCommon.WAVWriterиStreamingAudioPlayer - MIT license — веса модели и наш порт на Swift оба распространяются по лицензии MIT; разрешены производные версии с квантованием INT4
Архитектура
Четыре cooperating компонента генерируют аудио по одному латентному значению 7,5 Гц за раз:
| Компонент | Описание |
|---|---|
| Разделить основной блок Qwen2 | 24-слойный декодер Qwen2.5 (896 скрытых, GQA 14/2 для Realtime-0.5B). Модель разделена: нижние 4 слоя образуют текстовую LM, верхние 20 слоев работают как TTS LM. Текстовые окна (5 токенов за раз) проходят через обе; сгенерированные латенты речи проходят только через TTS LM. |
| акустический токенизатор σ-VAE | Поток сверточных слоев, кодирующий аудио с частотой 24 кГц в латентное представление размерностью 64 измерения с частотой 7,5 Гц (временное сжатие 3200×) и декодирующий латенты обратно в звуковую волну. Используется как для создания кэша голоса, так и для финального декодирования аудио. |
| Голова диффузии | Маленькая головка DDPM с 4 слоями с модуляцией adaLN. Образует каждое скрытое представление речи через DPM-Solver за 20 шагов с классификацией без руководства (cfg = 1.3 по умолчанию для Realtime-0.5B, 1.5 для 1.5B). |
| Классификатор EOS | Бинарный классификатор на каждом шаге на последнем скрытом состоянии TTS LM. Когда вероятность сигмоиды превышает 0.5, генерация останавливается |
Языки
Согласно карточкам моделей Microsoft: Realtime-0.5B поддерживает только английский (верхний уровень демо поставляется с девятью голосовыми подсказками на не-английских языках как экспериментально; качество не гарантируется). 1.5B поддерживает английский и китайский; другие языки могут генерировать правдоподобно звучащую, но не верную аудиофайлы и должны рассматриваться как экспериментальные.
Идентичность голоса — два отдельных пути
Два варианта используют совершенно разные подходы к условию спикера, и каждый путь имеет ограничения, о которых стоит знать заранее.
Realtime-0.5B — предварительно созданные кэши голоса
Идентичность спикера берется из предвычисченного .safetensors кэша голосов, содержащего кэши KV conditioning и скрытые состояния для конкретного спикера. Загрузка кэша происходит мгновенно; один экземпляр модели может дешево менять голоса между генерациями.
Чекпоинт Realtime-0.5B распределен только для вывода — Microsoft не предоставляет акустический энкодер, поэтому кэши голосов не могут быть созданы из сырого аудио с помощью этой модели. Поддерживаемым источником является один из предварительно созданных .pt кэшей голосов Microsoft (Carter, Davis, Emma, Frank, Grace, Mike, Samuel для английского, плюс экспериментальные голоса de/fr/it/jp/kr/nl/pl), выровненные в .safetensors макет, который ожидает этот загрузчик.
1.5B для длинных форм — клонирование голоса из сырого аудио
Проверка точки 1.5B включает акустический энкодер, поэтому она может клонировать произвольного спикера из опорной волны + транскрипта за один проход. Кодирование встроен в каждый вызов синтеза — отдельного файла кэша голоса управлять не нужно.
speech vibevoice-encode-voice имеет шлюзCLI-интерфейс для создания офлайн-кэша голоса против Realtime-0.5B быстро завершится ошибкой с указанием на рабочий процесс 1.5B raw-audio, поскольку веса энкодера отсутствуют в контрольной точке 0.5B. Пока Microsoft не выпустит их, это единственный путь от начала до конца для клонирования кастомного спикера.
Модель
| Bundle | Квантование | Размер | HuggingFace |
|---|---|---|---|
| Realtime-0.5B | BF16 (источник) | ~1 ГБ | microsoft/VibeVoice-Realtime-0.5B |
| Realtime-0.5B INT4 | Qwen2 INT4, токенизатор + диффузия FP16 | ~350 МБ | aufklarer/VibeVoice-Realtime-0.5B-MLX-INT4 |
| Realtime-0.5B INT8 | Qwen2 INT8 | ~570 МБ | aufklarer/VibeVoice-Realtime-0.5B-MLX-INT8 |
| 1,5B для длинных форматов | BF16 (источник) | ~3 ГБ | говорящий/microsoft/VibeVoice-1.5B |
| 1.5B INT4 (производство) | Qwen2 INT4 + двойные энкодеры | ~1 ГБ | aufklarer/VibeVoice-1.5B-MLX-INT4 |
Квантование использует MLX аффинную групповую квантовку (32 группы). Вложения, нормы, свертки акустического токенизатора и классификатор EOS остаются в их исходном dtype.
Быстрый старт
import VibeVoiceTTS
let tts = try await VibeVoiceTTSModel.fromPretrained()
try tts.loadVoice(from: "/path/to/voice_cache/en-Mike_man.safetensors")
let pcm = try await tts.generate(text: "Hello world.")
// pcm: [Float] at 24 kHz mono
Длинноформатная 1.5B (другой API)
1.5B имеет другую архитектуру (единая Qwen2 LM, двойные энкодеры, выборка токенов LM), поэтому поставляется как отдельный класс — VibeVoice15BTTSModel. Аудио-референс + текст подаются в одном вызове:
let tts = try await VibeVoice15BTTSModel.fromPretrained()
let pcm = try await tts.generate(
text: "Long English script.",
referenceAudio: refSamples, // [Float] mono speech, any rate
referenceTranscript: "",
sampleRate: 24000
)
Кэш голоса не требуется — модель кодирует референсное аудио через acoustic_tokenizer (64-мерное) и semantic_tokenizer (128-мерное, обученное для ASR) и суммирует их в позициях аудио-запроса. Генерация работает с выборкой токенов LM, разветвленной на <speech_diffusion> / <speech_end> / текст — диффундирует акустический латент только тогда, когда LM издает токен речи.
Проверено ASR на M2 Max INT4 (RTFx 1.48): для входа "Hello world. This is the one point five billion VibeVoice variant of the Microsoft text to speech model." модель Nemotron транскрибировала выход как "hello world, this is the one point five billion via voice variant of the microsoft texas speech model" — каждое смысловое слово совпало, только акустические замены — это VibeVoice → via voice и text to → texas.
Меняйте голоса между генерациями
try tts.loadVoice(from: "en-Mike_man.safetensors")
let a = try await tts.generate(text: "First speaker line.")
try tts.loadVoice(from: "en-Emma_woman.safetensors")
let b = try await tts.generate(text: "Second speaker line.")
CLI
Realtime-0.5B с конвертированным кэшем голосов Microsoft (английский):
speech vibevoice "Hello world." \
--voice-cache voice_cache/en-Mike_man.safetensors \
--output hello.wav
1.5B длинная форма с необработанным аудио референса + транскриптом (клонирование произвольного спикера, английский или китайский):
speech vibevoice "Long paragraph ..." \
--long-form \
--reference-audio voice.wav \
--reference-transcript "what was actually said in voice.wav" \
--max-tokens 4000 \
--output episode.wav
Флаги: --steps (шаги DPM-Solver), --cfg (руководство), --model / --tokenizer для переопределения идентификаторов HuggingFace, --long-form для переключения на предустановку 1.5B, --verbose для тайминга.
Выбор среди модулей TTS speech-swift
| Kokoro-82M | Qwen3-TTS | CosyVoice3 | VibeVoice Realtime | VibeVoice 1.5B | |
|---|---|---|---|---|---|
| Параметры | 82M | 7B | 7B | 500M | 1,5 млрд |
| Backend | CoreML (ANE) | MLX | MLX | MLX | MLX |
| Языки | 8 | 10+ | 10+ | Только EN | EN + ZH |
| Клонирование голоса | Фиксированные пресеты | ICL reference | Ссылка без подгонки | Только предварительно созданные кэши голосов | Непрерывный аудио + транскрипт |
| Длинный формат | Короткий/средний | Потоковая передача | Потоковая передача | Потоковая передача | До 90 мин / 4 спикера |
…вам нужен длинноформатный, многоспикерный или подкаст/аудиокнига вывод на английском или китайском, с последовательной идентичностью голоса на протяжении минут аудио. Для короткоформатного многоязычного TTS Qwen3-TTS или CosyVoice3 лучше подходят. Для iOS-нативных коротких фраз Kokoro — самый маленький вариант.