VibeVoice

Microsoft VibeVoice ist ein Langform-/Multi-Speaker-TTS-Modell für Englisch und Chinesisch. Anders als TTS für kurze Äußerungen ist es darauf ausgelegt, podcastlange Dialoge, Hörbuchnarration und Multi-Speaker-Szenen in einem einzigen Durchgang zu erzeugen — bis zu 90 Minuten mit bis zu 4 verschiedenen Stimmen und durchgängig konsistenter Identität. Zwei Varianten sind verfügbar: Realtime-0.5B für latenzarmes Streaming und 1.5B für Flaggschiff-Qualität in Langform.

Was es ist

• Langform in einem Durchgang — bis zu 90 Minuten Audio mit konsistenten Stimmen über die gesamte Ausgabe; keine Übergabe pro Satz
• Multi-Speaker-Dialog — 4 verschiedene Sprecher gleichzeitig, jeder konditioniert durch seinen eigenen Voice-Cache
• Englisch + Chinesisch — die Trainings-Audiodaten sind nur EN/ZH; andere Sprachen werden nicht unterstützt (der Tokenizer akzeptiert sie, die Ausgabe ist jedoch unverständlich)
• 24-kHz-Mono-Ausgabe — Float32-PCM, drop-in für AudioCommon.WAVWriter und StreamingAudioPlayer
• MIT-Lizenz — Modellgewichte und unser Swift-Port sind beide MIT; INT4-quantisierte Ableitungen sind zulässig

Architektur

Vier zusammenarbeitende Komponenten erzeugen Audio jeweils ein 7,5-Hz-Latent zur Zeit:

Stimmklonen über Voice-Cache

Die Sprecheridentität kommt zur Generierungszeit nicht aus einer Referenzwellenform. Stattdessen wird jede Stimme als vorberechneter .safetensors-Voice-Cache ausgeliefert, der die Konditionierungs-KV-Caches und Hidden-States für einen bestimmten Sprecher enthält — erzeugt durch Offline-Durchlauf des Referenzaudios durch den Encoder. Das Laden eines Voice-Cache ist zur Laufzeit instantan; eine Modellinstanz kann zwischen Generierungen kostengünstig die Stimme wechseln.

Beispiel-Voice-Caches (MIT-lizenziert): mzbac/vibevoice.swift/voice_cache — 7 englische Stimmen inklusive Carter, Davis, Emma, Frank, Grace, Mike und dem indisch akzentuierten Samuel.

Modell

Die Quantisierung verwendet MLX-gruppenweise affine Quantisierung (32er-Gruppen). Embeddings, Normalisierungen, Acoustic-Tokenizer-Faltungen und der EOS-Klassifikator behalten ihren ursprünglichen Dtype.

Schnellstart

import VibeVoiceTTS

let tts = try await VibeVoiceTTSModel.fromPretrained()
try tts.loadVoice(from: "/path/to/voice_cache/en-Mike_man.safetensors")
let pcm = try await tts.generate(text: "Hello world.")
// pcm: [Float] at 24 kHz mono

Long-form 1.5B (different API)

1.5B has a different architecture (unified Qwen2 LM, dual encoders, LM token sampling) so it ships as a separate class — VibeVoice15BTTSModel. Reference audio + text go in a single call:

let tts = try await VibeVoice15BTTSModel.fromPretrained()
let pcm = try await tts.generate(
    text: "Long English script.",
    referenceAudio: refSamples,    // [Float] mono speech, any rate
    referenceTranscript: "",
    sampleRate: 24000
)

No voice cache needed — the model encodes the reference audio through both acoustic_tokenizer (64-dim) and semantic_tokenizer (128-dim, ASR-trained) and sums them at audio prompt positions. Generation runs LM token sampling branched on <speech_diffusion> / <speech_end> / text — diffuses an acoustic latent only when the LM emits the speech token.

ASR-verified on M2 Max INT4 (RTFx 1.48): for input "Hello world. This is the one point five billion VibeVoice variant of the Microsoft text to speech model.", Nemotron transcribed the output as "hello world, this is the one point five billion via voice variant of the microsoft texas speech model" — every content word matched, only acoustic substitutions are VibeVoice → via voice and text to → texas.

Stimmen zwischen Generierungen wechseln

try tts.loadVoice(from: "en-Mike_man.safetensors")
let a = try await tts.generate(text: "First speaker line.")
try tts.loadVoice(from: "en-Emma_woman.safetensors")
let b = try await tts.generate(text: "Second speaker line.")

CLI

speech vibevoice "Hello world." \
    --voice-cache voice_cache/en-Mike_man.safetensors \
    --output hello.wav

# Langform 1.5B
speech vibevoice "Long paragraph ..." \
    --long-form \
    --reference-audio reference_speech.wav \
    --reference-transcript "exact transcript of the reference" \
    --max-tokens 500 --steps 20 \
    --output episode.wav

Flags: --steps (DPM-Solver-Schritte), --cfg (Guidance), --model / --tokenizer zum Überschreiben der HuggingFace-IDs, --long-form für das 1.5B-Preset, --verbose für Zeitmessung.

Auswahl unter den TTS-Modulen von speech-swift