VibeVoice

Microsoft VibeVoice ist ein Langform-/Multi-Speaker-TTS-Modell für Englisch und Chinesisch. Anders als TTS für kurze Äußerungen ist es darauf ausgelegt, podcastlange Dialoge, Hörbuchnarration und Multi-Speaker-Szenen in einem einzigen Durchgang zu erzeugen — bis zu 90 Minuten mit bis zu 4 verschiedenen Stimmen und durchgängig konsistenter Identität. Zwei Varianten sind verfügbar: Realtime-0.5B für latenzarmes Streaming und 1.5B für Flaggschiff-Qualität in Langform.

Was es ist

• Langform in einem Durchgang — bis zu 90 Minuten Audio mit konsistenten Stimmen über die gesamte Ausgabe; keine Übergabe pro Satz
• Multi-Speaker-Dialog — 4 verschiedene Sprecher gleichzeitig, jeder konditioniert durch seinen eigenen Voice-Cache
• Englisch + Chinesisch — die Trainings-Audiodaten sind nur EN/ZH; andere Sprachen werden nicht unterstützt (der Tokenizer akzeptiert sie, die Ausgabe ist jedoch unverständlich)
• 24-kHz-Mono-Ausgabe — Float32-PCM, drop-in für AudioCommon.WAVWriter und StreamingAudioPlayer
• MIT-Lizenz — Modellgewichte und unser Swift-Port sind beide MIT; INT4-quantisierte Ableitungen sind zulässig

Architektur

Vier zusammenarbeitende Komponenten erzeugen Audio jeweils ein 7,5-Hz-Latent zur Zeit:

Stimmklonen über Voice-Cache

Die Sprecheridentität kommt zur Generierungszeit nicht aus einer Referenzwellenform. Stattdessen wird jede Stimme als vorberechneter .safetensors-Voice-Cache ausgeliefert, der die Konditionierungs-KV-Caches und Hidden-States für einen bestimmten Sprecher enthält — erzeugt durch Offline-Durchlauf des Referenzaudios durch den Encoder. Das Laden eines Voice-Cache ist zur Laufzeit instantan; eine Modellinstanz kann zwischen Generierungen kostengünstig die Stimme wechseln.

Beispiel-Voice-Caches (MIT-lizenziert): mzbac/vibevoice.swift/voice_cache — 7 englische Stimmen inklusive Carter, Davis, Emma, Frank, Grace, Mike und dem indisch akzentuierten Samuel.

Modell

Die Quantisierung erzeugt models/vibevoice/export/convert.py mit MLX-gruppenweiser affiner Quantisierung (32er-Gruppen). Embeddings, Normalisierungen, Acoustic-Tokenizer-Faltungen und der EOS-Klassifikator behalten ihren ursprünglichen Dtype.

Schnellstart

import VibeVoiceTTS

let tts = try await VibeVoiceTTSModel.fromPretrained()
try tts.loadVoice(from: "/path/to/voice_cache/en-Mike_man.safetensors")
let pcm = try await tts.generate(text: "Hello world.")
// pcm: [Float] at 24 kHz mono

Langform-1.5B-Preset

let config = VibeVoiceTTSModel.Configuration.longForm1_5B
let tts = try await VibeVoiceTTSModel.fromPretrained(configuration: config)
try tts.loadVoice(from: "voices/narrator.safetensors")
let pcm = try await tts.generate(text: longTranscript)  // up to ~90 min

Das Preset longForm1_5B hebt maxSpeechTokens auf 4000 und cfgScale auf 1.5 für höhere Klangtreue im Langform-Output an.

Stimmen zwischen Generierungen wechseln

try tts.loadVoice(from: "en-Mike_man.safetensors")
let a = try await tts.generate(text: "First speaker line.")
try tts.loadVoice(from: "en-Emma_woman.safetensors")
let b = try await tts.generate(text: "Second speaker line.")

CLI

audio vibevoice "Hello world." \
    --voice-cache voice_cache/en-Mike_man.safetensors \
    --output hello.wav

# Langform 1.5B
audio vibevoice "Long paragraph ..." \
    --voice-cache voices/narrator.safetensors \
    --long-form \
    --max-tokens 4000 \
    --output episode.wav

Flags: --steps (DPM-Solver-Schritte), --cfg (Guidance), --model / --tokenizer zum Überschreiben der HuggingFace-IDs, --long-form für das 1.5B-Preset, --verbose für Zeitmessung.

Auswahl unter den TTS-Modulen von speech-swift