VibeVoice

Microsoft VibeVoice est un modèle de synthèse vocale long format et multi-locuteurs pour l'anglais et le chinois. Contrairement aux TTS d'énoncés courts, il est conçu pour générer en une seule passe des dialogues de la durée d'un podcast, de la narration de livres audio et des scènes multi-locuteurs — jusqu'à 90 minutes avec jusqu'à 4 voix distinctes et une identité cohérente sur l'ensemble. Deux variantes sont disponibles : Realtime-0.5B pour le streaming à faible latence et 1.5B pour la qualité phare en long format.

Présentation

• Long format en une seule passe — jusqu'à 90 minutes d'audio avec des voix cohérentes sur toute la sortie ; pas de relais phrase par phrase
• Dialogue multi-locuteurs — 4 locuteurs distincts simultanément, chacun conditionné par son propre voice cache
• Anglais + chinois — les données audio d'entraînement sont uniquement EN/ZH ; les autres langues ne sont pas prises en charge (le tokenizer les accepte mais la sortie est inintelligible)
• Sortie mono à 24 kHz — PCM Float32, prêt à brancher sur AudioCommon.WAVWriter et StreamingAudioPlayer
• Licence MIT — les poids du modèle et notre portage Swift sont tous deux MIT ; les dérivés quantifiés en INT4 sont autorisés

Architecture

Quatre composants coopèrent pour produire l'audio un latent à 7,5 Hz à la fois :

Clonage vocal via voice-cache

L'identité du locuteur ne provient pas d'une forme d'onde de référence au moment de la génération. À la place, chaque voix est livrée sous la forme d'un voice cache .safetensors précalculé contenant les caches KV de conditionnement et les états cachés pour un locuteur donné — produits hors ligne en faisant passer l'audio de référence dans le chemin de l'encodeur. Charger un voice cache est instantané à l'exécution ; une même instance du modèle peut changer de voix à faible coût entre les générations.

Exemples de voice caches (licence MIT) : mzbac/vibevoice.swift/voice_cache — 7 voix anglaises dont Carter, Davis, Emma, Frank, Grace, Mike et Samuel à accent indien.

Modèle

La quantification est produite par models/vibevoice/export/convert.py via la quantification affine par groupes de MLX (groupe 32). Les embeddings, normalisations, convolutions de l'acoustic-tokenizer et le classifieur EOS conservent leur dtype d'origine.

Démarrage rapide

import VibeVoiceTTS

let tts = try await VibeVoiceTTSModel.fromPretrained()
try tts.loadVoice(from: "/path/to/voice_cache/en-Mike_man.safetensors")
let pcm = try await tts.generate(text: "Hello world.")
// pcm: [Float] at 24 kHz mono

Préréglage 1.5B long format

let config = VibeVoiceTTSModel.Configuration.longForm1_5B
let tts = try await VibeVoiceTTSModel.fromPretrained(configuration: config)
try tts.loadVoice(from: "voices/narrator.safetensors")
let pcm = try await tts.generate(text: longTranscript)  // up to ~90 min

Le préréglage longForm1_5B porte maxSpeechTokens à 4000 et cfgScale à 1,5 pour une sortie long format de meilleure fidélité.

Changer de voix entre les générations

try tts.loadVoice(from: "en-Mike_man.safetensors")
let a = try await tts.generate(text: "First speaker line.")
try tts.loadVoice(from: "en-Emma_woman.safetensors")
let b = try await tts.generate(text: "Second speaker line.")

CLI

audio vibevoice "Hello world." \
    --voice-cache voice_cache/en-Mike_man.safetensors \
    --output hello.wav

# Long format 1.5B
audio vibevoice "Long paragraph ..." \
    --voice-cache voices/narrator.safetensors \
    --long-form \
    --max-tokens 4000 \
    --output episode.wav

Options : --steps (étapes du DPM-Solver), --cfg (guidance), --model / --tokenizer pour surcharger les IDs HuggingFace, --long-form pour basculer sur le préréglage 1.5B, --verbose pour les temps.

Choisir parmi les modules TTS de speech-swift