OmniVoice

Trang Soniqo này ghi lại OmniVoice theo triển khai hiện có trong speech-swift / speech-core. Liên kết Hugging Face nằm bên dưới phần ghi chú tích hợp.

Ưu tiên trang nội bộ

Thẻ trên trang chính và menu tài liệu trỏ vào đây trước; liên kết model nguồn và bundle vẫn có trong trang này.

Tổng quan

Model	OmniVoice
Vai trò	Massively multilingual zero-shot voice-cloning TTS
Backend	MLX int8 default bundle; fp16 bundle available
Đầu ra	24 kHz mono waveform
Ngôn ngữ	600+ languages
Giấy phép	Apache-2.0 upstream family
Trạng thái	Programmatic speech-swift runtime used by Studio sidecar
Nguồn	k2-fsa OmniVoice
Sản phẩm Swift	`OmniVoiceTTS`
CLI / runtime	Programmatic runtime; not a primary speech speak engine yet

Cách dùng

Đoạn dưới đây khớp với API hoặc lệnh hiện tại do speech-swift cung cấp.

import OmniVoiceTTS

let model = try await OmniVoiceTTSModel.fromPretrained()
let pcm = try model.generate(
    text: "A new sentence in the reference speaker's voice.",
    referenceAudio: URL(fileURLWithPath: "reference.wav"),
    referenceText: "This is the reference voice.",
    language: "en"
)

Liên kết model

Ghi chú triển khai

Download repairs incomplete caches by checking the backbone, tokenizer files, and audio_tokenizer model before loading.
Generation iteratively unmasks eight acoustic codebooks with classifier-free guidance.
The runtime combines a bidirectional Qwen3 backbone with a Higgs-audio v2 codec encoder/decoder.
Optional instructions cover restricted style controls such as accent, age, gender, pitch, and whisper.