OmniVoice
이 Soniqo 페이지는 로컬 speech-swift / speech-core 구현의 OmniVoice을 설명합니다. Hugging Face 번들 링크는 통합 메모 뒤에 있습니다.
내부 페이지 우선
랜딩 카드와 문서 메뉴는 먼저 이 페이지로 이동하고, 원본 모델과 번들 링크는 이 페이지 안에 둡니다.
개요
| 모델 | OmniVoice |
|---|---|
| 역할 | Massively multilingual zero-shot voice-cloning TTS |
| 백엔드 | MLX int8 default bundle; fp16 bundle available |
| 출력 | 24 kHz mono waveform |
| 언어 | 600+ languages |
| 라이선스 | Apache-2.0 upstream family |
| 상태 | Programmatic speech-swift runtime used by Studio sidecar |
| 소스 | k2-fsa OmniVoice |
| Swift 제품 | OmniVoiceTTS |
| CLI / 런타임 | Programmatic runtime; not a primary speech speak engine yet |
사용
아래 스니펫은 현재 speech-swift 저장소의 API 또는 명령과 일치합니다.
import OmniVoiceTTS
let model = try await OmniVoiceTTSModel.fromPretrained()
let pcm = try model.generate(
text: "A new sentence in the reference speaker's voice.",
referenceAudio: URL(fileURLWithPath: "reference.wav"),
referenceText: "This is the reference voice.",
language: "en"
)
모델 링크
구현 메모
- Download repairs incomplete caches by checking the backbone, tokenizer files, and audio_tokenizer model before loading.
- Generation iteratively unmasks eight acoustic codebooks with classifier-free guidance.
- The runtime combines a bidirectional Qwen3 backbone with a Higgs-audio v2 codec encoder/decoder.
- Optional instructions cover restricted style controls such as accent, age, gender, pitch, and whisper.