Fish Audio S2 Pro

Trang Soniqo này ghi lại Fish Audio S2 Pro theo triển khai hiện có trong speech-swift / speech-core. Liên kết Hugging Face nằm bên dưới phần ghi chú tích hợp.

Ưu tiên trang nội bộ

Thẻ trên trang chính và menu tài liệu trỏ vào đây trước; liên kết model nguồn và bundle vẫn có trong trang này.

Tổng quan

Model	Fish Audio S2 Pro
Vai trò	Experimental multilingual TTS with raw-reference cloning and style markers
Backend	MLX fp16
Đầu ra	44.1 kHz mono PCM
Ngôn ngữ	Multilingual
Giấy phép	Research / non-commercial bundle; obtain Fish Audio license for commercial exposure
Trạng thái	Programmatic runtime; CLI integration is still pending
Nguồn	Fish Audio S2 Pro
Sản phẩm Swift	`FishAudioTTS`
CLI / runtime	Programmatic runtime today; planned speech speak --engine fish-audio

Cách dùng

Đoạn dưới đây khớp với API hoặc lệnh hiện tại do speech-swift cung cấp.

import FishAudioTTS

let model = try await FishAudioTTSModel.fromPretrained()
let pcm = try await model.generate(
    text: "आज मैं बहुत खुश हूँ। [excited]",
    referenceAudioURL: URL(fileURLWithPath: "reference.wav"),
    referenceText: "नमस्ते, यह संदर्भ आवाज है।"
)

Liên kết model

Ghi chú triển khai

Download uses the newer explicit byte-weighted file manifest, so progress reflects real transferred bytes across the multi-GB shards.
Control markers include [pause], [emphasis], [laughing], [excited], [angry], [whisper], [screaming], [shouting], [surprised], and [sad].
The runtime generates 10 DAC codebook rows, then decodes generated or reference-conditioned codebooks through FishAudioCodec.
Current tests cover bundle loading, codebook generation, codec encode/decode, Hindi cloning, and ASR round-trip gates.