Fish Audio S2 Pro

Cette page Soniqo documente Fish Audio S2 Pro tel qu'il est implémenté dans speech-swift / speech-core. Les liens Hugging Face sont placés après les notes d'intégration.

Page interne d'abord

Les cartes et menus pointent d'abord ici; les liens vers le modèle source et les bundles restent disponibles sur cette page.

Aperçu

Modèle	Fish Audio S2 Pro
Rôle	Experimental multilingual TTS with raw-reference cloning and style markers
Backend	MLX fp16
Sortie	44.1 kHz mono PCM
Langues	Multilingual
Licence	Research / non-commercial bundle; obtain Fish Audio license for commercial exposure
État	Programmatic runtime; CLI integration is still pending
Source	Fish Audio S2 Pro
Produit Swift	`FishAudioTTS`
CLI / runtime	Programmatic runtime today; planned speech speak --engine fish-audio

Utilisation

L'extrait ci-dessous suit l'API ou la commande actuellement exposée par speech-swift.

import FishAudioTTS

let model = try await FishAudioTTSModel.fromPretrained()
let pcm = try await model.generate(
    text: "आज मैं बहुत खुश हूँ। [excited]",
    referenceAudioURL: URL(fileURLWithPath: "reference.wav"),
    referenceText: "नमस्ते, यह संदर्भ आवाज है।"
)

Liens du modèle

Notes d'implémentation

Download uses the newer explicit byte-weighted file manifest, so progress reflects real transferred bytes across the multi-GB shards.
Control markers include [pause], [emphasis], [laughing], [excited], [angry], [whisper], [screaming], [shouting], [surprised], and [sad].
The runtime generates 10 DAC codebook rows, then decodes generated or reference-conditioned codebooks through FishAudioCodec.
Current tests cover bundle loading, codebook generation, codec encode/decode, Hindi cloning, and ASR round-trip gates.