Fish Audio S2 Pro

Diese Soniqo-Seite dokumentiert Fish Audio S2 Pro aus der lokalen speech-swift- / speech-core-Implementierung. Hugging-Face-Bundles sind nach den Integrationshinweisen verlinkt.

Zuerst interne Seite

Landing-Karten und Docs-Menüs führen zuerst hierher; Quellen- und Bundle-Links bleiben auf dieser Seite verfügbar.

Überblick

Modell	Fish Audio S2 Pro
Rolle	Experimental multilingual TTS with raw-reference cloning and style markers
Backend	MLX fp16
Ausgabe	44.1 kHz mono PCM
Sprachen	Multilingual
Lizenz	Research / non-commercial bundle; obtain Fish Audio license for commercial exposure
Status	Programmatic runtime; CLI integration is still pending
Quelle	Fish Audio S2 Pro
Swift-Produkt	`FishAudioTTS`
CLI / Laufzeit	Programmatic runtime today; planned speech speak --engine fish-audio

Verwendung

Das folgende Snippet entspricht der aktuellen API oder dem aktuellen Befehl aus speech-swift.

import FishAudioTTS

let model = try await FishAudioTTSModel.fromPretrained()
let pcm = try await model.generate(
    text: "आज मैं बहुत खुश हूँ। [excited]",
    referenceAudioURL: URL(fileURLWithPath: "reference.wav"),
    referenceText: "नमस्ते, यह संदर्भ आवाज है।"
)

Modelllinks

Implementierungsnotizen

Download uses the newer explicit byte-weighted file manifest, so progress reflects real transferred bytes across the multi-GB shards.
Control markers include [pause], [emphasis], [laughing], [excited], [angry], [whisper], [screaming], [shouting], [surprised], and [sad].
The runtime generates 10 DAC codebook rows, then decodes generated or reference-conditioned codebooks through FishAudioCodec.
Current tests cover bundle loading, codebook generation, codec encode/decode, Hindi cloning, and ASR round-trip gates.