Strojový překlad · Anglický originál
Fish Audio S2 Pro / Drama 3
Tato první strana Soniqo stránka dokumenty Fish Audio S2 Pro z místní speech-swift / speech-core implementace. Hugging Face svazky jsou spojeny níže po integraci poznámky.
Přistávací karty a docs menu nyní ukázat zde první; zdrojový model a svazky odkazy zůstávají k dispozici z této stránky.
V Glance
| Vzor | Fish Audio S2 Pro |
|---|---|
| Úloha | Experimentální vícejazyčné TTS s raw- reference klonování a stylové markery |
| Backend | MLX fp16 |
| Výstup | 44.1 kHz monoPCM |
| Jazyky | Vícejazyčné |
| Licence | Výzkum / nekomerční svazek; získat licenci Fish Audio pro komerční expozici |
| Stav | Programmatický runtime; integrace CLI stále ještě probíhá |
| Zdroj | Fish Audio S2 Pro |
| Swift produkt | FishAudioTTS |
| CLI / runtime | Programmatický runtime dnes; plánovaný projev --engine fish- audio |
Použití
Snippet níže odráží aktuální speech-swift API nebo příkaz vystavený repo.
import FishAudioTTS
let model = try await FishAudioTTSModel.fromPretrained()
let pcm = try await model.generate(
text: "आज मैं बहुत खुश हूँ। [excited]",
referenceAudioURL: URL(fileURLWithPath: "reference.wav"),
referenceText: "नमस्ते, यह संदर्भ आवाज है।"
)Modelové odkazy
Poznámky k provádění
- Download používá nový explicitní seznam souborů, takže pokrok odráží reálné převáděné byty v multiGB úlomcích.
- Kontrolní značky zahrnují [pauza], [důraz], [smích], [rozzlobený], [hněv], [šepot], [křik], [výkřik], [překvapení] a [smutný].
- Runtime generuje 10 řádků DAC kódování, pak dekóduje generované nebo reference- stabilizované kódy prostřednictvím FishAudiodec.
- Aktuální testy se vztahují na načítání svazků, kodekovou generaci, kodek encode / decode, hindskou klonování, a ASR kruhové-trip brány.
Fish Audio Drama 3
Experimentální rodák MLX podpora pro Drama 3 je k dispozici prostřednictvím FishAudioDrama3ModelA. 35B hybrid- pozornost MoE páteř, časová audio věž a rybí DAC kodek produkt 44.1 kHz mono audio. 4-bit kontrolní bod prošel waveform a nezávislý ASR kontroly pro tvorbu textů, referenční klonování a CLI výstup na Apple M5 Pro. 8-bit a BF16 zůstat neověřený.
Výchozí balanced režim ztrojnásobuje volnoběžné buffery MLX nad 512 MiB na okrajích jeviště. Použijí se také sdílená cache cache-life cache cach, která zachovává nižší rozpočty volajícího; ani kontrola neomezuje celkovou procesní paměť. --fish-drama3-memory-mode unrestricted nebo memoryOptions: .unrestricted zatížení závaží dychtivě a přeskakuje stadium sekání, přičemž zachování životnosti uzávěr.
Text- pouze generace odkládá 794.4 MiB referenčních vah kodéru. První referenční kódování zatížení a udržuje je, takže držet codec.safetensors K dispozici do té doby. Předpočítatelné referenční kódy nepotřebují kodér.
Poskytovat kompletní vstupní text. Hlasové klonování vyžaduje referenční klip a jeho přesný přepis. Štítky reproduktoru 0-15 a inline emoce jsou podporovány. generateStreaming, generateStream a --stream. Výchozí kus obsahuje 3 codec rámy, o 139 ms audio. Automatické dlouhotrvající textové cunking a streamovaný textový vstup zůstává nedostupný. Dosažení limitu rámce hází chybu.
speech speak "Hello from Drama 3." --engine fish-drama3 --fish-drama3-bundle-dir /path/to/bundle -o hello.wav
speech speak "Hello from Drama 3." --engine fish-drama3 --stream --fish-drama3-chunk-frames 3 -o streamed.wav
speech speak "Hello in the reference voice." --engine fish-drama3 --voice-sample reference.wav --fish-drama3-reference-text "The exact reference transcript." --seed 42 -o cloned.wavimport FishAudioTTS
let model = try await FishAudioDrama3Model.fromBundle(bundleURL, memoryOptions: .balanced)
let pcm = try await model.generate(text: "Hello from Drama 3.", options: .init(seed: 42))
try await model.generateStreaming(text: "Hello from Drama 3.", options: .init(seed: 42, streamingChunkFrames: 3)) { chunk in
print(chunk.frameIndex, chunk.samples.count, chunk.isFinal)
}| Možnost | Výchozí |
|---|---|
--fish-drama3-model-id | mlx-community/fish-audio-drama-3-4bit |
--fish-drama3-bundle-dir | — |
--fish-drama3-reference-text | — |
--fish-drama3-max-frames | 2048 |
--fish-drama3-temperature | 1 |
--fish-drama3-top-k | 30 |
--fish-drama3-top-p | 0.9 |
--voice-sample | — |
--seed | 0 |
--stream | false |
--fish-drama3-chunk-frames | 3 |
--fish-drama3-memory-mode | balanced |
Postaven se Fish Audio. Svazky si zachovají licenci a notifikaci Společenství.
Referenční hodnota 4bitu
| Režim | První PCM, ms | Teplá syntéza, s | Audio, s | RTF | Vrchol RSS, GiB | Vrcholná fyzická stopa, GiB |
|---|---|---|---|---|---|---|
| Pouze pro záznam / Buffered | — | 2.306 | 3.483 | 0.662 | 14.457 | 24.220 |
| Referenční klonování / buffered | — | 2.681 | 3.204 | 0.837 | 15.064 | 24.789 |
| Pouze text- only / Streaming | 275.3 | 2.529 | 3.483 | 0.726 | 15.571 | 22.321 |
| Referenční klonování / streaming | 730.2 | 2.860 | 3.204 | 0.893 | 14.676 | 23.885 |
Jablečné M5 Pro, 48 GiB, uvolněte budovu. 2026-10-17. Medián tří teplých volání, měření kompletní vlnové generace. Model zatížení a WAV soubor I / O je vyloučen; klonování obsahuje referenční kódování v každém hovoru. RTF = doba syntézy / doba trvání zvuku. Nezávislá ASR: 16/16 klipy, nulové chyby slova. Použijte fyzickou stopu pro unified- memory sizing. První PCM je první neprázdný streaming call back; buffered řádky nemají žádný call call. Výchozí část obsahuje 139.3 ms audio. Auditní přehrávání nástup nebyl měřen.