Maskinoversættelse · Engelsk original
Fish Audio S2 Pro / Drama 3
Denne første part Soniqo side dokumenter Fish Audio S2 Pro fra den lokale speech-swift / speech-core implementering. Hugging Face bundter er knyttet nedenfor efter integration noter.
Landingskort og docs menuer peger nu her først; kildemodel og bundlink er stadig tilgængelige fra denne side.
På en Glance
| Model | Fish Audio S2 Pro |
|---|---|
| Rolle | Eksperimentel flersproget TTS med raw- reference kloning og stil markører |
| Backend | MLX fp16 |
| Output | 44,1 kHz mono PCM |
| Sprog | Flersproget |
| Licens | Forskning / ikke-kommercielle bundt; få Fish Audio licens til kommerciel eksponering |
| Status | Programmatisk driftstid; CLI-integration er stadig under behandling |
| Kilde | Fish Audio S2 Pro |
| Swift produkt | FishAudioTTS |
| CLI / runtime | Programmatisk runtime i dag; planlagt tale taler --engine fish- audio |
Anvendelse
Snuppet nedenfor afspejler den aktuelle speech-swift API eller kommando udsat af repo.
import FishAudioTTS
let model = try await FishAudioTTSModel.fromPretrained()
let pcm = try await model.generate(
text: "आज मैं बहुत खुश हूँ। [excited]",
referenceAudioURL: URL(fileURLWithPath: "reference.wav"),
referenceText: "नमस्ते, यह संदर्भ आवाज है।"
)Model Links
Gennemførelsesnoter
- Download bruger den nyere eksplicit bytevægtede fil manifest, så fremskridt afspejler reelle overførte bytes på tværs af multi- GB skår.
- Kontrolmarkører omfatter [pause], [vægt], [latter], [ophidset], [vred], [hvisken], [skrigende], [råbe], [overrasket] og [trist].
- Den runtime genererer 10 DAC kodebook rækker, derefter dekodere genereret eller reference- konditionerede kodebøger gennem FishAudioCodec.
- Aktuelle test dækker bundt loading, codebook generation, codec encode / dekode, Hindi kloning, og ASR round- trip porte.
Fish Audio DramaCity in Italy 3
Eksperimentel indfødt MLX støtte til Drama 3 er tilgængelig gennem FishAudioDrama3ModelA 35B hybridopmærksomhed MoE rygrad, temporal audio tårn og Fish DAC codec producere 44.1 kHz mono audio. 4-bit checkpoint passerede kurveform og uafhængig ASR kontroller for text- only generation, reference kloning og CLI output på Apple M5 Pro. 8- bit og BF16 forblive uvalideret.
Standard balanced mode trim tomgang MLX buffere over 512 MiB på trin grænser. Den delte model-levetid cache cap gælder også, bevare lavere opkaldsbudgetter; hverken kontrol begrænser total proces hukommelse. --fish-drama3-memory-mode unrestricted eller memoryOptions: .unrestricted belastninger vægte ivrigt og skipper fase trimning, samtidig med at livstidshætten.
Tekst- kun generations deferers 794.4 MiB af referenceindkodningsvægte. Den første reference kodning belastninger og bevarer dem, så hold codec.safetensors tilgængelige indtil da. Præberegnede referencekoder behøver ikke encoder.
Giv komplet input tekst. Stemmekloning kræver et referenceklip og dens nøjagtige udskrift. Speaker tags 0- 15 og inline følelser er understøttet. PCM streaming er tilgængelig gennem generateStreaming, generateStream og --stream. Standard chunk indeholder 3 codec rammer, om 139 ms af lyd. Automatisk lang- tekst chunking og streamed tekst input forbliver utilgængelig. Når rammen grænse kaster en fejl.
speech speak "Hello from Drama 3." --engine fish-drama3 --fish-drama3-bundle-dir /path/to/bundle -o hello.wav
speech speak "Hello from Drama 3." --engine fish-drama3 --stream --fish-drama3-chunk-frames 3 -o streamed.wav
speech speak "Hello in the reference voice." --engine fish-drama3 --voice-sample reference.wav --fish-drama3-reference-text "The exact reference transcript." --seed 42 -o cloned.wavimport FishAudioTTS
let model = try await FishAudioDrama3Model.fromBundle(bundleURL, memoryOptions: .balanced)
let pcm = try await model.generate(text: "Hello from Drama 3.", options: .init(seed: 42))
try await model.generateStreaming(text: "Hello from Drama 3.", options: .init(seed: 42, streamingChunkFrames: 3)) { chunk in
print(chunk.frameIndex, chunk.samples.count, chunk.isFinal)
}| Valgmulighed | Standard |
|---|---|
--fish-drama3-model-id | mlx-community/fish-audio-drama-3-4bit |
--fish-drama3-bundle-dir | — |
--fish-drama3-reference-text | — |
--fish-drama3-max-frames | 2048 |
--fish-drama3-temperature | 1 |
--fish-drama3-top-k | 30 |
--fish-drama3-top-p | 0.9 |
--voice-sample | — |
--seed | 0 |
--stream | false |
--fish-drama3-chunk-frames | 3 |
--fish-drama3-memory-mode | balanced |
Bygget med Fish Audio. Bundles bevarer fællesskabstilladelsen og ANMELDELSE.
4-bit benchmark
| Tilstand | Første PCM, ms | Varm syntese, s | Lyd, s | RTF | Peak RSS, GiB | Peak fysisk fodaftryk, GiB |
|---|---|---|---|---|---|---|
| Tekst- only / Buffered | — | 2.306 | 3.483 | 0.662 | 14.457 | 24.220 |
| Referencekloning / bufferet | — | 2.681 | 3.204 | 0.837 | 15.064 | 24.789 |
| Tekst- kun / Streaming | 275.3 | 2.529 | 3.483 | 0.726 | 15.571 | 22.321 |
| Reference kloning / Streaming | 730.2 | 2.860 | 3.204 | 0.893 | 14.676 | 23.885 |
Apple M5 Pro, 48 GiB, release build 2026-10-17. Median af tre varme opkald, der måler komplet kurveform generation. Model lastning og WAV fil I / O er ikke omfattet; kloning omfatter referencekode for hvert opkald. RTF = syntesetid / lydvarighed. Uafhængig ASR: 16/16 clips, nul ord fejl. Brug fysisk fodaftryk til unified- memory dimensionering. Først PCM er den første ikke tomme streaming callback; bufferede rækker har ingen chunk callback. Standard chunk indeholder 139.3 ms af lyd. Audible afspilning debut blev ikke målt.