Maskinoversettelse · Engelsk original
Fish Audio S2 Pro / Drama 3
Denne førstepartsdelen Soniqo sidedokumenter Fish Audio S2 Pro fra lokal speech-swift / speech-core implementering. Hugging Face pakker er koblet nedenfor etter integrasjonsnotatene.
Landingskort og docs-menyer nå peker her først; kildemodell og pakkelenker er tilgjengelige fra denne siden.
På en glanse
| Modell | Fish Audio S2 Pro |
|---|---|
| Rolle | Eksperimentell flerspråklig TTS med råreferanse kloning og stil markører |
| Motor | MLX fp16 |
| Utgang | 44.1 kHz mono PCM |
| Språk | Flerspråklig |
| Lisens | Forskning / ikke-kommersiell pakke; få Fish Audio lisens for kommersiell eksponering |
| Status | Programmatisk kjøretid; CLI integrasjon er fortsatt i vente |
| Kilde | Fish Audio S2 Pro |
| Swift produkt | FishAudioTTS |
| CLI/kjøretid | Programmatisk kjøretid i dag; planlagt tale tale --engine fisk-audio |
Bruk
Den snutten nedenfor speiler gjeldende speech-swift API eller kommando som eksponeres av repoen.
import FishAudioTTS
let model = try await FishAudioTTSModel.fromPretrained()
let pcm = try await model.generate(
text: "आज मैं बहुत खुश हूँ। [excited]",
referenceAudioURL: URL(fileURLWithPath: "reference.wav"),
referenceText: "नमस्ते, यह संदर्भ आवाज है।"
)Modelllenker
Implementasjonsnotater
- Last ned bruker det nyere eksplisitte bytevektede fil manifestet, så fremgang reflekterer reelle overførte bytene på tvers av multi-GB shards.
- [[Feil]]], [[enkelt], [enkelt,] [enkel], [hangel], [skall], [brå], [besøk] og [sad].
- Runtimen genererer 10 DAC-kodebokrader, deretter dekoder generert eller referanse-kondisjonert kodebøker gjennom FishAudioCodec.
- Gjeldende tester dekker pakkelasting, kodebokgenerering, kodekkodekodekode/dekode, hindikloning og ASR rundtrekksporter.
Fish Audio Drama 3
Eksperimentell innfødt MLX støtte for Drama 3 er tilgjengelig gjennom FishAudioDrama3Model. En 35B hybrid-attention MoE ryggrad, temporær lydtårn og Fish DAC codec produserer 44,1 kHz mono lyd. 4-biters kontrollpunkt passert bølgeform og uavhengig ASR kontroller for tekst-kun generasjon, referansekloning og CLI-utgang på Apple M5 Pro. 8-bit og BF16 forbli uvalidert.
Standarden balanced-modus trimmer inaktiv MLX-bufferer over 512 MiB ved trinngrenser. Den delte modellen-lifetime cache-hetten gjelder også, bevare lavere caller-budsjetter; verken kontroll begrenser total prosessminne. --fish-drama3-memory-mode unrestricted eller memoryOptions: .unrestricted laster ivrig vekter og hopper over trinn trimningen, mens du beholder livstidsdekningen.
Tekst-bare generasjon utsetter 794,4 MiB referansekoder vekter. Den første referansekodekoder laster og beholder dem, så hold codec.safetensors tilgjengelig til da. Forutsatt referansekoder trenger ikke koder.
Gi fullstendig inntekst. Stemmekloning krever et referanseklipp og dens nøyaktige transkripsjon. Høyttalertags 0-15 og inline følelser støttes. PCM-streaming er tilgjengelig gjennom generateStreaming, generateStream og --stream. Standardbiten inneholder 3 kodekrammer, ca. 139 ms lyd. Automatisk langtekstbiting og streaming av tekstinngang er utilgjengelig. Ved å nå rammegrensekaster en feil.
speech speak "Hello from Drama 3." --engine fish-drama3 --fish-drama3-bundle-dir /path/to/bundle -o hello.wav
speech speak "Hello from Drama 3." --engine fish-drama3 --stream --fish-drama3-chunk-frames 3 -o streamed.wav
speech speak "Hello in the reference voice." --engine fish-drama3 --voice-sample reference.wav --fish-drama3-reference-text "The exact reference transcript." --seed 42 -o cloned.wavimport FishAudioTTS
let model = try await FishAudioDrama3Model.fromBundle(bundleURL, memoryOptions: .balanced)
let pcm = try await model.generate(text: "Hello from Drama 3.", options: .init(seed: 42))
try await model.generateStreaming(text: "Hello from Drama 3.", options: .init(seed: 42, streamingChunkFrames: 3)) { chunk in
print(chunk.frameIndex, chunk.samples.count, chunk.isFinal)
}| Mulighet | Standard |
|---|---|
--fish-drama3-model-id | mlx-community/fish-audio-drama-3-4bit |
--fish-drama3-bundle-dir | — |
--fish-drama3-reference-text | — |
--fish-drama3-max-frames | 2048 |
--fish-drama3-temperature | 1 |
--fish-drama3-top-k | 30 |
--fish-drama3-top-p | 0.9 |
--voice-sample | — |
--seed | 0 |
--stream | false |
--fish-drama3-chunk-frames | 3 |
--fish-drama3-memory-mode | balanced |
Bygget med Fish Audio. Bundles beholde fellesskapslisensen og NOTICE.
4-bits referanse
| modus | Første PCM, ms | Varm syntese, s | Lyd, s | RTF | Peak RSS, GiB | Peak fysisk fotavtrykk, GiB |
|---|---|---|---|---|---|---|
| Tekst-beskyttet / busett | — | 2.306 | 3.483 | 0.662 | 14.457 | 24.220 |
| Referansekloning / Buffered | — | 2.681 | 3.204 | 0.837 | 15.064 | 24.789 |
| Bare tekst/streaming | 275.3 | 2.529 | 3.483 | 0.726 | 15.571 | 22.321 |
| Referansekloning/Streaming | 730.2 | 2.860 | 3.204 | 0.893 | 14.676 | 23.885 |
Apple M5 Pro, 48 GiB, utgivelsesbygg, 2026-10-17. Median av tre varme samtaler, måling av komplette bølgeformgenerasjon. Modell lasting og WAV fil I/c1 er utelukket; Kloning inkluderer referansekoding på hvert anrop. RTF = syntesetid / lyd varighet. Uavhengig ASR: 16/16 klipp, null ordfeil. Bruk fysisk fotavtrykk for enhetlig memory sising. Første PCM er den første ikke-tom streaming tilbakekalling; bufferte rader har ingen bit tilbakekalling. Standardbit inneholder 139,3 ms lyd. Audible avspilling ble ikke målt.