Awtomatikong salin · Orihinal sa Ingles

Fish Audio S2 Pro / Drama 3

Ang unang-bahaging Soniqo page na ito ay dokumento ng Fish Audio S2 Pro mula sa lokal na speech-swift / speech-core na pagpapatupad. Hugging Face mga bungkos ay nakaugnay sa ibaba pagkatapos ng mga pinagsamang notasyon.

Panloob na Pahina Muna

Una na ngayong binabanggit dito ng mga landing card at docs menus ang tungkol dito; ang mga kawing ng source model at bround ay nananatiling makukuha mula sa pahinang ito.

Sa Isang Kaningningan

Huwaran	Fish Audio S2 Pro
Ang Papel	Experimental na multinasyonal na TTS na may hilaw na-reference cloning at mga style marker
Likod	MLX fp16
Ilabas	44.1 kHz mono PCM
Wika	Iba't Ibang Wika
Lisensiya	Pananaliksik / non-commercial rock; kumuha ng Fish Audio lisensiya para sa komersiyal na paglalantad
Kalagayan	Programmatic runtime; naghihintay pa rin ang pagsasama - sama ng CLI
Pinagmumulan	Fish Audio S2 Pro
Swift produkto	`FishAudioTTS`
CLI / Oras ng pagtakbo	Programmatic runtime ngayon; ang binalak na pagsasalita ay nagsasalita ng --engine isda-audio

Gamitin

Ang snippet sa ibaba ng salamin ang kasalukuyang speech-swift API o utos na inilantad ng repo.

import FishAudioTTS

let model = try await FishAudioTTSModel.fromPretrained()
let pcm = try await model.generate(
    text: "आज मैं बहुत खुश हूँ। [excited]",
    referenceAudioURL: URL(fileURLWithPath: "reference.wav"),
    referenceText: "नमस्ते, यह संदर्भ आवाज है।"
)

Mga Kaugnayan sa Modelo

Mga Nota ng Pag - iisa

Ang download ay gumagamit ng mas bagong maliwanag na byte-weighted file manifest, kaya ang pagsulong ay sumasalamin sa tunay na inilipat na bytes sa ibayo ng multi-GB shards.
Kabilang sa mga control marker ang [pase], [emphasis], [pagtawa], [nagmamalabis], [pang - abala], [pambubulyaw], [pamhiyawan], [titik], [napipintasan], at [sawa].
Ang runtime ay lumilikha ng 10 mga hanay ng codebook ng DAC, pagkatapos ang mga decodes ay lumilikha o reference-conditioned codebook sa pamamagitan ng FishAudioCodec.
Ang mga kasalukuyang pagsubok ay sumasaklaw sa mga bungkos na karga, codebook na henerasyon, codeclect/decode, Hindi cloning, at ASR round-trip na mga tarangkahan.

Fish Audio Drama 3

Ang eksperimental na suportang MLX para sa Drama 3 ay makukuha sa pamamagitan ng FishAudioDrama3Model. A. 35 Ang hybrid-tension MoE stand, temporal audio tower at Fish DAC codec ay gumagawa ng codec 44.1 kHz mono audio. 4-bit ang checkpoint ay pumasa sa waveform at independent ASR mga tseke para sa teksto-tanging henerasyon, reference cloning at CLI output sa Apple M5 Pro. 8--bit at BF16 ay hindi pa naililipat.

Ang default balanced Ang mode tributs backing MLX livers sa itaas ng 512 MiB sa mga hangganan ng entablado. Ang kabahaging model-lifetime cache cap ay kumakapit din, na nag-iingat ng mas mababang mga badyet ng tumatawag; hindi rin nalilimitahan ang kabuuang memorya ng proseso. --fish-drama3-memory-mode unrestricted o memoryOptions: .unrestricted ang mga pabigat na may pananabik at mga paglukso, samantalang pinananatili ang buong buhay na gora.

Ang Text-ly generation defers 794.4 MiB ng reference calcer weights. Ang unang reperensiya na nagreresulta ng mga karga at nagpanatili ng mga ito, kaya't panatilihin ang codec.safetensors available hanggang sa noon. ang mga precomputed reference code ay hindi nangangailangan ng reciever.

Ilaan ang kumpletong input text. Ang Voice cloning ay nangangailangan ng reference clip at ang eksaktong transcript nito. Ang Speaker tags 0–15 at mga inline emosyon ay suportado. PCM clowing ay makukuha sa pamamagitan ng pag-excide generateStreaming, generateStream at --stream. Ang default figure ay naglalaman ng 3 codec frames, tungkol sa 139 ms ng audio. automatic long-text standing at streaming text input ay nananatiling hindi magagamit.Ang pag-abot sa limitasyon ng frame ay nag-iisyu ng mali.

speech speak "Hello from Drama 3." --engine fish-drama3 --fish-drama3-bundle-dir /path/to/bundle -o hello.wav
speech speak "Hello from Drama 3." --engine fish-drama3 --stream --fish-drama3-chunk-frames 3 -o streamed.wav
speech speak "Hello in the reference voice." --engine fish-drama3 --voice-sample reference.wav --fish-drama3-reference-text "The exact reference transcript." --seed 42 -o cloned.wav

import FishAudioTTS
let model = try await FishAudioDrama3Model.fromBundle(bundleURL, memoryOptions: .balanced)
let pcm = try await model.generate(text: "Hello from Drama 3.", options: .init(seed: 42))
try await model.generateStreaming(text: "Hello from Drama 3.", options: .init(seed: 42, streamingChunkFrames: 3)) { chunk in
    print(chunk.frameIndex, chunk.samples.count, chunk.isFinal)
}

Mapagpipilian	Pagkawasak
`--fish-drama3-model-id`	`mlx-community/fish-audio-drama-3-4bit`
`--fish-drama3-bundle-dir`	`—`
`--fish-drama3-reference-text`	`—`
`--fish-drama3-max-frames`	`2048`
`--fish-drama3-temperature`	`1`
`--fish-drama3-top-k`	`30`
`--fish-drama3-top-p`	`0.9`
`--voice-sample`	`—`
`--seed`	`0`
`--stream`	`false`
`--fish-drama3-chunk-frames`	`3`
`--fish-drama3-memory-mode`	`balanced`

Itinayo sa pamamagitan ng Fish Audio. Bundles ay nagpapanatili ng Community License at HINDI SICE.

4-bit benchmark

Mode	Unang PCM, ms	Mainit na Sintesis, s	Audio, s	RTF	Peak RSS, GIB	Pinakamataas na pisikal na bakas ng paa, GiB
Text- Only / Buffered	—	2.306	3.483	0.662	14.457	24.220
Reference cloning / Buffered	—	2.681	3.204	0.837	15.064	24.789
Text- Only / Streaming	275.3	2.529	3.483	0.726	15.571	22.321
Reference cloning / Pag - aayos	730.2	2.860	3.204	0.893	14.676	23.885

Mansanas M5 Pro, 48 GiB, gusaling pinaglalabasan, 2026-10-17. Median ng tatlong mainit na tawag, sinusukat ang kumpletong waveform na henerasyon. Model loading at WAV Ang talaksang I/O ay hindi isinasama; ang cloning ay kinabibilangan ng reference composition sa bawat tawag. RTF = Pag - isipan ang haba ng panahon / audio. ASR: 16/16 Ang mga clip, sero salita errors. Gamitin ang pisikal na footprint para sa nagkakaisang-memory single. Ang Unang PCM ay ang unang nonnewly stream callback; ang mga naka-stat na hanay ay walang fraged callback.Ang default fraget ay naglalaman ng mga hindi tanggap na frayfic. 139.3 Ang mga m ng audio. audible playback simulation ay hindi nasukat.