Konekäännös · Englanninkielinen alkuperäinen

Fish Audio S2 Pro / Draama 3

Tämä ensimmäinen osapuoli Soniqo sivuasiakirjat Fish Audio S2 Pro paikalliselta speech-swift / speech-core toteutus. Hugging Face -paketit ovat yhteydessä alla olevien integrointihuomautusten jälkeen.

Sisäinen sivu ensin

Laskeutumiskortit ja dokumentit ovat nyt tässä ensin; lähdemalli ja nippulinkit ovat saatavilla tältä sivulta.

Katselu

Malli	Fish Audio S2 Pro
Rooli	Kokeellinen monikielinen TTS, jossa on raakavertailu kloonaus ja tyylimarkkerit
Taustaosa	MLX fp16
Tuotos	44,1 kHz mono-PCM
Kieli	Monikielinen
Lisenssi	Tutkimus / ei-kaupallinen nippu; hankkia Fish Audio lisenssi kaupallisen altistumisen
Tila	Ohjelmallinen ajoaika; CLI-integraatio on vielä kesken
Lähde	Fish Audio S2 Pro
Swift -tuote	`FishAudioTTS`
CLI / ajoaika	Ohjelmallinen aikataulu tänään; suunniteltu puhe --engine kala-audio

Käyttö

Alla oleva nappula peilaa virta speech-swift API tai repon paljastamaa komentoa.

import FishAudioTTS

let model = try await FishAudioTTSModel.fromPretrained()
let pcm = try await model.generate(
    text: "आज मैं बहुत खुश हूँ। [excited]",
    referenceAudioURL: URL(fileURLWithPath: "reference.wav"),
    referenceText: "नमस्ते, यह संदर्भ आवाज है।"
)

Malli Linkit

Täytäntöönpano Huomioita

Lataa käyttää uudempi nimenomainen tavupainotettu tiedosto manifesti, joten edistyminen heijastaa todellisia siirretty tavuja läpi multi-GB sirpaleita.
Ohjausmerkkejä ovat [tauko], [korostus], [naurua], [vihaa],[kuiskaa], [huutava], [yllätys] ja [huutavia].
Runtime tuottaa 10 DAC-koodikirjariviä, sitten purkaa koodeja syntyy tai referenssi-ehdollinen koodikirjat kautta FishAudioCodec.
Nykyiset testit kattavat nippukuorman, koodikirjan luomisen, koodekkikoodauksen/dekoodaamisen, hindikloonauksen ja ASR -kierrosportit.

Fish Audio Draama 3

Kokeellinen natiivi MLX tuki Drama 3:lle on saatavilla FishAudioDrama3Model. A 35B hybridi-huomio MoE:n selkärangan, ajallisen audiotornin ja Fish DAC:n koodekki tuottaa 44,1 kHz monoääni. 4-bittinen tarkastuspiste läpäisty aaltomuoto ja riippumaton ASR tarkastukset teksti-, vertailukloonaus- ja CLI-lähtöä Apple M5 Pro. 8-bittinen ja BF16 ei ole validoitu.

Oletusarvo balanced -tila leikkaa joutokäyntiä MLX -puskurit yli 512 MiB:n vaiheen rajoilla. Jaettua malli-elämänajan välimuistin korkkia sovelletaan myös, säilyttäen alemmat soittajan budjetit; kumpikaan kontrolli ei rajoita prosessin kokonaismuistia. --fish-drama3-memory-mode unrestricted tai memoryOptions: .unrestricted kuormitus painot innokkaasti ja ohittaa vaiheen trimmaamisen säilyttäen kuitenkin eliniän ylärajan.

Vain tekstisukupolvi lykkää 794.4 MiB:n viitekoodaajan painoja. Ensimmäinen viitekoodataa ja säilyttää kuormat, joten pidä codec.safetensors saatavilla siihen asti. Esimerkityt viitekoodit eivät tarvitse koodainta.

Anna täydellinen syöteteksti. Äänen kloonaus edellyttää viite leikkeen ja sen tarkka transkripti. 0–15 ja inline tunteita tuetaan. PCM streaming on saatavilla kautta generateStreaming, generateStream sekä --stream. Oletuspala sisältää 3 koodekki kehykset, noin 139 ms audio. Automaattinen pitkätekstin paloittelu ja streamattu teksti syötetään edelleen ei saatavilla.

speech speak "Hello from Drama 3." --engine fish-drama3 --fish-drama3-bundle-dir /path/to/bundle -o hello.wav
speech speak "Hello from Drama 3." --engine fish-drama3 --stream --fish-drama3-chunk-frames 3 -o streamed.wav
speech speak "Hello in the reference voice." --engine fish-drama3 --voice-sample reference.wav --fish-drama3-reference-text "The exact reference transcript." --seed 42 -o cloned.wav

import FishAudioTTS
let model = try await FishAudioDrama3Model.fromBundle(bundleURL, memoryOptions: .balanced)
let pcm = try await model.generate(text: "Hello from Drama 3.", options: .init(seed: 42))
try await model.generateStreaming(text: "Hello from Drama 3.", options: .init(seed: 42, streamingChunkFrames: 3)) { chunk in
    print(chunk.frameIndex, chunk.samples.count, chunk.isFinal)
}

Vaihtoehto	Oletus
`--fish-drama3-model-id`	`mlx-community/fish-audio-drama-3-4bit`
`--fish-drama3-bundle-dir`	`—`
`--fish-drama3-reference-text`	`—`
`--fish-drama3-max-frames`	`2048`
`--fish-drama3-temperature`	`1`
`--fish-drama3-top-k`	`30`
`--fish-drama3-top-p`	`0.9`
`--voice-sample`	`—`
`--seed`	`0`
`--stream`	`false`
`--fish-drama3-chunk-frames`	`3`
`--fish-drama3-memory-mode`	`balanced`

Rakennettu Fish Audio. Bundlesilla on yhteisön lisenssi ja ilmoitus.

4-bittinen vertailuarvo

Tila	Ensimmäinen PCM, ms	Lämmin synteesi	Ääntä, s	RTF	Peak RSS, GiB	Huippu fyysinen jalanjälki, GiB
Vain teksti / puskuroitu	—	2.306	3.483	0.662	14.457	24.220
Vertailukloonaus / puskuroitu	—	2.681	3.204	0.837	15.064	24.789
Vain teksti / streaming	275.3	2.529	3.483	0.726	15.571	22.321
Viitekloonaaminen / Streaming	730.2	2.860	3.204	0.893	14.676	23.885

Omena M5 Pro 48 GiB, vapauta. 2026-10-17. Mediaani kolme lämmintä puhelua, mittaavat täydellisen aaltomuodon sukupolven. Malli lastaus ja WAV tiedosto I/O on suljettu pois; kloonaus sisältää viitekoodauksen jokaisen puhelun yhteydessä. RTF = synteesiaika / äänen kesto. Riippumaton ASR: 16/16 leikkeitä, nolla sanavirheitä. Käytä fyysistä jalanjälkeä yhtenäiseen muistin mitoitukseen. Ensimmäinen PCM on ensimmäinen ei-tyhjä streaming Callback; puskuroitu rivejä ei ole palautteena. 139.3 Äänen toiston käynnistymistä ei mitattu.