Awtomatikong salin · Orihinal sa Ingles

FireRedTTS3-Instruct

Katutubong MLX voice design mula sa eksaktong script at isang voice talent. Mono PCM sa 24 kHz; walang reference recording ang kailangan.

Ang FireRedTTS3-Instruct ay nagpapanatili ng Float32 model at decoder weights. Ito ay nagbabalik ng opensibong audio: abstraktong --stream. Ingles at Tsino --language alyasses ay tinatanggap. Ang isang hangganan ng henerasyon ay nag-aangat ng pagkakamali sa halip na ibalik ang tagumpay.

Binubuo ang SDK source

Implementasyon (PR #541): main

git clone --single-branch --branch main https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Inilathala MLX mga bungkos: aufklarer/FireRedTTS3-Instruct-MLX-fp32

Utos

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

Magtakda ng isang argumento sa teksto, --instruct, at eksaktong isang brock directory o magtutugmang modelo ID. Reference audio, mga nakapirmeng speaker at councre input ay hindi suportado.

Ang bawat teksto at larangan ng instruksiyon ay limitado sa 32,768 UTF-8 bytes. Ang kumpletong iginawad na input advanced, kabilang ang template nito, ay dapat na angkop sa loob ng 4,096 na mga pananda. Ang mga inputs na lampas sa alinmang limitasyon ay itinatakwil.

Tagubilin TTS opsyon

Swift API

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

Maikling-script na sukat ng runtime

M5 Pro, 48 GiB, Release. isang maikling neutral script kada wika; median ng tatlong mainit na kahilingan pagkatapos ng una. Ang pagkarga at timbang beripikasyon ay hindi isinasama; ang filesystem caches ay mainit. RTF = ang oras ng pader / audio tagal, mas mabilis ang pisikal na memorya. Ang pisikal na memorya ay ang proseso high-water tawid sa loading at apat na kahilingan, sa pamamagitan ng pag-eebolb.

Makatuwirang lawak

Ang instruksyon-sunod na katangian ay hindi nai-cored. ang mga maikling-script na sukat ay naglalarawan sa tested setup; ang umiiral na-model na latency serial ay nananatiling hindi tiyak.

Katutubong tagubilin TTS

Pinagmumulan

• FireRedTTS3
• Pananalitang Swift