Maskinöversättning · Engelskt original

FireRedTTS3-Instruct

Experimentell

Bygg infödda SDK stöd från huvudkälla. Homebrew och andra förbyggda CLI-utgåvor kanske inte inkluderar dessa motorer ännu.

Native MLX röstdesign från ett exakt skript och en röstinstruktion. Mono PCM vid 24 kHz; ingen referensinspelning krävs.

FireRedTTS3-Instruct behåller Float32 modell och decoder vikter. Det returnerar buffert ljud: omit --stream. engelska och kinesiska --language alias accepteras. En generationsgräns höjer ett fel istället för att returnera truncerad framgång.

SDK källbyggnad

Implementering (PR #541): main

git clone --single-branch --branch main https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Publicerad MLX buntar: aufklarer/FireRedTTS3-Instruct-MLX-fp32

Command line

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

Ge ett textargument, --instruct, och exakt en bunt katalog eller kompatibel modell ID. Referens ljud, fasta högtalare och batch ingång är ostödda.

Varje text- och instruktionsfält är begränsat till 32.768 UTF-8 byte. Den fullständiga ingångsprompten, inklusive dess mall, måste passa inom 4.096 tokens. Ingångar som överstiger gränsen avvisas.

Instruktion TTS alternativ

Swift API

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

Short-script runtime mätningar

M5 Pro, 48 GiB, Release. Ett kort neutralt manus per språk; medianer av tre varma önskemål efter det första. Lastning och viktverifiering utesluts; filsystem caches var varm. RTF = väggtid / ljud varaktighet, lägre är snabbare. Fysiskt minne är processen högvatten över lastning och fyra önskor, i decimal GB.

SkriftenAudio (s)Varm komplett PCM (s)RTFPeak fysiskt minne (GB)
Engelska engelska engelska2.724.4991.65410.819
Mandarin5.2811.2212.12511.700

Validering Omfattning

Instruktionsföljande kvalitet är oscored. Kortskriftsmätningar beskriver den testade inställningen; befintlig-modell latens certifiering förblir oavslutande.

Native instruktion TTS

Källor