Maskinoversættelse · Engelsk original

FireRedTTS3-Instruct

Eksperimentel

Byg native SDK støtte fra hovedkilden. Homebrew og andre præbyggede CLI udgivelser kan ikke inkludere disse motorer endnu.

Native MLX stemme design fra et præcist script og en stemme instruktion. Mono PCM på 24 kHz; ingen reference optagelse er påkrævet.

FireRedTTS3-Instruct bevarer Float32 model og dekoder vægte. Det returnerer buffered audio: udelt --stream. Engelsk og kinesisk --language aliaser accepteres. En generation grænse hæver en fejl i stedet for at returnere trunkeret succes.

SDK kildeopbygning

Gennemførelse (PR # 541): main

git clone --single-branch --branch main https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Published MLX bundter: aufklarer/FireRedTTS3-Instruct-MLX-fp32

Kommandolinje

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

Giv et tekstargument, --instruct, og præcis en bundt mappe eller kompatibel model ID. Reference lyd, faste højttalere og batch input er ikke understøttet.

Hvert tekst- og instruktionsfelt er begrænset til 32,768 UTF-8 bytes. Den komplette afleverede inddataport, herunder dens skabelon, skal passe inden for 4,096 tokens. Indgange, der overskrider begge grænser, afvises.

Instruktion TTS muligheder

Swift API

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

Målinger af driftstid for kortscript

M5 Pro, 48 GiB, Release. Et kort neutralt script per sprog; medians af tre varme anmodninger efter den første. Indlæsning og vægt verifikation er udelukket; filsystem caches var varme. RTF = væg tid / lydvarighed, lavere er hurtigere. Fysisk hukommelse er processen højvande på tværs af lastning og fire anmodninger, i decimal GB.

ScriptLyd (r)Varm komplet PCM (er)RTFMaksimal fysisk hukommelse (GB)
Engelsk2.724.4991.65410.819
Mandarin5.2811.2212.12511.700

Valideringsområde

Instruction- følgende kvalitet er uscoret. Kortscriptmålinger beskriver den testede opsætning; eksisterende-model latency certificering forbliver ukonklusivt.

Indfødt instruktion TTS

Kilder