FireRedTTS3-Instruct

Experimentell

Die MLX-Bundles sind öffentlich. Die SDK-Unterstützung erfordert den unten verlinkten Review-Branch (Entwurfs-PR #541).

Natives MLX-Stimmdesign aus unverändertem Sprechtext und einer Stimmanweisung. Mono-PCM mit 24 kHz; keine Referenzaufnahme erforderlich.

FireRedTTS3-Instruct behält Float32-Modell- und Decodergewichte. Audio wird vollständig gepuffert zurückgegeben: --stream weglassen. --language akzeptiert englische und chinesische Aliase. Ein Generierungslimit führt zu einem Fehler statt zu abgeschnittenem Erfolg.

SDK-Review-Branch

SDK-Review-Branch (PR #541): feat/instructtts-candidates-20261029

git clone --single-branch --branch feat/instructtts-candidates-20261029 https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Veröffentlichte MLX-Bundles: aufklarer/FireRedTTS3-Instruct-MLX-fp32

Befehlszeile

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

Ein Textargument, --instruct und genau ein Bundle-Verzeichnis oder eine kompatible Modell-ID sind erforderlich. Referenzaudio, feste Sprecher und Batch-Eingaben werden nicht unterstützt.

Optionen für anweisungsgesteuertes TTS

Swift-API

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

Laufzeitmessungen mit Kurztexten

M5 Pro, 48 GiB, Release. Ein kurzer neutraler Text pro Sprache; Median aus drei warmen Anfragen nach der ersten. Laden und Gewichtsprüfung sind ausgeschlossen; Dateisystem-Caches waren warm. RTF = Laufzeit / Audiodauer: kleiner ist schneller. Physischer Speicher ist der Prozesshöchstwert über das Laden und vier Anfragen in dezimalen GB.

TextAudio (s)Vollständiges PCM, warm (s)RTFMaximaler physischer Speicher (GB)
Englisch2.724.4991.65410.819
Mandarin5.2811.2212.12511.700

Validierungsumfang

Die Anweisungsbefolgung ist unbewertet. Kurztextmessungen beschreiben den getesteten Aufbau; die Latenz-Regressionsprüfung bestehender Modelle bleibt ohne eindeutiges Ergebnis.

Natives anweisungsgesteuertes TTS

Quellen