FireRedTTS3-Instruct

Deneysel

MLX paketleri yayımlandı. SDK aşağıdaki inceleme dalını gerektirir (taslak PR #541).

Tam metin ve ses talimatından yerel MLX ile ses tasarımı. Referans kaydı gerekmeden 24 kHz mono PCM üretir.

FireRedTTS3-Instruct model ve çözücü ağırlıklarını Float32 olarak korur. Sesi tamamen tamponlanmış döndürür: --stream kullanmayın. --language İngilizce ve Çince adlarını kabul eder. Üretim sınırına ulaşmak kesilmiş başarı yerine hata verir.

SDK inceleme dalı

SDK inceleme dalı (PR #541): feat/instructtts-candidates-20261029

git clone --single-branch --branch feat/instructtts-candidates-20261029 https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Yayımlanmış MLX paketleri: aufklarer/FireRedTTS3-Instruct-MLX-fp32

Komut satırı

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

Bir metin, --instruct ve tam olarak bir paket dizini ya da uyumlu model kimliği verin. Referans ses, sabit konuşmacılar ve toplu giriş desteklenmez.

Talimatlı TTS seçenekleri

Swift API

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

Kısa metin çalışma ölçümleri

M5 Pro, 48 GiB, Release. Dil başına kısa ve nötr bir metin; ilk istekten sonraki üç sıcak isteğin medyanı. Yükleme ve ağırlık doğrulaması hariçtir; dosya önbelleği sıcaktı. RTF = çalışma süresi / ses süresi; düşük değer daha hızlıdır. Fiziksel bellek, yükleme ve dört istekteki süreç tepe değeridir; ondalık GB cinsindendir.

MetinSes (s)Sıcak tam PCM (s)RTFEn yüksek fiziksel bellek (GB)
İngilizce2.724.4991.65410.819
Mandarin5.2811.2212.12511.700

Doğrulama kapsamı

Talimat izleme kalitesi henüz puanlanmadı. Kısa metin ölçümleri test edilen kurulumu gösterir; mevcut modellerin gecikme regresyonu doğrulaması sonuçsuzdur.

Yerel talimatlı TTS

Kaynaklar