Tłumaczenie automatyczne · Oryginał angielski

FireRedTTS3-Instruct

Eksperymentalne

Zbuduj natywną obsługę SDK z głównego źródła. Homebrew i inne wcześniej zbudowane wydania CLI mogą jeszcze nie zawierać tych silników.

Native MLX voice design from a exact script and a voice instruction. Mono PCM at 24 kHz; nie jest wymagane rejestrowanie odniesienia.

FireRedTTS3-Instruct zachowuje model Float32 i wagi dekoderów. Zwraca buforowany dźwięk: omit --stream. Angielski i chiński aliasy --language są akceptowane. Granica generacji podnosi błąd zamiast zwrotu okrojonego sukcesu.

Budowa źródła SDK

Realizacja (PR # 541): main

git clone --single-branch --branch main https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Opublikowane pakiety MLX: aufklarer/FireRedTTS3-Instruct-MLX-fp32

Linia poleceń

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

Dostarcz jeden argument tekstowy, --instruct, i dokładnie jeden katalog pakietów lub kompatybilny model ID. Referencyjne audio, stałe głośniki i wejście wsadowe są nieobsługiwane.

Każde pole tekstowe i instruktażowe jest ograniczone do bajtów 32,768 UTF-8. Kompletny wyświetlony sygnał wejściowy, w tym jego szablon, musi mieścić się w żetonach 4,096, przy czym wejścia przekraczające każdą z wartości granicznych są odrzucane.

Instrukcja Opcje TTS

Swift API

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

Pomiary w czasie pracy w skrypcie skróconym

M5 Pro, 48 GiB, Release. Jeden krótki neutralny skrypt na język; mediatorzy trzech ciepłych żądań po pierwszym. Weryfikacja obciążenia i wagi są wykluczone; bufory systemu plików były ciepłe. RTF = czas ścianki / czasu audio, niższy. Pamięć fizyczna jest procesem high-water przez załadunek i cztery żądania, w dziesiętnym GB.

SkryptAudio (s)Ciepła (-a) pełna (-e) PCM (-i)RTFSzczytowa pamięć fizyczna (GB)
Angielski2.724.4991.65410.819
Mandarynka5.2811.2212.12511.700

Zakres zatwierdzenia

Pomiary krótkiego skryptu opisują testowaną konfigurację; istniejący model certyfikacji opóźniania pozostaje nierozstrzygający.

Instrukcja dla tubylców TTS

Źródła