FireRedTTS3-Instruct

Thiết kế giọng bằng MLX thuần từ kịch bản chính xác và chỉ dẫn giọng nói. PCM đơn kênh 24 kHz, không cần bản ghi tham chiếu.

FireRedTTS3-Instruct giữ trọng số Float32 của mô hình và bộ giải mã. Âm thanh được trả trọn vẹn từ bộ đệm: bỏ --stream. --language chấp nhận bí danh tiếng Anh và tiếng Trung. Chạm giới hạn sẽ báo lỗi, không coi âm thanh bị cắt là thành công.

Nhánh đánh giá SDK

Nhánh đánh giá SDK (PR #541): feat/instructtts-candidates-20261029

git clone --single-branch --branch feat/instructtts-candidates-20261029 https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Gói MLX đã công bố: aufklarer/FireRedTTS3-Instruct-MLX-fp32

Dòng lệnh

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

Cung cấp một văn bản, --instruct và đúng một thư mục gói hoặc ID mô hình tương thích. Không hỗ trợ âm thanh tham chiếu, người nói cố định hay đầu vào hàng loạt.

Tùy chọn TTS theo chỉ dẫn

API Swift

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

Số đo chạy văn bản ngắn

M5 Pro, 48 GiB, Release. Mỗi ngôn ngữ dùng một đoạn trung tính ngắn; trung vị ba yêu cầu đã làm nóng sau yêu cầu đầu. Không gồm tải và xác minh trọng số; bộ nhớ đệm tệp đã làm nóng. RTF = thời gian chạy / độ dài âm thanh, càng thấp càng nhanh. Bộ nhớ vật lý là mức cao nhất của tiến trình khi tải và chạy bốn yêu cầu, theo GB thập phân.

Phạm vi xác minh

Chất lượng làm theo chỉ dẫn chưa được chấm điểm. Số đo văn bản ngắn chỉ mô tả cấu hình đã thử; kiểm chứng hồi quy độ trễ vẫn chưa có kết luận.

TTS thuần theo chỉ dẫn

Nguồn

• FireRedTTS3
• Speech Swift