FireRedTTS3-Instruct

ออกแบบเสียงด้วย MLX แบบเนทีฟจากบทพูดตรงตามต้นฉบับและคำสั่งเสียง ส่งออก PCM โมโน 24 kHz โดยไม่ต้องใช้เสียงอ้างอิง

FireRedTTS3-Instruct คงน้ำหนักโมเดลและตัวถอดรหัสแบบ Float32 ส่งคืนเสียงที่บัฟเฟอร์ครบแล้ว จึงต้องไม่ใช้ --stream ส่วน --language ยอมรับชื่อภาษาอังกฤษและจีน เมื่อถึงขีดจำกัดจะเกิดข้อผิดพลาดแทนการส่งเสียงที่ตัดขาดเป็นผลสำเร็จ

สาขาตรวจทาน SDK

สาขาตรวจทาน SDK (PR #541): feat/instructtts-candidates-20261029

git clone --single-branch --branch feat/instructtts-candidates-20261029 https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

บันเดิล MLX ที่เผยแพร่แล้ว: aufklarer/FireRedTTS3-Instruct-MLX-fp32

บรรทัดคำสั่ง

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

ระบุข้อความหนึ่งรายการ --instruct และเลือกไดเรกทอรีบันเดิลหรือ ID โมเดลที่เข้ากันได้อย่างใดอย่างหนึ่ง ไม่รองรับเสียงอ้างอิง ผู้พูดคงที่ หรือข้อมูลแบบแบตช์

ตัวเลือก TTS ตามคำสั่ง

Swift API

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

ผลวัดรันไทม์จากข้อความสั้น

M5 Pro, 48 GiB, Release ใช้ข้อความสั้นที่เป็นกลางหนึ่งข้อความต่อภาษา รายงานมัธยฐานของคำขอหลังวอร์มสามครั้งหลังคำขอแรก ไม่รวมการโหลดและตรวจสอบน้ำหนัก แคชไฟล์ถูกวอร์มแล้ว RTF = เวลาทำงาน / ความยาวเสียง ค่ายิ่งต่ำยิ่งเร็ว หน่วยความจำกายภาพคือค่าสูงสุดของกระบวนการขณะโหลดและคำขอทั้งสี่ ในหน่วย GB ฐานสิบ

ขอบเขตการตรวจสอบ

ยังไม่ได้ให้คะแนนคุณภาพการทำตามคำสั่ง ผลวัดข้อความสั้นอธิบายเฉพาะชุดทดสอบนี้ การรับรองการถดถอยด้านเวลาแฝงยังสรุปไม่ได้

TTS ตามคำสั่งแบบเนทีฟ

แหล่งที่มา

• FireRedTTS3
• Speech Swift