FireRedTTS3-Instruct

Нативный MLX создаёт голос по точному тексту и голосовой инструкции. Выход — моно PCM 24 кГц; эталонная запись не нужна.

FireRedTTS3-Instruct сохраняет веса модели и декодера Float32. Аудио возвращается целиком из буфера: не используйте --stream. --language принимает английские и китайские обозначения языка. Достижение лимита вызывает ошибку, а не успешную выдачу обрезанной записи.

Ветка проверки SDK

Ветка проверки SDK (PR #541): feat/instructtts-candidates-20261029

git clone --single-branch --branch feat/instructtts-candidates-20261029 https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Опубликованные пакеты MLX: aufklarer/FireRedTTS3-Instruct-MLX-fp32

Командная строка

.build/release/speech speak "The weather is beautiful today." \
  --engine fireredtts3 \
  --fireredtts3-model-id aufklarer/FireRedTTS3-Instruct-MLX-fp32 \
  --instruct "A calm adult female voice, speaking warmly and clearly." \
  --seed 2 --output firered.wav

Укажите один текст, --instruct и ровно один каталог пакета или ID совместимой модели. Эталонное аудио, фиксированные дикторы и пакетный ввод не поддерживаются.

Параметры TTS с инструкциями

Swift API

import FireRedTTS3TTS

let model = try await FireRedTTS3Model.fromPretrained(
    modelId: "aufklarer/FireRedTTS3-Instruct-MLX-fp32")
let output = try await model.generateWithPlan(
    text: "The weather is beautiful today.",
    instruction: "A calm adult female voice, speaking warmly.")
let pcm = output.samples
model.unload()

Измерения на коротких текстах

M5 Pro, 48 GiB, Release. Один короткий нейтральный текст на язык; медиана трёх прогретых запросов после первого. Загрузка и проверка весов исключены; файловый кеш прогрет. RTF = время работы / длительность аудио: меньше означает быстрее. Физическая память — максимум процесса за загрузку и четыре запроса, в десятичных GB.

Область проверки

Качество выполнения инструкций ещё не оценивалось. Короткие тексты описывают лишь проверенную конфигурацию; проверка регрессии задержки остаётся без однозначного результата.

Нативный TTS с инструкциями

Источники

• FireRedTTS3
• Speech Swift