MOSS-VoiceGenerator

Thử nghiệm

Các gói MLX đã công khai. SDK cần nhánh đánh giá bên dưới (PR nháp #541).

Thiết kế giọng bằng MLX thuần từ kịch bản chính xác và chỉ dẫn giọng nói. PCM đơn kênh 24 kHz, không cần bản ghi tham chiếu.

MOSS-VoiceGenerator giữ trọng số ngôn ngữ BF16 và codec tổng hợp FP32. Dùng --stream để nhận PCM từng phần. Bỏ --language và đặt yêu cầu ngôn ngữ trong --instruct. Kết thúc sẽ xuất đủ cả mười sáu bảng mã.

Nhánh đánh giá SDK

Nhánh đánh giá SDK (PR #541): feat/instructtts-candidates-20261029

git clone --single-branch --branch feat/instructtts-candidates-20261029 https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Gói MLX đã công bố: aufklarer/MOSS-VoiceGenerator-MLX-bf16

Dòng lệnh

.build/release/speech speak "The little boat crossed the quiet lake before sunset." \
  --engine moss-voicegenerator \
  --moss-voicegenerator-model-id aufklarer/MOSS-VoiceGenerator-MLX-bf16 \
  --instruct "A warm adult female voice, speaking English slowly." \
  --stream --seed 42 --output moss.wav

Cung cấp một văn bản, --instruct và đúng một thư mục gói hoặc ID mô hình tương thích. Không hỗ trợ âm thanh tham chiếu, người nói cố định hay đầu vào hàng loạt.

Tùy chọn TTS theo chỉ dẫn

API Swift

import MossVoiceGeneratorTTS

let model = try await MossVoiceGeneratorModel.fromPretrained(
    modelId: "aufklarer/MOSS-VoiceGenerator-MLX-bf16")
let output = try await model.generate(
    text: "The little boat crossed the quiet lake before sunset.",
    instruction: "A warm adult female voice, speaking English slowly.",
    options: .init(maxFrames: 150, seed: 42))
let pcm = output.samples
model.unload()

Số đo chạy văn bản ngắn

M5 Pro, 48 GiB, Release. Mỗi ngôn ngữ dùng một đoạn trung tính ngắn; trung vị ba yêu cầu đã làm nóng sau yêu cầu đầu. Không gồm tải và xác minh trọng số; bộ nhớ đệm tệp đã làm nóng. RTF = thời gian chạy / độ dài âm thanh, càng thấp càng nhanh. Bộ nhớ vật lý là mức cao nhất của tiến trình khi tải và chạy bốn yêu cầu, theo GB thập phân.

Văn bảnÂm thanh (s)PCM đầu tiên khi đã làm nóng (s)RTFBộ nhớ vật lý đỉnh (GB)
Tiếng Anh3.440.4700.6108.448
Tiếng Quan thoại4.880.4570.5728.619

Âm thanh tiếng Anh đo thời gian có bất đồng nhận dạng chưa giải quyết: Parakeet thêm “and” ở cuối, Qwen3-ASR khớp toàn bộ văn bản. Cả hai kết quả đều được giữ lại.

Phạm vi xác minh

Chất lượng làm theo chỉ dẫn chưa được chấm điểm. Số đo văn bản ngắn chỉ mô tả cấu hình đã thử; kiểm chứng hồi quy độ trễ vẫn chưa có kết luận.

TTS thuần theo chỉ dẫn

Nguồn