MOSS-VoiceGenerator

Experimental

Os bundles MLX são públicos. O SDK exige o ramo de revisão abaixo (PR #541 em rascunho).

Design de voz em MLX nativo com roteiro exato e instrução de voz. PCM mono a 24 kHz, sem gravação de referência.

MOSS-VoiceGenerator mantém pesos de linguagem BF16 e o codec de síntese FP32. Use --stream para PCM incremental. Omita --language e inclua o idioma em --instruct. A conclusão esvazia os dezesseis livros de códigos.

Ramo de revisão do SDK

Ramo de revisão do SDK (PR #541): feat/instructtts-candidates-20261029

git clone --single-branch --branch feat/instructtts-candidates-20261029 https://github.com/soniqo/speech-swift.git
cd speech-swift
make build

Bundles MLX publicados: aufklarer/MOSS-VoiceGenerator-MLX-bf16

Linha de comando

.build/release/speech speak "The little boat crossed the quiet lake before sunset." \
  --engine moss-voicegenerator \
  --moss-voicegenerator-model-id aufklarer/MOSS-VoiceGenerator-MLX-bf16 \
  --instruct "A warm adult female voice, speaking English slowly." \
  --stream --seed 42 --output moss.wav

Forneça um texto, --instruct e exatamente um diretório de pacote ou ID compatível. Áudio de referência, falantes fixos e entrada em lote não são suportados.

Opções de TTS por instruções

API Swift

import MossVoiceGeneratorTTS

let model = try await MossVoiceGeneratorModel.fromPretrained(
    modelId: "aufklarer/MOSS-VoiceGenerator-MLX-bf16")
let output = try await model.generate(
    text: "The little boat crossed the quiet lake before sunset.",
    instruction: "A warm adult female voice, speaking English slowly.",
    options: .init(maxFrames: 150, seed: 42))
let pcm = output.samples
model.unload()

Medições com textos curtos

M5 Pro, 48 GiB, Release. Um texto neutro curto por idioma; medianas de três pedidos a quente após o primeiro. Carregamento e verificação dos pesos excluídos; caches de ficheiros quentes. RTF = tempo de execução / duração do áudio: menor é mais rápido. A memória física é o máximo do processo durante o carregamento e quatro pedidos, em GB decimais.

TextoÁudio (s)Primeiro PCM a quente (s)RTFPico de memória física (GB)
Inglês3.440.4700.6108.448
Mandarim4.880.4570.5728.619

O áudio inglês de medição tem uma divergência não resolvida: o Parakeet acrescenta “and” no fim e o Qwen3-ASR corresponde ao texto completo. Ambos os resultados foram preservados.

Escopo de validação

O cumprimento de instruções ainda não foi pontuado. As medições com textos curtos descrevem a configuração testada; a certificação de regressão de latência continua inconclusiva.

TTS nativo por instruções

Fontes