Traduzione automatica · Originale inglese

Architettura

Istruzioni native TTS

Costruisci il supporto nativo SDK dalla fonte principale. Homebrew e altre versioni CLI precostruite potrebbero non includere ancora questi motori.

Attuazione (PR #541): main

Pubblicato MLX fasci: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct mantiene il modello Float32 e i pesi decoder. restituisce l'audio bufferizzato: omit --stream. Gli alias --language sono accettati. Un limite di generazione solleva un errore invece di restituire il successo troncato.

MOSS-VoiceGenerator — MossVoiceGeneratorTTS: MOSS-VoceGenerator mantiene BF16 pesi linguistici e codifica di sintesi FP32. Utilizzare --stream per PCM incrementale. Omit --language e mettere requisiti di lingua sedici in --instruct all code.

Ogni campo di testo e istruzioni è limitato a 32.768 byte UTF-8. Il prompt completo di ingresso reso, compreso il suo modello, deve essere inserito entro 4.096 token.

Le misure a breve termine descrivono la configurazione testata; la certificazione di latenza esistente rimane inconcludente.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift è organizzato come modulare Swift pacchetto con protocolli condivisi, moduli di modello indipendenti, e un CLI unificato. MLX (Metal GPU) o CoreML (Neural Engine).

Grafico della dipendenza del modulo

                    ┌──────────┐
                    │ AudioCLI │  (entry point)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (commands)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (shared layers)       │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocols, audio I/O)

MOSS Trascrive Diarize

MossTranscribe restituisce segmenti timestamp attributi dai diffusori attraverso due backend nativi. CoreML utilizza un fisso 1,024-token MLState per brevi registrazioni. MLX utilizza una crescita dinamica 131,072- contesto, affine INT5/INT8 pesi decoder, e facoltativo FP16/INT8 Le cache KV per la trascrizione a lungo termine globalmente contestualizzata, sono entrambe runtime offline, autoregressive, piuttosto che modelli di streaming.

VoiceChat 11

Task e riferimento: duplex speech-to-speech; SALM-Duplex: Efficiente e diretto Duplex Modeling for Speech-to-Speech Language Model (Interspeeč 2025), citato da NVIDIA la scheda upstream VoiceChat

Tempo pieno, M5 Pro 48 GB, Rilasciare, 80 ms cadenza live: Testa protetta INT5 picco RSS è circa 8.69 GB; tre linee intere controllate RTF risultati 0.96, 0.96e 0.99. Ottimizzato INT8 le prestazioni non sono ancora state rassicurate.

VoiceChat implementa il nativo completo MLX percorso audio-audio: la percezione causale FastConformer, i canali di testo/funzione duplex Nemotron-H, il decoder EAR-TTS con otto iterazioni MaskGIT, e un decodificatore EAR-TS 22.05 kHz neural codec. Streaming mantiene limitato l'attenzione per strato e le cache causali-convolution, mentre la finestra live codec a otto frame costante utilizza un grafico compilato. 80 ms input frame produce una decisione di lingua, 31 Codici RVQ, e esattamente 1,764 campioni di uscita. Il caricatore richiede un completo encoder/ + llm/ + tts/ INT5 supporta ora l'aggregato RTF sotto 1 sul collaudato M5 Pro, anche se per-frame p95 headroom rimane stretto.

Inferenza backends

Formato del peso del modello

I modelli MLX utilizzano safetensors formato con 4-bit o 8-bit quantization (dimensione gruppo) 64). CoreML modelli uso .mlmodelc Formato compilato. Conversion scripts in scripts/ convertire da PyTorch checkpoints.

Cohere e Voxtral anche l'uso MLX fischio INT5 fasci. MLX non supporta l'affezione INT7; INT8 è l'opzione di qualità superiore supportata.

MLX inizializzazione del modello

QuantizedLinear.preQuantized crea segnaposto a zero per gli strati lineari quantizzati caricati dal checkpoint, evitando pesi casuali e grafi temporanei di quantizzazione. withThrowawayRandomState impedisce che l’inizializzazione in virgola mobile scartata influisca sulla catena di chiavi casuali del chiamante. I caricatori compositi applicano questo ambito a ogni componente: T5 ed EnCodec di MAGNeT, T5Gemma e SAME-L di Stable Audio 3 e il codec Mimi di CSM. Gli embedding quantizzati di CSM usano ancora l’inizializzatore upstream e ne conservano la nota limitazione del grafo di inizializzazione.

Ottimizzazione delle prestazioni

• MLX compilazione — Qwen3-TTS compila il Talker sulla sua cache valida-prefisso crescente e compila il frame predittore del codice fisso 15-gruppo come un grafico per la sintesi di un singolo-item.
• Metal libreria shader — Metal lo precompilato evita ~5x JIT compilazione overhead. Costruito tramite scripts/build_mlx_metallib.sh.
• Chunked codec decode — TTS decoder elabora il discorso in chunks 25-frame con sovrapposizione di contesto 10-frame per evitare GPU
• Batch-doppiato CFG — CosyVoice3 DiT ha il flusso di corrispondenti passi di batching condizionale + incondizionato insieme.
• RoPE — Utilizza MLXNN.RoPE supportato dal kernel Metal anziché dalla rotazione manuale.
• BN fusion — WeSpeaker normalizzazione dei lotti fusa in pesi Conv2d al momento della conversione.

Lavorazione audio

Tutti gli audio I/O utilizzano Float32 PCM. Conversione interna delle maniglie di risampling:

Struttura della fonte

Sources/
  AudioCommon/            Shared protocols, audio I/O, system-output capture
                          (SystemAudioTap), HuggingFace downloader,
                          SentencePieceModel (protobuf reader)
  MLXCommon/              MLX utilities: weight loading, QuantizedLinear helpers,
                          SDPA multi-head attention helper, metal budget
  Qwen3Common/            Shared model components (KV cache, RoPE, quantization)
  Qwen3ASR/               Qwen3-ASR speech-to-text
  ParakeetASR/            Parakeet TDT speech-to-text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dictation (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1,672 languages
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS text-to-speech
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 text-to-speech
  KokoroTTS/              Kokoro-82M text-to-speech (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B on-device LLM chat (MLX + CoreML)
  PersonaPlex/            PersonaPlex speech-to-speech
  SpeechVAD/              VAD (Silero + Pyannote), diarization, speaker embeddings
  SpeechLanguageID/       Spoken language identification (SpeechBrain ECAPA, MLX + CoreML, 107 labels)
  SpeechEnhancement/      DeepFilterNet3 noise suppression (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI command implementations
  AudioCLI/               CLI entry point

scripts/              Model conversion (PyTorch → MLX/CoreML), benchmarking
Tests/                Unit and integration tests
Examples/             Demo apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide : nativo MLX classificazione e entità spans ( INT8, FP16 o FP32 pesi); no Python in tempo di inferenza.

Clef-flash : anteprima di sviluppo delle decisioni di testo locali (9B, affine 4-bit MLX), con una testa di schema comune e una uscita-embedding separata prima.