Strojový překlad · Anglický originál

Architektura

Individuální instrukce TTS

Vybudovat nativní podporu SDK z hlavního zdroje. Homebrew a další předkonstruované CLI verze nemusí zahrnovat tyto motory ještě.

Implementace (PR # 541): main

Publikované balíky MLX: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct uchovává Float32 model a dekodérové závaží. Vrací buffered audio: omit --stream. Anglické a čínské --language aliasy jsou přijímány. Generační limit zvyšuje chybu místo návratu zkrácený úspěch.

MOSS- VoiceGeneGenerator — MossVoiceGeneratorTTS: MOSS-VoiceGeneGenerator udržuje BF16 jazykové váhy a syntetický kodek FP32. Použijte --stream pro přírůstkové PCM. Omit --language a dát jazykové požadavky v --instruct .Dokončení odčerpává všech šestnáct kódbooků.

Každé pole textu a instrukcí je omezeno na 32,768 UTF-8 bytes. Kompletní vykreslený vstupní příkaz, včetně jeho šablony, se musí vejít do žetonů 4,096. Vstupy překračující buď limit jsou zamítnuty.

Instruction- following quality is unscored. Měření skriptu popisují testované nastavení; certifikace existující modelu latence zůstává neprůkazná.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift je organizován jako modulární Swift balíček se sdílenými protokoly, nezávislými modelovými moduly a jednotným CLI. Všechny inference běží on- device pomocí MLX (Metal GPU) nebo CoreML (Neural Engine).

Graf závislostí modulu

                    ┌──────────┐
                    │ AudioCLI │  (entry point)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (commands)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (shared layers)       │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocols, audio I/O)

MOSS Transcribe Diarize

MossTranscribe CoreML používá fixní 1,024- token MLState pro krátké nahrávky. MLX využívá dynamicky rostoucí kontext 131,072-token, afine INT5 / INT8 dekodér hmotnosti, a volitelné FP16-INT8 KV cache pro globální kontextualizované transskripty. Oba jsou offline, autoregresivní runtimes spíše než streaminové modely.

VoiceChat 11B

Úkol a odkaz: duplexní řeč-to-řeč; SALM- Duplex: Efektivní a přímé Duplex Modeling pro Speech- to- Speech Language Model (Interspeak 2025), citováno na kartě NVIDIA na vzestupu od VoiceChat.

Kompletní runtime, M5 Pro 48 GB, uvolnění, 80 ms live cadence: Protekted-head INT5 peak RSS je asi 8.69 GB; tři kontrolované celotělové RTF výsledky byly 0.96, 0.96 a 0.99. Optimalizovaný výkon INT8 nebyl dosud přeměřen.

VoiceChat implementuje kompletní rodný MLX audio- to- audio cesta: kauzální vnímání FastConformer, Nemotron- H duplexní textové / funkční kanály, samostatný textový dekodér Ear- TTS s osmi iteracemi MaskGIT a 22.05 kHz neurální kodek. Streaming udržuje ohraničenou per- vrstvu pozornosti a carex - konvoluční cache, zatímco ustálené ive kodek-rám okno používá sestavený graf. 80 ms vstupní rámec vytváří jazykové rozhodnutí, 31 RVQ kódy a přesně 1,764 výstupní vzorky. Nakladač vyžaduje kompletní encoder/ + llm/ + tts/ Svazek a odmítá starší porozumění-pouze exporty. INT5 nyní udržuje agregátní RTF pod 1 na testovaných M5 Pro, i když per- frame p95 headroom zůstává úzký.

Zálohy inference

Model Váhový formát

Použití modelů MLX safetensors formát s 4-bit nebo 8-bitová kvantifikace (velikost skupiny 64). CoreML používání modelů .mlmodelc kompilovaný formát. Převod skriptů v scripts/ konvertovat z PyTorch kontrolních bodů.

Cohere a Voxtral také použití MLX afin INT5 Svazky. MLX nepodporuje afinu INT7; INT8 je podporovaná volba vyšší kvality.

Inicializace modelu MLX

QuantizedLinear.preQuantized vytváří nulové zástupné hodnoty pro kvantované lineární vrstvy načítané z checkpointu, čímž se vyhne náhodným vahám a jejich dočasným kvantizačním grafům. withThrowawayRandomState brání tomu, aby zahazovaná inicializace s plovoucí řádovou čárkou ovlivnila řetězec náhodných klíčů volajícího. Složené načítací funkce vymezují každou komponentu: T5 a EnCodec v MAGNeT, T5Gemma a SAME-L ve Stable Audio 3 a kodek Mimi v CSM. Kvantované embeddingy CSM stále používají původní inicializátor a zachovávají jeho známé omezení inicializačního grafu.

Optimalizace výkonu

• MLX kompilace - Qwen3-TTS sestavuje Talker nad jeho rostoucí valid- prefix cache a sestavuje pevný rámec kódu skupiny 15- jako jeden graf pro syntézu single-položky.
• Metal shader knihovna - Pre- compilation metallib avoids ~ 5x JIT compilation režie. scripts/build_mlx_metallib.sh.
• dekódování kodeků chunked - TTS dekodér zpracovává řeč v rámečcích 25- s překrytím rámce 10-, aby se zabránilo timeout GPU.
• Kabely - zdvojnásobené CFG - CosyVoice3 DiT poloviční průtok protéká záplavou podmíněného + bezpodmínečného společně.
• FUZE ROPE - Použití MLXNN.RoPE krytý jádrem Metal místo ruční rotace.
• BN fúze - WeSpeaker dávková normalizace se v čase přeměny spojila do závaží Conv2d.

Zpracování zvuku

Všechny audio I / O používá Float32 PCM. Interní přepočítání rukojeti konverzi formátu:

Struktura zdroje

Sources/
  AudioCommon/            Shared protocols, audio I/O, system-output capture
                          (SystemAudioTap), HuggingFace downloader,
                          SentencePieceModel (protobuf reader)
  MLXCommon/              MLX utilities: weight loading, QuantizedLinear helpers,
                          SDPA multi-head attention helper, metal budget
  Qwen3Common/            Shared model components (KV cache, RoPE, quantization)
  Qwen3ASR/               Qwen3-ASR speech-to-text
  ParakeetASR/            Parakeet TDT speech-to-text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dictation (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1,672 languages
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS text-to-speech
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 text-to-speech
  KokoroTTS/              Kokoro-82M text-to-speech (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B on-device LLM chat (MLX + CoreML)
  PersonaPlex/            PersonaPlex speech-to-speech
  SpeechVAD/              VAD (Silero + Pyannote), diarization, speaker embeddings
  SpeechLanguageID/       Spoken language identification (SpeechBrain ECAPA, MLX + CoreML, 107 labels)
  SpeechEnhancement/      DeepFilterNet3 noise suppression (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI command implementations
  AudioCLI/               CLI entry point

scripts/              Model conversion (PyTorch → MLX/CoreML), benchmarking
Tests/                Unit and integration tests
Examples/             Demo apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: Nativní MLX klasifikace a rozdělení subjektů (INT8, FP16 nebo FP32 závaží); ne Python v době inference.

Clef- flash: vývojový náhled místních textových rozhodnutí (9B, afine 4-bit MLX), se společnou hlavou schématu a samostatným umístěním před ním.