Awtomatikong salin · Orihinal sa Ingles

Arkitektura

Katutubong instruksiyon TTS

Magtayo ng katutubong SDK suporta mula sa pangunahing pinagmulan. Homebrew at iba pang mga predibuted CLI release ay maaaring hindi pa kasama ang mga makinang ito.

Implementasyon (PR #541): main

Inilathala ang mga bungkos ng MLX: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct Napanatili ang Float32 model at decoder weights. Ito ay nagbabalik ng neutralized audio: abstraktong --stream. Ingles at Chinese --language alyases ay tinatanggap. Ang isang hangganang pang-edukasyon ay nag-aangat ng isang pagkakamali sa halip na ibalik ang regulatorated na tagumpay.

MESS-VoiceGenerator — MossVoiceGeneratorTTS: Ang MOSS-VoiceGenerator ay nagpapanatili ng BF16 language weights at ang FP32 synthesis codec. Gamitin --stream para sa incremental PCM. Omit --language at ilagay ang mga kahilingan sa wika sa --instruct. Ang komplementasyon ay nagdurulot sa lahat ng labing-anim na codebook.

Ang bawat teksto at larangan ng instruksiyon ay limitado sa 32,768 UTF-8 bytes. Ang kumpletong iginawad na input advanced, kabilang ang template nito, ay dapat na angkop sa loob ng 4,096 na mga pananda. Ang mga inputs na lampas sa alinmang limitasyon ay itinatakwil.

Ang instruksyon-sunod na katangian ay hindi nai-cored. ang mga maikling-script na sukat ay naglalarawan sa tested setup; ang umiiral na-model na latency serial ay nananatiling hindi tiyak.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift ay organisado bilang isang modular Swift pakete na may kabahaging protocol, independiyenteng modelong module, at isang nagkakaisang CLI. Ang lahat ng mga confix ay tumatakbo sa-device gamit ang MLX (Metal GPU) o CoreML (Neural Engine).

Module Dependency Graph

                    ┌──────────┐
                    │ AudioCLI │  (entry point)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (commands)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (shared layers)       │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocols, audio I/O)

MOSS Transcribe Diarize

MossTranscribe ay nagbabalik ng speaker-attributed timestamp sa pamamagitan ng dalawang katutubong backends. CoreML gumamit ng nakapirme 1,024- Totoken MLState para sa mga maiikling rekording. MLX gumamit ng dinamikong paglaki 131,072- Ang konteksto, affine INT5/INT8 mga pabigat na decoder, at opsyonal FP16/INT8 Ang mga cache ng KV para sa global refluentualized long-form transcription. ang parehong ito ay offline, autoregressive runtimes sa halip na daloy ng mga modelo.

VoiceChat 11B

Task at reference: Malplex pagsasalita-to-speech; SALM-Duplex: Diksyunaryo at Direksyon Duplex Pagmomodelo para sa Wikang Pagsasalita-to-Speech (Interspeech 2025), na binanggit ng NVIDIA's terial VoiceChat model card.

Ganap na pagtakbo, M5 Pro 48 GB, Paglaya, 80 Ang mga m ay nabubuhay: Ang protektadong-head INT5 peak RSS ay tungkol sa 8.69 GB; tatlong kontroladong buong-pipeline RTF na mga resulta ay 0.96, 0.96 at 0.99. Optimized INT8 performance ay hindi pa muling nai-record.

VoiceChat Mga kasangkapan na kumpleto sa katutubo MLX Daang audio-to-audio: causal FastConner perception, ang Nemotron-H duplex text/function channels, ang standale text-conditioned premier-TTTS decoder na may walong MaskGIT terrections, at isang standition 22.05 Ang kHz neural codec. Streaming ay nagpapanatili ng mga naka-bigkis na per-layer na pansin at causal-convolution caches, habang ang di-nagtatag na walong-frame live codec window ay gumagamit ng isang tinipong graph. 80 Ang input frame ay gumagawa ng isang desisyon sa wika, 31 Mga kodigo ng RVQ, at eksaktong 1,764 Mga sampol ng output. encoder/ + llm/ + tts/ Bugburin at tanggihan ang mga mas lumang pang-unawa-lamang na iniluluwas. INT5 ngayon supply aggregate RTF sa ibaba ng 1 na nasa test M5 Pro, bagaman nananatiling makitid ang per-frame p95 headroom.

Ang Kawalang - Katarungan ay Sumusuporta

Modelong Pamantas sa Timbang

Ang mga modelong MLX ay gumagamit ng safetensors format na may 4-bit o 8-bit quanization (group sukat 64). CoreML na mga modelo ay gumagamit ng mga .mlmodelc na tinipong format. Conversion scripts sa scripts/ na mga mortifict mula sa PyTorchpoint.

Cohere at Voxtral gumagamit din ng MLX affine INT5 faults. MLX ay hindi sumusuporta sa affine na INT7; INT8 ang suportadong mas mataas-quality option.

MLX model paunang paggawa

Gumagawa ang QuantizedLinear.preQuantized ng mga zero placeholder para sa mga quantized linear layer na nilo-load mula sa checkpoint. Iniiwasan nito ang random na mga weight at ang kanilang pansamantalang quantization graph. Pinipigilan ng withThrowawayRandomState ang itinapong floating-point initialization na makaapekto sa random-key chain ng tumatawag. Nililimitahan ng mga composite loader ang bawat bahagi: T5 at EnCodec ng MAGNeT, T5Gemma at SAME-L ng Stable Audio 3, at ang Mimi codec ng CSM. Ginagamit pa rin ng quantized embedding ng CSM ang upstream initializer at nananatili ang kilalang limitasyon nito sa initialization graph.

Paggawa ng Optimisasyon

• MLX Register — Qwen3-TTS Tinipon ng Talker ang lumalaking bakteryang-prefix cache nito at tinipon ang nakapirmeng 15-group Code Prophetor frame bilang isang grap para sa single-item synthesis.
• Aklatan ng Metal anner — Iniiwasan ng pre-compiled metallib ang iV5x JIT packed sa itaas. scripts/build_mlx_metallib.sh.
• Ipinintang codec decode — TTS decoder proseso ng pagsasalita sa 25-frame clues na may 10 -frame kontekstong magkasanib upang maiwasan ang GPU timeout.
• Batch-doubled CFG — Binabawasan ng CosyVoice3 DiT ang daloy ng katugmang daloy sa pamamagitan ng pag - iimpake ng kondisyong + walang pasubali.
• Pinagandang RoPE — Mga Gamit MLXNN.RoPE Sinunod ng Metal kernel sa halip na manufacturing rotation.
• Pagsanib ng BN — Ang WeSpeaker ay naglagay ng normalisasyon sa mga timbang na Conv2d sa panahon ng pagkumberte.

Pagproseso ng Audio

Ang lahat ng audio I/O ay gumagamit ng Float32 PCM. Internal reampling hands formation:

Pinagmulan ng Pag - aayos

Sources/
  AudioCommon/            Shared protocols, audio I/O, system-output capture
                          (SystemAudioTap), HuggingFace downloader,
                          SentencePieceModel (protobuf reader)
  MLXCommon/              MLX utilities: weight loading, QuantizedLinear helpers,
                          SDPA multi-head attention helper, metal budget
  Qwen3Common/            Shared model components (KV cache, RoPE, quantization)
  Qwen3ASR/               Qwen3-ASR speech-to-text
  ParakeetASR/            Parakeet TDT speech-to-text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dictation (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1,672 languages
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS text-to-speech
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 text-to-speech
  KokoroTTS/              Kokoro-82M text-to-speech (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B on-device LLM chat (MLX + CoreML)
  PersonaPlex/            PersonaPlex speech-to-speech
  SpeechVAD/              VAD (Silero + Pyannote), diarization, speaker embeddings
  SpeechLanguageID/       Spoken language identification (SpeechBrain ECAPA, MLX + CoreML, 107 labels)
  SpeechEnhancement/      DeepFilterNet3 noise suppression (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI command implementations
  AudioCLI/               CLI entry point

scripts/              Model conversion (PyTorch → MLX/CoreML), benchmarking
Tests/                Unit and integration tests
Examples/             Demo apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: katutubong MLX classification at entity spans (INT8, FP16 o FP32 feats); walang Python sa oras ng CFP.

Clef-flash: development preview ng mga lokal na desisyon ng teksto (9B, affine 4-bit MLX), na may kasamang ulo ng schema at isang hiwalay na output-embending na nauna.