Automatische vertaling · Engels origineel

Architectuur

Inheemse instructie TTS

Native SDK ondersteuning van de hoofdbron bouwen. Homebrew en andere vooraf gebouwde CLI releases kunnen deze motoren nog niet bevatten.

Implementatie (PR #541): main

Gepubliceerd MLX bundels: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct behoudt Float32 model en decodergewichten. Het geeft gebufferde audio terug: laat --stream weg. Engels en Chinees --language aliassen worden geaccepteerd. Een generatie limiet verhoogt een fout in plaats van terug te keren afgeknot succes.

MOSS-VoiceGenerator — MossVoiceGeneratorTTS: MOSS-VoiceGenerator behoudt BF16 taalgewichten en de FP32 synthesecodec. Gebruik --stream voor incrementele PCM. Zet --language uit en zet taalvereisten in --instruct. Compleet maken draineert alle zestien codeboeken.

Elke tekst- en instructieveld is beperkt tot 32.768 UTF-8 bytes. De volledige weergegeven invoerprompt, inclusief de sjabloon, moet binnen 4.096 tokens passen. Invoeren die beide grenzen overschrijden worden afgewezen.

De kwaliteit van de instructie volgt niet. Short-script metingen beschrijven de geteste setup; bestaande model latency certificering blijft niet overtuigend.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift is georganiseerd als een modulair Swift pakket met gedeelde protocollen, onafhankelijke modelmodules en een uniforme CLI. Alle gevolgtrekkingen draaien op het apparaat met MLX (Metal GPU) of CoreML (Neural Engine).

Moduleafhankelijkheidsgrafiek

                    ┌──────────┐
                    │ AudioCLI │  (entry point)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (commands)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (shared layers)       │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocols, audio I/O)

MOSS Transcriberen Diarize

MossTranscribe geeft speaker-toegeschreven tijdstempel segmenten via twee native backends terug. CoreML gebruikt een vaste 1,024-token MLState voor korte opnames. MLX maakt gebruik van een dynamisch groeiende 131,072-getoken context, affine INT5/INT8 decodergewichten en facultatief FP16/INT8 KV caches voor wereldwijd gecontextualiseerde lange-vorm transcriptie. Beide zijn offline, autoregressieve runtimes in plaats van streaming modellen.

VoiceChat 11B

Taak en referentie: duplex speech-to-speech; SALM-Duplex: efficiënte en directe duplexmodellering voor spraak-tot-spraaktaalmodel (Interspeech 2025), geciteerd door NVIDIA is upstream VoiceChat modelkaart.

Voltooi runtime, M5 Pro 48 GB, Release, 80 ms live cadans: protected-head INT5 peak RSS is ongeveer 8,69 GB; drie gecontroleerde pipeline RTF resultaten waren 0,96, 0,96 en 0,99. Geoptimaliseerd INT8 prestaties zijn nog niet opnieuw gemeten.

VoiceChat implementeert de complete native MLX audio-naar-audio pad: causaal FastConformer waarneming, de Nemotron-H duplex tekst/functionele kanalen, de standalone tekst-conditioned EAR-TTS decoder met acht MaskGIT iteraties, en een 22.05 kHz neurale codec. Streaming behoudt begrensde per-layer aandacht en causale-evolutie caches, terwijl het stabiele acht-frame live codec venster een gecompileerde grafiek gebruikt. Elk 80 ms invoerframe produceert een taalbeslissing, 31 RVQ codes, en precies 1,764 uitvoer samples. De lader vereist een complete encoder/ + llm/ + tts/ INT5 ondersteunt nu de totale RTF onder 1 op de geteste M5 Pro, hoewel de hoofdruimte per frame p95 smal blijft.

Backends voor gevolg

Model gewichtsformaat

MLX modellen gebruiken safetensors formaat met 4-bits of 8-bits quantization (groepsgrootte 64). CoreML modellen maken gebruik van .mlmodelc gecompileerd formaat. Conversiescripts in scripts/ converteren van PyTorch controlepunten.

Cohere en Voxtral gebruiken ook MLX affine INT5 bundels. MLX ondersteunt geen affiene INT7; INT8 is de ondersteunde optie van hogere kwaliteit.

MLX modelinitialisatie

QuantizedLinear.preQuantized maakt nulwaarden als tijdelijke invulling voor gekwantiseerde lineaire lagen die uit checkpoints worden geladen. Zo worden willekeurige gewichten en hun tijdelijke kwantisatiegrafen vermeden. withThrowawayRandomState houdt de verworpen floating-point-initialisatie buiten de keten van willekeurige sleutels van de aanroeper. Samengestelde loaders passen dit bereik toe op elke component: MAGNeT met T5 en EnCodec, Stable Audio 3 met T5Gemma en SAME-L, en CSM met de Mimi-codec. De gekwantiseerde embeddings van CSM gebruiken nog steeds de upstream-initialisator en behouden diens bekende beperking in de initialisatiegraaf.

Prestatieoptimalisaties

• MLX compilatie Qwen3-TTS compileert de luidspreker over zijn groeiende geldig-prefix cache en compileert het vaste 15-groep Code Predictor frame als een grafiek voor een enkele-item synthese.
• Metal-shaderbibliotheek Voorgecompileerde metallib vermijdt ~5x JIT compilatie overhead. Gebouwd via scripts/build_mlx_metallib.sh.
• Gesponsorde codec decode 616/2007 TTS decoder verwerkt spraak in 25-frame brokken met 10-frame context overlappen om GPU timeout te voorkomen.
• Charge-doubled CFG CosyVoice3 DiT halve stroom matching passeert door batching voorwaardelijk + onvoorwaardelijk samen.
• Gefuseerd RoPE Gebruikt MLXNN.RoPE ondersteund door Metal kernel in plaats van handmatige rotatie.
• BN-fusie WeSpeaker batch normalisatie versmolten tot Conv2d gewichten bij conversietijd.

Audioverwerking

Alle audio I/O gebruikt Float32 PCM. Interne herampling handgrepen formaatconversie:

Bronstructuur

Sources/
  AudioCommon/            Shared protocols, audio I/O, system-output capture
                          (SystemAudioTap), HuggingFace downloader,
                          SentencePieceModel (protobuf reader)
  MLXCommon/              MLX utilities: weight loading, QuantizedLinear helpers,
                          SDPA multi-head attention helper, metal budget
  Qwen3Common/            Shared model components (KV cache, RoPE, quantization)
  Qwen3ASR/               Qwen3-ASR speech-to-text
  ParakeetASR/            Parakeet TDT speech-to-text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dictation (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1,672 languages
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS text-to-speech
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 text-to-speech
  KokoroTTS/              Kokoro-82M text-to-speech (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B on-device LLM chat (MLX + CoreML)
  PersonaPlex/            PersonaPlex speech-to-speech
  SpeechVAD/              VAD (Silero + Pyannote), diarization, speaker embeddings
  SpeechLanguageID/       Spoken language identification (SpeechBrain ECAPA, MLX + CoreML, 107 labels)
  SpeechEnhancement/      DeepFilterNet3 noise suppression (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI command implementations
  AudioCLI/               CLI entry point

scripts/              Model conversion (PyTorch → MLX/CoreML), benchmarking
Tests/                Unit and integration tests
Examples/             Demo apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: native MLX classificatie en entiteitslengtes (INT8, FP16 of FP32 gewichten); geen Python bij het bepalen van de tijd.

Clef-flash: ontwikkelingsvoorbeeld van lokale tekstbeslissingen (9B, affine 4-bit MLX), met een gezamenlijke schemakop en een aparte output-ingangsvooraf.