Maskinoversættelse · Engelsk original

Arkitektur

Indfødt instruktion TTS

Byg native SDK støtte fra hovedkilden. Homebrew og andre præbyggede CLI udgivelser kan ikke inkludere disse motorer endnu.

Gennemførelse (PR # 541): main

Published MLX bundter: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct bevarer Float32 model og dekoder vægte. Det returnerer buffered audio: udelt --stream. Engelsk og kinesisk --language aliaser accepteres. En generation grænse hæver en fejl i stedet for at returnere trunkeret succes.

MOSS- VoiceGenerator — MossVoiceGeneratorTTS: MOSS- VoiceGenerator bibeholder BF16 sprogvægte og FP32 syntesecodec. Brug --stream til trinvis PCM. Omit --language og sætte sprogkrav i --instruct. Færdiggørelse dræn alle seksten kodebøger.

Hvert tekst- og instruktionsfelt er begrænset til 32,768 UTF-8 bytes. Den komplette afleverede inddataport, herunder dens skabelon, skal passe inden for 4,096 tokens. Indgange, der overskrider begge grænser, afvises.

Instruction- følgende kvalitet er uscoret. Kortscriptmålinger beskriver den testede opsætning; eksisterende-model latency certificering forbliver ukonklusivt.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift er organiseret som en modulær Swift pakke med delte protokoller, uafhængige modelmoduler og en samlet CLI. Alle inferens kører on- device ved hjælp af MLX (Metal GPU) eller CoreML (Neural Engine).

Modul afhængighedsdiagram

                    ┌──────────┐
                    │ AudioCLI │  (entry point)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (commands)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (shared layers)       │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocols, audio I/O)

MOSS Transcribe Diarize

MossTranscribe returnerer specter- attributed tidsstempel segmenter gennem to indfødte backends. CoreML bruger en fast 1,024-MEN MLState til korte optagelser. MLX bruger en dynamisk voksende 131,072-token sammenhæng, affin INT5/INT8 dekodervægte og valgfrie FP16/INT8 KV caches for globalt kontekstualiseret lang form transskription. Begge er offline, autoregressive runtimes snarere end streaming modeller.

VoiceChat 11B

Opgave og reference: duplex speech- to- tale; SALM- Duplex: Effektiv og direkte Duplex-modellering til tale- to- tale- sprogmodel (Intertaly 2025), citeret ved NVIDIA 's opstrømsmodel VoiceChat-kort.

Fuldstændig driftstid M5 Pro 48 GB, Release 80 ms live kadence: protected- head INT5 peak RSS er omkring 8.69 GB; tre kontrollerede helpdepipeline RTF resultater var 0.96, 0.96 og 0.99. Optimeret INT8 ydeevne er endnu ikke blevet genmålt.

VoiceChat implementerer den komplette native MLX audio- to- audio sti: causal FastConformer opfattelse, Nemotron- H duplex tekst / funktion kanaler, den standalone tekst- condition EAR- TTS dekoder med otte MaskGIT iterationer, og en 22.05 kHz neurale codec. Streaming bibeholder afgrænset per- lag opmærksomhed og causal- convolution caches, mens den stabile oight- frame live codec vindue bruger en kompileret graf. Hver 80 ms input ramme producerer en sprogvalg, 31 RVQ koder, og præcis 1,764 output prøver kræver en komplet. encoder/ + llm/ + tts/ bundt og afviser ældre forståelse-kun eksport. INT5 nu opretholder samlet RTF under 1 på den testede M5 Pro, selvom per- frame p95 headroom forbliver smal.

Inferenskomponenter

Model for vægt format

MLX modeller bruger safetensors format med 4- bit eller 8-bit kvantisering (gruppe størrelse 64). CoreML modeller bruger .mlmodelc kompileret format. Konvertering scripts i scripts/ konvertere fra PyTorch checkpoints.

Cohere og Voxtral også anvendelse MLX affin INT5 bundter. MLX ikke understøtter affin INT7; INT8 er den støttede mulighed for højere kvalitet.

MLX modelinitialisering

QuantizedLinear.preQuantized opretter nuludfyldte pladsholdere til kvantiserede lineære lag indlæst fra checkpoints og undgår dermed tilfældige vægte og deres midlertidige kvantiseringsgrafer. withThrowawayRandomState holder den kasserede flydende-komma-initialisering uden for kalderens kæde af tilfældige nøgler. Sammensatte indlæsere afgrænser hver komponent: MAGNeT med T5 og EnCodec, Stable Audio 3 med T5Gemma og SAME-L samt CSM med Mimi-codec. CSMs kvantiserede indlejringer bruger stadig upstream-initialiseringen og bevarer dens kendte begrænsning i initialiseringsgrafen.

Præstationsoptimering

• MLX samling - Qwen3-TTS kompilerer oplæser over sin voksende validitet- prefix cache og kompilerer den faste 15- gruppe Code Predictor ramme som én graf for single- element syntese.
• Metal skygger-bibliotek - Forkompileret metallib undgår ~ 5x JIT compilation overhead. Bygget via scripts/build_mlx_metallib.sh.
• Afkodet kodec-afkode - TTS dekoder processer tale i 25- frame stykker med 10-frame sammenhæng overlapper for at undgå GPU timeout.
• Batch- fordoblet CFG - CosyVoice3 DiT halverer matchende flowpas ved at slå betinget + ubetinget sammen.
• Fused RoPE - Anvendelse MLXNN.RoPE bakkes op af Metal kerne i stedet for manuel rotation.
• Batch fusion - WeSpeaker batch normalisering smeltet til Conv2d vægte ved konverteringstid.

Lydbehandling

Alle lyd I / O bruger Float32 PCM. Intern resampling håndterer format konvertering:

Kildestruktur

Sources/
  AudioCommon/            Shared protocols, audio I/O, system-output capture
                          (SystemAudioTap), HuggingFace downloader,
                          SentencePieceModel (protobuf reader)
  MLXCommon/              MLX utilities: weight loading, QuantizedLinear helpers,
                          SDPA multi-head attention helper, metal budget
  Qwen3Common/            Shared model components (KV cache, RoPE, quantization)
  Qwen3ASR/               Qwen3-ASR speech-to-text
  ParakeetASR/            Parakeet TDT speech-to-text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dictation (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1,672 languages
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS text-to-speech
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 text-to-speech
  KokoroTTS/              Kokoro-82M text-to-speech (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B on-device LLM chat (MLX + CoreML)
  PersonaPlex/            PersonaPlex speech-to-speech
  SpeechVAD/              VAD (Silero + Pyannote), diarization, speaker embeddings
  SpeechLanguageID/       Spoken language identification (SpeechBrain ECAPA, MLX + CoreML, 107 labels)
  SpeechEnhancement/      DeepFilterNet3 noise suppression (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI command implementations
  AudioCLI/               CLI entry point

scripts/              Model conversion (PyTorch → MLX/CoreML), benchmarking
Tests/                Unit and integration tests
Examples/             Demo apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: indfødte MLX klassificering og enhed spænder (INT8, FP16 eller FP32 vægte); ingen Python på inferens tid.

Clef- flash: udvikling preview af lokale tekstbeslutninger (9B, affine 4- bit MLX), med et fælles skema hoved og en separat output- embedding før.