Traducere automată · Originalul în engleză

Arhitectură

Instruire nativă TTS

Construiește nativ SDK suport din sursa principală. Homebrew și alte prebuilt CLI nu pot include încă aceste motoare.

Implementation (PR #541): main

Publicat MLX pachete: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct păstrează Float32 model și greutăți de decodor. Se întoarce audio tamponat: omite --stream Engleză şi chineză. --language Sunt acceptate pseudonimele. O limită de generaţie ridică o eroare în loc să se întoarcă succesul trunchiat.

MOSS-VoiceGenerator MossVoiceGeneratorTTS: MOSS-VoiceGenerator păstrează BF16 greutăți lingvistice și codul de sinteză FP32. Utilizarea --stream pentru PCM incremental. Omit --language și cerințele lingvistice puse în --instruct

Fiecare câmp de text și de instruire este limitat la octeți 32,768 UTF-8. Impexul complet de intrare, inclusiv șablonul său, trebuie să se potrivească în jetoane 4,096 . Intrările care depășesc oricare dintre limite sunt respinse.

Calitatea de instruire-urmărire este nemarcată. Măsurătorile pe scurt descrie configurarea testată; certificarea latență model existent rămâne neconcludentă.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift este organizat ca un modular Swift pachet cu protocoale partajate, module de model independent și un CLI unificat. Toate infergențele se execută pe dispozitiv utilizând MLX (Metal GPU) sau CoreML (Neural Engine).

Graficul modulului de dependență

                    ┌──────────┐
                    │ AudioCLI │  (entry point)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (commands)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (shared layers)       │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocols, audio I/O)

MOSS Transcribe diarize

MossTranscribe returnează segmentele de timp atribuite difuzorului prin intermediul a două platforme native. CoreML folosește un fix 1,024-Atenţie la ML State pentru înregistrări scurte. MLX folosește o creștere dinamică 131,072-context simbolic, afină INT5/INT8 greutăți de decodor și opțional FP16/INT8 Cache-uri KV pentru transcrierea globală contextualizată de lungă formă. Ambele sunt offline, automatiste runtimes mai degrabă decât streaming modele.

VoiceChat 11B

Task and reference: duplex speech-to-speech; SALM-Duplex: Efficient and Direct Duplex Modeling for Speech- to-Speech Language Model (Interspection 2025), citat de NVIDIA's farming VoiceChat model card.

Timpul complet de funcționare, M5 Pro 48 GB, eliberare, 80 Ms cadence live: INT5 maxim RSS este de aproximativ 8.69 GB; trei controlat întreg-pipeline RTF rezultatele au fost 0.96, 0.96 și 0.99. Performanță optimizată INT8 nu a fost încă remăsurată.

VoiceChat implementează complet nativ MLX calea audio-to-audio: percepție cauzală FastConform, canalele de text/funcție Nemotron-H duplex, decodorul EAR-TTS cu opt iterații MaskGIT și un decodor EAR-TTS condiționat de text 22.05 Clemele neuronale de tip kHz. Streamingul păstrează o atenţie limitată perstrat şi cache-convoluţie cauzală, în timp ce fereastra de opt cadre live codec foloseşte un grafic compilat. 80 ms cadru de intrare produce o decizie lingvistică; 31 Coduri RVQ, și exact 1,764 probe de ieșire. Încărcătorul necesită un complet encoder/ + llm/ + tts/ grupează și respinge exporturile mai vechi de înțelegere-doar. INT5 Acum susţine agregatul RTF mai jos 1 privind testul M5 Pro, deși per-cadru p95 Camera din faţă rămâne îngustă.

Backend-uri de inferență

Format de greutate model

MLX modelele utilizează safetensors format cu 4 biți sau 8 biți cuantizare (dimensiunea 64). CoreML modele utilizate .mlmodelc format compilat.Scripturi de conversie în scripts/ convertiți de la punctele de control PyTorch.

Cohere și Voxtral utilizează, de asemenea, MLX afină INT5 pachete. MLX nu suportă afina INT7; INT8 este opțiunea de calitate superioară susținută.

MLX iniţializare model

QuantizedLinear.preQuantized creează substituenți cu valori zero pentru straturile liniare cuantizate încărcate din checkpoint, evitând ponderile aleatorii și grafurile lor temporare de cuantizare. withThrowawayRandomState păstrează inițializarea în virgulă mobilă eliminată în afara lanțului de chei aleatorii al apelantului. Încărcătoarele compozite delimitează fiecare componentă: T5 și EnCodec din MAGNeT, T5Gemma și SAME-L din Stable Audio 3 și codecul Mimi din CSM. Embeddingurile cuantizate din CSM folosesc în continuare inițializatorul upstream și păstrează limitarea sa cunoscută a grafului de inițializare.

Optimizări de performanță

• compilare MLX Qwen3-TTS compilează Talker peste cache-ul său valid-prefix în creștere și compilează cadrul fix 15-group Cod Predictor ca un grafic pentru sinteza unui singur punct.
• Biblioteca de umbrare Metal Metal lib pre-compilat evită ~5x JIT compilare aeriană. Construit prin scripts/build_mlx_metallib.sh.
• Decodare codec încrucișată ا TTS decodor process speech in 25-frame chunks with 10-frame context suprapuse to evit GPU timeout.
• CFG dublată în serie CosyVoice3 DiT jumătățile fluxului de potrivire trece prin loting condiționat + necondiționat împreună.
• Fuzet RoPE bază MLXNN.RoPE susținut de nucleul Metal în loc de rotație manuală.
• Fuziunea BN WeSpeaker normalizarea lotului s-a topit în Conv2d greutăți în timpul conversiei.

Procesare audio

Toate audio I/O folosește Float32 PCM. Conversia internă a formatului resamplere:

Structura sursei

Sources/
  AudioCommon/            Shared protocols, audio I/O, system-output capture
                          (SystemAudioTap), HuggingFace downloader,
                          SentencePieceModel (protobuf reader)
  MLXCommon/              MLX utilities: weight loading, QuantizedLinear helpers,
                          SDPA multi-head attention helper, metal budget
  Qwen3Common/            Shared model components (KV cache, RoPE, quantization)
  Qwen3ASR/               Qwen3-ASR speech-to-text
  ParakeetASR/            Parakeet TDT speech-to-text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dictation (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1,672 languages
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS text-to-speech
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 text-to-speech
  KokoroTTS/              Kokoro-82M text-to-speech (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B on-device LLM chat (MLX + CoreML)
  PersonaPlex/            PersonaPlex speech-to-speech
  SpeechVAD/              VAD (Silero + Pyannote), diarization, speaker embeddings
  SpeechLanguageID/       Spoken language identification (SpeechBrain ECAPA, MLX + CoreML, 107 labels)
  SpeechEnhancement/      DeepFilterNet3 noise suppression (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI command implementations
  AudioCLI/               CLI entry point

scripts/              Model conversion (PyTorch → MLX/CoreML), benchmarking
Tests/                Unit and integration tests
Examples/             Demo apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide : nativ MLX clasificarea și întinderile entității (INT8, FP16 sau FP32 greutăți); nu Python la momentul de referință.

Clef-flash: previzualizare de dezvoltare a deciziilor de text locale (9B, affine 4-bit MLX), cu un cap schema comun și un corp separat de ieșire înainte.