Tłumaczenie automatyczne · Oryginał angielski

Architektura

Instrukcja dla tubylców TTS

Zbuduj natywną obsługę SDK z głównego źródła. Homebrew i inne wcześniej zbudowane wydania CLI mogą jeszcze nie zawierać tych silników.

Realizacja (PR # 541): main

Opublikowane pakiety MLX: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct zachowuje model Float32 i wagi dekoderów. Zwraca buforowany dźwięk: omit --stream. Akceptowane są angielskie i chińskie aliasy --language; limit generacyjny podnosi błąd zamiast zwrotu okrojonego sukcesu.

MOSS- VoiceGenerator — MossVoiceGeneratorTTS: MOSS- VoiceGenerator zachowuje wagę językową BF16 i kodek syntezy FP32. Użyj --stream dla przyrostowego PCM. Omit --language oraz umieścić wymagania językowe w --instruct, a w pełni wysysa wszystkie szesnaście kodebooków.

Każde pole tekstowe i instruktażowe jest ograniczone do bajtów 32,768 UTF-8. Kompletny wyświetlony sygnał wejściowy, w tym jego szablon, musi mieścić się w żetonach 4,096, przy czym wejścia przekraczające każdą z wartości granicznych są odrzucane.

Pomiary krótkiego skryptu opisują testowaną konfigurację; istniejący model certyfikacji opóźniania pozostaje nierozstrzygający.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift jest zorganizowany jako modułowy Swift pakiet ze wspólnymi protokołami, niezależnymi modułami modeli i ujednoliconym CLI. Wszystkie wnioski uruchamiane są na urządzeniu MLX (Metal GPU) lub CoreML (Neural Engine).

Wykres zależności modułu

                    ┌──────────┐
                    │ AudioCLI │  (entry point)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (commands)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (shared layers)       │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocols, audio I/O)

MOSS Transcribe Diarize

MossTranscribe zwraca segmenty timestamp przypisane głośnomówiącym poprzez dwa natywne backendy. CoreML używa stałej 1,024-token MLState dla krótkich nagrań. MLX wykorzystuje dynamicznie rosnące 131,072-token context, affine INT5/INT8 wagi dekoderów i opcjonalne FP16/INT8 KV buforuje globalnie skonfigurowaną transkrypcję długoformatową. Oba są offline, autoregresywne czasy biegania zamiast streaming modeli.

VoiceChat 11B

Zadanie i odniesienie: dwupoziomowe przemówienie; SALM- Duplex: Efektywny i bezpośredni model duplex dla Modeling mowy-to- Język (Przemówienie 2025), cytowany przez NVIDIAjest w górę rzeki VoiceChat Karta modelowa.

Kompletny bieg, M5 Pro 48 GB, Release 80 ms live cadence: chroniona głowa INT5 szczyt RSS jest około 8.69 GB; trzy sterowane rurociągi RTF u t ro ob oz 0.96, 0.96oraz 0.99Zoptymalizowane INT8 wydajność nie została jeszcze ponownie zmierzona.

VoiceChat implementuje cały rodzimy MLX ścieżka audio-to@-@ audio: percepcja FastConformer, kanały tekstu / funkcji Nemotron- H, dekoder EAR- TTS z samodzielnym text- uwarunkowanym textem, z ośmiu iteracji MaskGIT, i 22.05 KHz kodek neuronowy. Streaming zachowuje ograniczoną uwagę warstwy przerostowej i caucal- convolution caches, podczas gdy stałe ośmioramowe okno kodekowe na żywo wykorzystuje skompilowany wykres. 80 ramka wejściowa ms tworzy decyzję językową, 31 Kody RVQ i dokładnie 1,764 próbki wyjściowe. Ładowarka wymaga kompletnego encoder/ + llm/ + tts/ INT5 teraz podtrzymuje agregat RTF poniżej 1 na testowanym M5 Pro, chociaż perframe p95 pozostaje wąski.

Pokrycia do wniosków

Wzór formularza ciężaru

Używanie modeli MLX safetensors format z 4- bit lub 8-bitowa kwantyzacja (wielkość grupy 64). CoreML korzystanie z modeli .mlmodelc skompilowany format. Konwersja skryptów w scripts/ konwertować z punktów kontrolnych PyTorch.

Cohere oraz Voxtral także MLX afirna INT5 Paczki. MLX nie obsługuje afirny INT7; INT8 jest wspieraną opcją wysokiej jakości.

Inicjalizacja modelu MLX

QuantizedLinear.preQuantized tworzy zerowe wartości zastępcze dla kwantyzowanych warstw liniowych ładowanych z punktu kontrolnego, unikając losowych wag i ich tymczasowych grafów kwantyzacji. withThrowawayRandomState chroni łańcuch kluczy losowych wywołującego przed wpływem odrzucanej inicjalizacji zmiennoprzecinkowej. Złożone mechanizmy ładowania obejmują każdy komponent: T5 i EnCodec w MAGNeT, T5Gemma i SAME-L w Stable Audio 3 oraz kodek Mimi w CSM. Kwantyzowane embeddingi CSM nadal używają inicjalizatora upstream i zachowują jego znane ograniczenie grafu inicjalizacji.

Optymalizacja wydajności

• Zestawienie MLX - Qwen3-TTS kompiluje Talker nad rosnącym walecznym prefiksem pamięci podręcznej i kompiluje stałą ramkę Code Predictor 15- grupy ZXQ- jako jeden wykres dla syntezy pojedynczych elementów.
• Biblioteka Shadera Metal - Prekompilowane metallib unika ~ 5x JIT kompilacji nad głową. scripts/build_mlx_metallib.sh.
• Dekodowanie kodeków — TTS Dekoder przetwarza mowę w 25-frame chunks z 10-frame kontekst pokrywają się, aby uniknąć GPU Przerwa.
• Batch- dualised CFG - CosyVoice3 DiT połówki przepływu dopasowywania przepustek przez łatanie warunkowe + bezwarunkowe razem.
• RoPE fused - Używa MLXNN.RoPE obsługiwane przez jądro Metal zamiast ręcznej rotacji.
• Fuzja BN - WeSpeaker normalizacja serii połączona z ciężarem Conv2d w czasie konwersji.

Przetwarzanie dźwięku

Wszystkie audio I / O wykorzystuje Float32 PCM. Wewnętrzne resampling hands format konwersji:

Struktura źródła

Sources/
  AudioCommon/            Shared protocols, audio I/O, system-output capture
                          (SystemAudioTap), HuggingFace downloader,
                          SentencePieceModel (protobuf reader)
  MLXCommon/              MLX utilities: weight loading, QuantizedLinear helpers,
                          SDPA multi-head attention helper, metal budget
  Qwen3Common/            Shared model components (KV cache, RoPE, quantization)
  Qwen3ASR/               Qwen3-ASR speech-to-text
  ParakeetASR/            Parakeet TDT speech-to-text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dictation (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1,672 languages
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS text-to-speech
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 text-to-speech
  KokoroTTS/              Kokoro-82M text-to-speech (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B on-device LLM chat (MLX + CoreML)
  PersonaPlex/            PersonaPlex speech-to-speech
  SpeechVAD/              VAD (Silero + Pyannote), diarization, speaker embeddings
  SpeechLanguageID/       Spoken language identification (SpeechBrain ECAPA, MLX + CoreML, 107 labels)
  SpeechEnhancement/      DeepFilterNet3 noise suppression (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI command implementations
  AudioCLI/               CLI entry point

scripts/              Model conversion (PyTorch → MLX/CoreML), benchmarking
Tests/                Unit and integration tests
Examples/             Demo apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: Native MLX klasyfikacja i zakres podmiotów (INT8, FP16 lub FP32 wagi); nie Python w czasie składania wniosków.

Clef- flash: przegląd rozwoju lokalnych decyzji tekstowych (9B, affine 4-bit MLX), z wspólną głową schematu i oddzielnym osadzeniem wyników przed.