Terjemahan mesin · Versi asli bahasa Inggris

Arsitektur

Instruksi asli TTS

Build asli SDK dukungan dari sumber utama. Homebrew dan lain prebuilt CLI rilis mungkin tidak termasuk mesin ini belum.

Implementasi (PR # 541): main

Bundel MLX yang diterbitkan: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct ditahan Float32 Model dan bobot decoder. Ini mengembalikan audio yang dibanjiri: abaikan --stream. Inggris dan Cina --language Sebuah batas generasi menimbulkan kesalahan bukannya kembali terpotong sukses.

MoSS- Pembuat Suara — MossVoiceGeneratorTTS: MOSS- Pembuat Suara mempertahankan BF16 bobot bahasa dan FP32 codec sintesis. Gunakan --stream untuk incremental PCM. Abaikan --language dan menempatkan persyaratan bahasa dalam --instructPenyelesaian menguras semua buku kode enam belas.

Setiap teks dan daerah instruksi dibatasi 32,768 UTF-8 bytes. Inserm masukan yang telah diberikan lengkap, termasuk template, harus cocok dalam 4,096 Token. "Input" melebihi batas ditolak.

Instruktuasi - berikut kualitas tidak mencetak. Ukuran skrg-script menggambarkan setup teruji; ada - model sertifikasi latensi tetap tidak meyakinkan.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift terorganisir sebagai modular Swift paket dengan protokol terbagi, modul model independen, dan CPI terpadu. Semua kesimpulan dijalankan pada perangkat menggunakan MLX (Metal GPU) atau CoreML (Neural Engine).

Grafik Dependensi Modul

                    ┌──────────┐
                    │ AudioCLI │  (entry point)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (commands)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (shared layers)       │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocols, audio I/O)

Diarize Transkripsi MOSS

MossTranscribe mengembalikan speaker- yang dikaitkan dengan segmen penanda waktu melalui dua latar belakang asli. CoreML menggunakan tetap 1,024-Token MLState untuk rekaman pendek. MLX menggunakan secara dinamis berkembang 131,072-token konteks, affine INT5/INT8 beban decoder, dan opsional FP16/INT8 KV cache untuk transkripsi bentuk panjang konteks secara global. Keduanya offline, ausoregresif runtimes daripada streaming model.

VoiceChat 11B

Referensi dan tugas: duplex speech-to-speech; Modeling Duplex SALM-Duplex: Efisien and Direct Duplex untuk Speech-to-Speech Language Model (Interspeech 2025), dikutip oleh NVIDIA's upstream VoiceChat Kartu model.

Waktu-waktu-jalan yang lengkap, M5 Pro 48 GB, Rilis, 80 ms live cadence: protected-head INT5 puncak RSS adalah tentang 8.69 GB; tiga dikendalikan secara keseluruhan-baris pipa RTF Hasilnya adalah 0.96, 0.96, dan 0.99Teroptimasi INT8 kinerja belum diukur.

VoiceChat implementasi asli lengkap MLX jalur audio-audio- audio: causal FastConformer persepsi, Nemron-H duplex teks / fungsi saluran, teks standalone -conditired EAR- TTS decoder dengan delapan iterasi MaskGIT, dan 22.05 kodek saraf kHz. Streaming mempertahankan perhatian lapisan yang terbatas dan causal- caches convolution, sedangkan stabil delapan frame hidup decoc jendela menggunakan sebuah graph terkompile. Setiap grafik yang dikompilasi. 80 bingkai masukan ms menghasilkan keputusan bahasa, 31 RVQ kode, dan persis 1,764 keluaran sampel. Pemuat memerlukan sebuah lengkap encoder/ + llm/ + tts/ bundle dan menolak pemahaman lama -hanya ekspor. INT5 sekarang menopang kumpulan RTF di bawah 1 pada tes M5 Pro, meskipun per- frame p95 Ruang utama tetap sempit.

Backend Inferensi

Format Berat Model

MLX model menggunakan safetensors format dengan 4-bit atau 8-bit kuantisasi (ukuran grup 64). CoreML penggunaan model .mlmodelc format terkompile. Skrip konversi dalam scripts/ dikonversi dari PyTorch checkpoint.

Cohere dan Voxtral juga gunakan MLX affine INT5 Bundel. MLX tidak mendukung affine INT7; INT8 adalah pilihan kualitas tinggi yang didukung.

MLX inisialisasi model

QuantizedLinear.preQuantized membuat placeholder nol untuk lapisan linear terkuantisasi yang dimuat dari checkpoint, sehingga menghindari bobot acak dan grafik kuantisasi sementaranya. withThrowawayRandomState mencegah inisialisasi floating-point yang dibuang memengaruhi rantai kunci acak pemanggil. Loader gabungan menerapkan cakupan ini pada setiap komponen: T5 dan EnCodec pada MAGNeT, T5Gemma dan SAME-L pada Stable Audio 3, serta codec Mimi pada CSM. Embedding terkuantisasi CSM masih menggunakan penginisialisasi upstream dan tetap memiliki keterbatasan grafik inisialisasinya yang telah diketahui.

Optimasi Performance

• Kompilasi MLX — Qwen3-TTS kompilasi Talker atas yang tumbuh valid- prefix cache dan kompilasi tetap 15-group Kode Predictor frame sebagai satu grafik untuk single- item sintesis.
• Metal pustaka shader - Pre- dikompile metalib avoids ~ 5x JIT kompilasi overhead. scripts/build_mlx_metallib.sh.
• Decode codec yang tersetem — TTS proses proses decoder pidato dalam 25-frame potongan dengan 10-frame konteks overlap untuk dihindari GPU istirahat.
• Batch- double CFG - CosyVoice3 DiT mengalir separuh dari aliran yang cocok melewati dengan menempel kondisional + tanpa syarat bersama-sama.
• Fused RoPE - Uses MLXNN.RoPE didukung oleh kernel Metal bukan rotasi manual.
• Fusi BN - WeSpeaker batch normalisasi menyatu ke berat Conv2d pada konversi waktu.

Proses Audio

Semua audio I / O menggunakan Float32 PCM. Internal resampling menangani konversi format:

Struktur Sumber

Sources/
  AudioCommon/            Shared protocols, audio I/O, system-output capture
                          (SystemAudioTap), HuggingFace downloader,
                          SentencePieceModel (protobuf reader)
  MLXCommon/              MLX utilities: weight loading, QuantizedLinear helpers,
                          SDPA multi-head attention helper, metal budget
  Qwen3Common/            Shared model components (KV cache, RoPE, quantization)
  Qwen3ASR/               Qwen3-ASR speech-to-text
  ParakeetASR/            Parakeet TDT speech-to-text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dictation (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1,672 languages
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS text-to-speech
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 text-to-speech
  KokoroTTS/              Kokoro-82M text-to-speech (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B on-device LLM chat (MLX + CoreML)
  PersonaPlex/            PersonaPlex speech-to-speech
  SpeechVAD/              VAD (Silero + Pyannote), diarization, speaker embeddings
  SpeechLanguageID/       Spoken language identification (SpeechBrain ECAPA, MLX + CoreML, 107 labels)
  SpeechEnhancement/      DeepFilterNet3 noise suppression (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI command implementations
  AudioCLI/               CLI entry point

scripts/              Model conversion (PyTorch → MLX/CoreML), benchmarking
Tests/                Unit and integration tests
Examples/             Demo apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: native MLX klasifikasi dan bentangan entitas (INT8, FP16 atau FP32 bobot); tidak Python pada waktu inferensi.

Bersihkan -flash: pratinjau pengembangan dari keputusan teks lokal (9B, affine 4-bit MLX), dengan kepala skema gabungan dan penggelapan terpisah sebelumnya.