Maskinöversättning · Engelskt original

Arkitektur

Native instruktion TTS

Bygg infödda SDK stöd från huvudkälla. Homebrew och andra förbyggda CLI-utgåvor kanske inte inkluderar dessa motorer ännu.

Implementering (PR #541): main

Publicerad MLX buntar: aufklarer/FireRedTTS3-Instruct-MLX-fp32 aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTSFireRedTTS3-Instruct behåller Float32-modellen och avkodningsvikterna. Den returnerar bufferterat ljud: Omit --stream. Engelska och kinesiska --language alias accepteras. En generationsgräns höjer ett fel istället för att returnera truncated framgång.

MOSS-VoiceGenerator — MossVoiceGeneratorTTSMOSS-VoiceGenerator behåller BF16 språkvikter och FP32 syntes codec. Använd --stream för steg PCM. Omit --language och sätter språkkrav i --instruct. Slutförande dränerar alla sexton kodböcker.

Varje text- och instruktionsfält är begränsat till 32.768 UTF-8 byte. Den fullständiga ingångsprompten, inklusive dess mall, måste passa inom 4.096 tokens. Ingångar som överstiger gränsen avvisas.

Instruktionsföljande kvalitet är oscored. Kortskriftsmätningar beskriver den testade inställningen; befintlig-modell latens certifiering förblir oavslutande.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift är organiserad som ett modulärt Swift-paket med delade protokoll, oberoende modellmoduler och en enhetlig CLI. All inference körs på-enhet med MLX (Metal GPU) eller CoreML(Neural Engine).

Modulberoende Graf

                    ┌──────────┐
                    │ AudioCLI │  (entry point)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (commands)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (shared layers)       │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocols, audio I/O)

MOSS Transcribe Diarize

MossTranscribe returnerar högtalar-attribuerade tidsstämpel segment genom två inhemska backends. CoreML Använder en fast 1,024-token MLState för korta inspelningar. MLX Använder en dynamiskt växande 131,072Token kontext, affin INT5/INT8 Decoder vikter och valfria FP16/INT8 KV cachar för globalt kontextualiserad långformad transkription. Båda är offline, autoregressiva runtimes snarare än streaming modeller.

VoiceChat 11B

Uppgifter och referens: duplex tal-till-tal; SALM-Duplex: Effektiv och direkt duplex modellering för tal-till-tal språkmodell (Interspeech 2025), citerad av NVIDIA uppströms VoiceChat modellkort.

Complete runtime, M5 Pro 48 GB, Release, 80 ms live cadence: skyddad huvud INT5 topp RSS är ca 8,69 GB; tre kontrollerade helpipeline RTF resultat var 0,96, 0,96 och 0,99. Optimized INT8 prestanda har ännu inte blivit mätt.

VoiceChat implementerar den fullständiga infödda MLX ljud-till-audio-väg: orsakssamband FastConformer perception, Nemotron-H duplex text/funktionskanaler, den fristående text-konditionerade EAR-TTS-avkodaren med åtta MaskGIT- iterationer och en 22.05 kHz neural codec. Streaming behåller bunden per lager uppmärksamhet och kausal-konvolution caches, medan den stadiga åtta-ram levande codec fönster använder en sammanställd graf. Varje 80 ms ingångsram ger ett språkbeslut, 31 RVQ-koder och exakt 1,764 Utgångsprover. Lastaren kräver en komplett encoder/ + llm/ + tts/ bunt och avvisar äldre förståelse-bara export. INT5 nu upprätthåller aggregerad RTF under 1 på den testade M5 Pro, även om per-frame p95 huvudrum förblir smal.

Inference Backends

Modellvikt Format

MLX modeller använder safetensors format med 4-bitars eller 8-bits kvantisering (gruppstorlek 64). CoreML modeller använda .mlmodelc sammanställt format. Konverteringskript i scripts/ konverterar från PyTorch-kontrollpunkter.

Cohere och Voxtral använder också MLX affine INT5 buntar. MLX stöder inte affin INT7; INT8 är det stödda alternativet med högre kvalitet.

MLX modellinitiering

QuantizedLinear.preQuantized skapar nollfyllda platshållare för kvantiserade linjära lager som läses från kontrollpunkter och undviker därmed slumpmässiga vikter och deras tillfälliga kvantiseringsgrafer. withThrowawayRandomState håller den kasserade flyttalsinitieringen utanför anroparens kedja av slumpnycklar. Sammansatta laddare avgränsar varje komponent: MAGNeT med T5 och EnCodec, Stable Audio 3 med T5Gemma och SAME-L samt CSM med Mimi-kodeken. CSM:s kvantiserade inbäddningar använder fortfarande uppströmsinitieraren och behåller dess kända begränsning i initieringsgrafen.

Performance Optimizations

• MLX sammanställning -- Qwen3-TTS sammanställer Talker över sin växande valid-prefix cache och sammanställer den fasta 15-gruppen Code Predictor ramen som en graf för en-item syntes.
• Metal shader bibliotek - Pre-compiled metallib undviker ~ 5x JIT-kompilering över huvudet. Byggd via scripts/build_mlx_metallib.sh.
• Chunked codec decode -- TTS decoder processer tal i 25-rams bitar med 10-ram kontext överlappning för att undvika GPU timeout.
• Batch-dubblad CFG - CosyVoice3 DiT halverar flödesmatchning passerar genom att batching konditionellt + ovillkorligt tillsammans.
• Fused RoPE - Användningar MLXNN.RoPE backas upp av Metal-kärnan istället för manuell rotation.
• BN fusion -- WeSpeaker batch normalization smält in Conv2d vikter vid omvandlingstid.

Audio Processing

Alla ljud I/O använder Float32 PCM. Internal återförsäljning hanterar format konvertering:

Källa Struktur

Sources/
  AudioCommon/            Shared protocols, audio I/O, system-output capture
                          (SystemAudioTap), HuggingFace downloader,
                          SentencePieceModel (protobuf reader)
  MLXCommon/              MLX utilities: weight loading, QuantizedLinear helpers,
                          SDPA multi-head attention helper, metal budget
  Qwen3Common/            Shared model components (KV cache, RoPE, quantization)
  Qwen3ASR/               Qwen3-ASR speech-to-text
  ParakeetASR/            Parakeet TDT speech-to-text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dictation (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1,672 languages
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS text-to-speech
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 text-to-speech
  KokoroTTS/              Kokoro-82M text-to-speech (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B on-device LLM chat (MLX + CoreML)
  PersonaPlex/            PersonaPlex speech-to-speech
  SpeechVAD/              VAD (Silero + Pyannote), diarization, speaker embeddings
  SpeechLanguageID/       Spoken language identification (SpeechBrain ECAPA, MLX + CoreML, 107 labels)
  SpeechEnhancement/      DeepFilterNet3 noise suppression (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI command implementations
  AudioCLI/               CLI entry point

scripts/              Model conversion (PyTorch → MLX/CoreML), benchmarking
Tests/                Unit and integration tests
Examples/             Demo apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: infödd MLX klassificering och entitetsspannor (INT8, FP16 eller FP32 vikter); ingen Python vid inferenstid.

Clef-flash: utvecklingsförhandsgranskning av lokala textbeslut (9B, affin 4-bit MLX), med ett gemensamt schema huvud och en separat utmatning innan.