Maskinoversettelse · Engelsk original

Arkitektur

Innfødt instruksjon TTS

Bygg innfødt SDK støtte fra hovedkilden. Homebrew og andre forhåndsbygde CLI-utgivelser kan ikke inneholde disse motorene ennå.

Implementering (PR #541): main

Publisert MLX pakker: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct beholder Float32 modell og dekodervekter. Det returnerer buffert lyd: utslett --stream. Engelsk og kinesisk --language alias er akseptert. En generasjonsgrense hever en feil i stedet for å returnere avkortet suksess.

MOSS-VoiceGenerator — MossVoiceGeneratorTTS: MOSS-FoiceGeneator beholder BF16 språkvekter og FP32 syntesekodeken. Bruk --stream for trinnvis PCM. Omit --language og sett språkkrav i --instruct. Fullføring drenerer alle seksten kodebøker.

Hvert tekst- og instruksjonsfelt er begrenset til 32.768 UTF-8 byte. Den fullstendig gjengitte inngangsprompten, inkludert malen, må passe innen 4.096 token. Innganger som overstiger enten grensen avvises.

Instruksjonsfølgende kvalitet er uscoret. Kortskrivne målinger beskriver det testede oppsettet; eksisterende modell latens sertifisering forblir inkonclusive.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift er organisert som en modulær Swift-pakke med delte protokoller, uavhengige modellmoduler og en enhetlig CLI. Alle inferenser kjører på enhet ved hjelp av MLX (Metal GPU) eller CoreML(Neural Engine).

Modulavhengighetsgraf

                    ┌──────────┐
                    │ AudioCLI │  (entry point)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (commands)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (shared layers)       │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocols, audio I/O)

MOSS Transskriber Diarize

MossTranscribe returnerer høyttaler-tildelte tidsforsterkningssegmenter gjennom to innfødte motorer. CoreML bruker en fast 1.024-token MLState for korte opptak. MLX bruker en dynamisk voksende 131.072-token kontekst, affine INT5/INT8 dekodervekter og valgfri FP16/INT8 KV caches for globalt kontekstualisert langform transkripsjon. Begge er frakoblet, autoregressive løpstider i stedet for å streame modeller.

VoiceChat 11B

Oppgave og referanse: dupleks tale-til-speech; SALM-Duplex: Effektiv og direkte dupleks modellering for tale til talespråk modell (Interspeech 2025), sitert av NVIDIA er oppstrøms VoiceChat modellkort.

Fullført kjøretid, M5 Pro 48 GB, frigjøring, 80 ms live cadence: beskyttet-hode INT5 topp RSS er ca. 8,69 GB; tre kontrollert helpipelinje RTF resultater var 0,96, 0,96, og 0,99. Optimert INT8 ytelsen er ennå ikke blitt målt på nytt.

VoiceChat implementerer det fullstendige innfødte MLX lyd-til-lyd-sti: årsak FastConformer perception, Nemotron-H duplex tekst/funksjonskanaler, frittstående tekst-kvalifisert EAR-TTS dekoder med åtte MaskGIT iterasjoner, og en 22.05 kHz- nevrale kodek. Strømming beholder avgrenset per lag oppmerksomhet og kausell- konvolusjon caches, mens det jevne åtte-rammes live codec vinduet bruker en kompilert graf. 80 ms inngangsramme utgir en språkbeslutning, 31 RVQ-koder, og nøyaktig 1,764 utgang prøver. Lasteren krever en komplett encoder/ + llm/ + tts/ bunt og avviser eldre forståelse-bare eksport. INT5 opprettholder nå aggregert RTF under 1 på den testede M5 Pro, selv om per-frame p95 headroom forblir smal.

Inferensmotorer

Modellvektformat

MLX modeller bruker safetensors format med 4-bit eller 8 -bit kvantisering (gruppestørrelse 64). CoreML modeller bruk .mlmodelc kompilert format. Konverteringsskript i scripts/ convert fra Kontrollpunkter for PyTorch.

Cohere og Voxtral bruker også MLX affine INT5 bundter. MLX støtter ikke affin INT7; INT8 er det støttede alternativet for høyere kvalitet.

MLX modell initialisering

QuantizedLinear.preQuantized oppretter nullfylte plassholdere for kvantiserte lineære lag som lastes fra sjekkpunkter, og unngår dermed tilfeldige vekter og deres midlertidige kvantiseringsgrafer. withThrowawayRandomState holder den forkastede flyttallsinitialiseringen utenfor anroperens kjede av tilfeldige nøkler. Sammensatte lastere avgrenser hver komponent: MAGNeT med T5 og EnCodec, Stable Audio 3 med T5Gemma og SAME-L samt CSM med Mimi-kodeken. De kvantiserte innbyggingene i CSM bruker fortsatt oppstrømsinitialiseringen og beholder dens kjente begrensning i initialiseringsgrafen.

Performance Optimizations

• MLX-sammenstilling - Qwen3-TTS kompilerer Taleren over sin voksende gyldig-menstruasjonsbuffer og kompilerer den faste 15-gruppe kodeprognoserammen som en graf for enkelt-element syntese.
• Metal Shader bibliotek - pre-kompilert metalllib unngår ~5x JIT samleoverdel. Bygget via scripts/build_mlx_metallib.sh.
• Khunket kodekdekodek — TTS dekoder prosesserer tale i 25-rammebiter med 10-rammes sammenheng overlapping for å unngå GPU tidsavbrudd.
• Batch doublet CFG — CosyVoice3 DiT halvdeler flyt matcher passerer ved batching betinget + ubetinget sammen.
• Fused RoPE - Bruker MLXNN.RoPE støttet av Metal kjerne i stedet for manuell rotasjon.
• BN fusjon — WeSpeaker batch normalisering fusjonert til Conv2d vekter ved konverteringstid.

Lydbehandling

All lyd I/O bruker Float32 PCM. Interne resampling håndtak format konvertering:

Kildestruktur

Sources/
  AudioCommon/            Shared protocols, audio I/O, system-output capture
                          (SystemAudioTap), HuggingFace downloader,
                          SentencePieceModel (protobuf reader)
  MLXCommon/              MLX utilities: weight loading, QuantizedLinear helpers,
                          SDPA multi-head attention helper, metal budget
  Qwen3Common/            Shared model components (KV cache, RoPE, quantization)
  Qwen3ASR/               Qwen3-ASR speech-to-text
  ParakeetASR/            Parakeet TDT speech-to-text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dictation (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1,672 languages
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS text-to-speech
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 text-to-speech
  KokoroTTS/              Kokoro-82M text-to-speech (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B on-device LLM chat (MLX + CoreML)
  PersonaPlex/            PersonaPlex speech-to-speech
  SpeechVAD/              VAD (Silero + Pyannote), diarization, speaker embeddings
  SpeechLanguageID/       Spoken language identification (SpeechBrain ECAPA, MLX + CoreML, 107 labels)
  SpeechEnhancement/      DeepFilterNet3 noise suppression (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI command implementations
  AudioCLI/               CLI entry point

scripts/              Model conversion (PyTorch → MLX/CoreML), benchmarking
Tests/                Unit and integration tests
Examples/             Demo apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: native MLX klassifisering og enhet spans (INT8, FP16 eller FP32 vekter); nei Python iferietid.

Clef-flash: Utviklingsforhåndsvisning av lokale tekstbeslutninger (9B, affine 4-bit MLX), med et felles skjemahode og en separat utgangsinnbygging tidligere.