Konekäännös · Englanninkielinen alkuperäinen

Arkkitehtuuri

Ensisijainen opetus TTS

Koodaa natiivi SDK tuki päälähteestä. Homebrew ja muut valmiiksi rakennetut CLI-päästöt eivät välttämättä vielä sisällä näitä moottoreita.

Täytäntöönpano (PR #541) : main

Julkaistu MLX nippu: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

FireRedTTS3-Instruct — FireRedTTS3TTS: FireRedTTS3-Instruct säilyttää Float32 malli ja dekooderi painot. Se palauttaa puskuroitua ääntä: jätä --stream. Englanti ja Kiina --language alias hyväksytään. Sukupolven raja nostaa virhe sen sijaan, että palaisi tynkäinen menestys.

MOSS-ääniGenerator ... MossVoiceGeneratorTTS: MOSS-äänigenerator säilyttää BF16 kielipainot ja FP32 synteesikoodic. Käyttö --stream invergeneratiivisen PCM:n osalta. Omit --language ja laita kielivaatimukset --instruct.

Jokainen teksti- ja opetuskenttä on rajattu 32,768 UTF-8 tavuihin. Täydellisen renderoidun syöteke-kehotuksen, mukaan lukien sen malli, on mahduttava 4,096-kuponkien sisälle. Molemmat raja-arvot ylittävät syötteet hylätään.

Ohjeen mukainen laatu on jakamaton. Lyhyen komentosarjan mittaukset kuvaavat testattua asetelmaa; olemassa olevan mallin latenssisertifikaatti ei ole vielä varma.

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech-swift on järjestetty modulaarisesti Swift paketti jaettu protokollia, riippumaton malli moduulit, ja yhtenäinen CLI. Kaikki päätelmät toimii laitteen avulla MLX (Metal GPU) tai CoreML (Neural Engine).

Moduulin riippuvuuskaavio

                    ┌──────────┐
                    │ AudioCLI │  (entry point)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (commands)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (shared layers)       │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (protocols, audio I/O)

MOSS Transcribe Diarize

MossTranscribe palauttaa kaiuttimella varustetun aikaleiman kahden natiivin segmentin kautta. CoreML käyttää kiinteää 1,024-token MMLState-tallennusta lyhyille nauhoille. MLX käyttää dynaamisesti kasvavaa 131,072-token-kontekstia, affine INT5/INT8 dekooderipainot ja valinnainen FP16 INT8 KV-välimuistit maailmanlaajuisesti kontekstisoitua pitkämuotoista transkriptiota varten.

VoiceChat 11B

Tehtävä ja viite: duplex-puheen puhekielestä; SALM-Duplex: Tehokas ja suora duplex Modeling for Speech-to-Speech Language Model (Interspeech 2025), mainittu kohdassa NVIDIA's precentroor VoiceChat mallikortissa.

Täydellinen ajoaika, M5 Pro 48 GB, julkaisu, 80 ms livenä poljin: suojattu pää INT5 RSS-huippuarvo on noin 8,69 GB; kolme kontrolloitua kokonaista putkijohtoa RTF tulokset olivat 0,96, 0,96 ja 0,99. Optimoitua INT8 suorituskykyä ei ole vielä mitattu uudelleen.

VoiceChat Toteuttaa täydellisen natiivin MLX-ääni-audio-polun: syy-yhteys, Nemotron-H-duplex-teksti- ja toimintokanavat, erillinen teksti-koodekki, jossa on kahdeksan MaskGIT-iteraatiota, ja 22.05 kHz-heruaalikoodec. Virtaus säilyttää rajoitettua huomiota ja syy-konvoluutio välimuistia, kun taas tasainen kahdeksan ruudun live-koodi-ikkuna käyttää koottua kuvaajaa. Jokainen 80 ms-tulokehys tuottaa kielipäätöksen, 31 RVQ-koodit ja täsmälleen 1,764 lähtönäytteet. encoder/ + llm/ + tts/ INT5 ylläpitää nyt RTF:ää 1-tason alapuolella testattujen M5 Pro-ryhmien osalta, vaikka runkoa kohti p95 on edelleen kapea.

Päätelmät

Mallin painomuoto

MLX -malleissa käytetään safetensors -muodossa, jossa on 4-bittinen tai 8-bittinen kvantitalisaatio (ryhmän koko 64). CoreML -malleissa on .mlmodelc -koodattu muoto. Muunnokset scripts/ muunnetaan PyTorchin tarkistuspisteistä.

Cohere ja Voxtral use MLX affine INT5 bundles. MLX ei tue affinea INT7; INT8 on tuettu korkealaatuisempi vaihtoehto.

MLX mallin alustaminen

QuantizedLinear.preQuantized luo nollatäytteiset paikkamerkit tarkistuspisteistä ladattaville kvantisoiduille lineaarikerroksille ja välttää näin satunnaiset painot ja niiden tilapäiset kvantisointigraafit. withThrowawayRandomState pitää hylättävän liukulukualustuksen erillään kutsujan satunnaisavainten ketjusta. Yhdistetyt lataajat rajaavat jokaisen komponentin: MAGNeTin T5 ja EnCodec, Stable Audio 3:n T5Gemma ja SAME-L sekä CSM:n Mimi-koodekki. CSM:n kvantisoidut upotukset käyttävät yhä alkuperäistä alustusta ja säilyttävät sen tunnetun alustusgraafin rajoituksen.

Suorituskyvyn optimointi

• MLX kooste ... Qwen3-TTS kokoaa puhujan kasvavan voimassa olevan etuliitteen välimuistin päälle ja kokoaa kiinteän 15-ryhmän koodin Predictor-kehyksen yhdeksi graafiseksi yhden kohteen synteesille.
• Metal shader-kirjasto ... ~ Esipakattua metallibia välttää5x JIT-kokoelma yleiskuva. Rakennettu kautta scripts/build_mlx_metallib.sh.
• Chunked codec decode ... TTS dekooderiprosessien puhe 25 ruudun paloissa, joissa on 10 ruudun kontekstin päällekkäisyyksiä, jotta vältetään GPU aikakatkaisu.
• Putkella tuplattu CFG ... CosyVoice3 DiT puolikkaat virtausvastaavuus kulkee eräkohtaisesti ja ehdoitta yhdessä.
• Fused RoPE ...Käytteet MLXNN.RoPE, johon on liitetty Metal -ydin manuaalisen pyörimisen sijaan.
• BN-fuusio ... WeSpeaker erän normalisointi, joka fuusioituu Conv2d painot konversioajankohtana.

Äänenkäsittely

Kaikki audio I/O käyttää Float32 PCM. Sisäiset resampling kahvat muodon muuntaminen:

Lähderakenne

Sources/
  AudioCommon/            Shared protocols, audio I/O, system-output capture
                          (SystemAudioTap), HuggingFace downloader,
                          SentencePieceModel (protobuf reader)
  MLXCommon/              MLX utilities: weight loading, QuantizedLinear helpers,
                          SDPA multi-head attention helper, metal budget
  Qwen3Common/            Shared model components (KV cache, RoPE, quantization)
  Qwen3ASR/               Qwen3-ASR speech-to-text
  ParakeetASR/            Parakeet TDT speech-to-text (CoreML)
  ParakeetStreamingASR/   Parakeet EOU 120M streaming dictation (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC, 1,672 languages
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS text-to-speech
  FireRedTTS3TTS/         FireRedTTS3-Instruct (MLX, Float32)
  MossVoiceGeneratorTTS/  MOSS-VoiceGenerator (MLX, BF16 + FP32)
  CosyVoiceTTS/           CosyVoice3 text-to-speech
  KokoroTTS/              Kokoro-82M text-to-speech (CoreML)
  Qwen3Chat/              Qwen3.5-0.8B on-device LLM chat (MLX + CoreML)
  PersonaPlex/            PersonaPlex speech-to-speech
  SpeechVAD/              VAD (Silero + Pyannote), diarization, speaker embeddings
  SpeechLanguageID/       Spoken language identification (SpeechBrain ECAPA, MLX + CoreML, 107 labels)
  SpeechEnhancement/      DeepFilterNet3 noise suppression (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  GLiNER/                 GLiNER2.5-Decide classification + entity spans (MLX, INT8/FP16/FP32)
  AudioCLILib/            CLI command implementations
  AudioCLI/               CLI entry point

scripts/              Model conversion (PyTorch → MLX/CoreML), benchmarking
Tests/                Unit and integration tests
Examples/             Demo apps (PersonaPlexDemo, SpeechDemo)

GLiNER2.5-Decide: natiivi MLX luokitus ja yhteisö spans (INT8, FP16 tai FP32 painot); ei Python inferenssihetkellä.

Clef-flash : paikallisten tekstipäätösten kehittämisen esikatselu (9B, afgene 4-bit MLX), jossa on yhteinen skeemapää ja erillinen ulostulo-bedatointi ennen.