البنية

speech-swift منظَّم كحزمة Swift وحدوية ذات بروتوكولات مشتركة، ووحدات نماذج مستقلة، وواجهة CLI موحَّدة. يجري كل الاستدلال على الجهاز باستخدام MLX (GPU Metal) أو CoreML (Neural Engine).

مخطط اعتماديات الوحدات

                    ┌──────────┐
                    │ AudioCLI │  (نقطة الدخول)
                    └────┬─────┘
                         │
                  ┌──────┴──────┐
                  │ AudioCLILib │  (الأوامر)
                  └──────┬──────┘
                         │
       ┌─────────┬───────┼───────┬──────────┬──────────────┐
       │         │       │       │          │              │
  ┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
  │Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │  Speech-     │
  │Parakeet│ │ TTS │ │Voice│ │naPlex│ │  VAD   │ │Enhancement   │
  └────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
       │        │       │       │         │             │
       └────────┴───────┼───────┴─────────┘             │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ Qwen3Common │  (طبقات مشتركة)        │
                 └──────┬──────┘                        │
                        │                               │
                 ┌──────┴──────┐                        │
                 │ AudioCommon │ ◄──────────────────────┘
                 └─────────────┘  (بروتوكولات، إدخال/إخراج صوتي)

MOSS Transcribe Diarize

يعيد MossTranscribe مقاطع مؤقتة منسوبة إلى المتحدثين عبر CoreML وMLX الأصليين. يستخدم CoreML حالة ثابتة من 1,024 token للتسجيلات القصيرة. ويستخدم MLX سياقا ديناميكيا من 131,072 token وأوزان مفكك affine INT5/INT8 وذاكرة KV اختيارية FP16/INT8. كلاهما يعمل دون اتصال وبفك ترميز ذاتي الانحدار، وليس بالبث.

VoiceChat 11B

المهمة والمرجع: ‏speech-to-speech ثنائي الاتجاه؛ SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model ‏(Interspeech 2025)، كما تستشهد به بطاقة VoiceChat الأصلية من NVIDIA.

runtime كامل، M5 Pro ‏48 GB، Release، إيقاع حي 80 ms: تبلغ ذروة RSS لـ INT5 برؤوس محمية نحو 8.69 GB؛ وكانت نتائج RTF المضبوطة للمسار الكامل 0.96 و‏0.96 و‏0.99. ولم يُعد قياس أداء INT8 المحسّن بعد.

ينفّذ VoiceChat مسار MLX الأصلي الكامل من الصوت إلى الصوت: إدراك FastConformer سببي، وقناتا النص/الوظيفة ثنائيتا الاتجاه في Nemotron-H، وفاك ترميز EAR-TTS مستقل مشروط بالنص مع ثماني دورات MaskGIT، ومرمّز عصبي بتردد 22.05 kHz. يحتفظ البث بذواكر مؤقتة محدودة للانتباه والالتفاف السببي لكل طبقة، بينما تستخدم نافذة المرمّز الحية الثابتة ذات الإطارات الثمانية رسماً مجمّعاً. ينتج كل إطار إدخال 80 ms قراراً لغوياً و31 رمز RVQ و1,764 عينة خرج بالضبط. يتطلب المحمّل bundle كاملاً من encoder/ + llm/ + tts/ ويرفض صادرات الفهم القديمة فقط. يحافظ INT5 الآن على RTF متوسط دون 1 على M5 Pro المختبَر، مع بقاء هامش p95 لكل إطار ضيقاً.

محرّكات الاستدلال الخلفية

المحرّك الخلفيالعتادالنماذج
MLX GPU Metal Qwen3-ASR, Qwen3-TTS, CosyVoice3, IndexTTS2, Qwen3.5-Chat, PersonaPlex, VoiceChat 11B, Omnilingual ASR (300M / 1B / 3B / 7B), Cohere Transcribe 2B, Voxtral Mini 3B, Pyannote, Silero VAD, WeSpeaker, MOSS Transcribe Diarize, SpeechBrain ECAPA LID
CoreML Neural Engine مُرمِّز Qwen3-ASR (هجين)، Parakeet TDT، Parakeet EOU streaming، Omnilingual ASR 300M، Kokoro-82M، Qwen3.5-Chat (اختياري)، فرز المتحدثين Sortformer، DeepFilterNet3، Silero VAD (اختياري)، WeSpeaker (اختياري), MOSS Transcribe Diarize, SpeechBrain ECAPA LID
Accelerate CPU (SIMD) معالجة الصوت الأولية (STFT، mel، FFT) ومعالجة الإشارات

صيغة أوزان النماذج

تستخدم نماذج MLX صيغة safetensors مع تكميم بـ 4 بت أو 8 بت (حجم المجموعة 64). تستخدم نماذج CoreML الصيغة المُجمَّعة .mlmodelc. تقوم سكربتات التحويل في scripts/ بالتحويل من نقاط حفظ PyTorch.

يوفّر Cohere وVoxtral أيضًا حزم MLX بتكميم INT5 التآلفي. لا يدعم MLX تكميم INT7 التآلفي؛ وINT8 هو خيار الجودة الأعلى المدعوم.

النموذجالمعاملاتالتكميمالحجم على القرص
Qwen3-ASR 0.6B (MLX)~600M4-bit / 8-bit680 MB / 1.0 GB
Qwen3-ASR 0.6B (CoreML)~186M (encoder)INT8~180 MB
Qwen3-ASR 1.7B (MLX)~1.7B4-bit / 8-bit2.1 GB / 3.2 GB
Parakeet-TDT 0.6B (CoreML)~600MINT8500 MB
Whisper Large-v3 Turbo (CoreML)809MFP161.6 GB
MOSS Transcribe Diarize 0.9B (MLX)908.5MFP16 audio + INT5 / INT8 decoder987.0 MiB / 1,200.1 MiB
MOSS Transcribe Diarize 0.9B (CoreML)~900MFP16 / INT8 block-321.7 GB / 1.2 GB
Parakeet-EOU 120M (CoreML)~120MINT8~120 MB
Omnilingual-ASR-CTC 300M (CoreML)326MINT8312 MB
Omnilingual-ASR-CTC 300M (MLX)326M4-bit / 8-bit193 MB / 342 MB
Omnilingual-ASR-CTC 1B (MLX)1.01B4-bit / 8-bit549 MB / 1006 MB
Omnilingual-ASR-CTC 3B (MLX)~3B4-bit / 8-bit1.71 GB / 3.16 GB
Omnilingual-ASR-CTC 7B (MLX)~7B4-bit / 8-bit3.55 GB / 6.63 GB
Cohere Transcribe 2B (MLX)2BFP16 / INT5 / INT83.85 / 1.62 / 2.25 GiB
Voxtral Mini 3B 2507 (MLX)3BFP16 / INT5 / INT88.71 / 3.77 / 5.18 GiB
Qwen3-ForcedAligner 0.6B (MLX)~600M4-bit / 8-bit979 MB / 1.4 GB
Qwen3-ForcedAligner 0.6B (CoreML)~600MINT4 / INT8630 MB / 1.0 GB
Qwen3-TTS 0.6B (MLX)~600M4-bit / 8-bit1.7 GB / 2.4 GB
Qwen3-TTS 1.7B (MLX)~1.7B4-bit / 8-bit3.2 GB / 4.8 GB
CosyVoice3 0.5B (MLX)~500MLLM بـ 4-bit~1.2 GB
IndexTTS2 expanded bundle (MLX)1.5B-classFP16 + auxiliary models~4.8 GB
Kokoro-82M (CoreML)82MINT8 (1 bucket)~89 MB
Qwen3.5-Chat 0.8B (MLX)~800MINT4418 MB
Qwen3.5-Chat 0.8B (CoreML)~800MINT8981 MB
PersonaPlex 7B (MLX)~7B4-bit / 8-bit4.9 GB / 9.1 GB
VoiceChat 11B (MLX)~11BINT5 / INT88.56 GB / 12.11 GB
Pyannote VAD (MLX)~1.49Mfloat32~5.7 MB
Silero VAD v5~309Kfloat32~1.2 MB (MLX وCoreML)
WeSpeaker ResNet34~6.6Mfloat32~25 MB (MLX وCoreML)
SpeechBrain ECAPA VoxLingua10721.25MFP16~40.6 MiB (MLX) / ~40.8 MiB (CoreML)
ReDimNet2-B612.3Mfloat16~25 MiB (CoreML)
Pyannote Community-1 (CoreML)8.35Mfloat32 + native VBx~32 MB
Sortformer (CoreML)float16~50 MB
DeepFilterNet3 (CoreML)~2.1MFP16~4.2 MB
LocalVQE v1.4-AEC (CoreML + C++)200K + 2,742FP16 + FP32~732 KB

تحسينات الأداء

معالجة الصوت

يستخدم كل إدخال/إخراج صوتي PCM بصيغة Float32. يتولّى إعادة العيّنات الداخلي تحويل الصيغ:

النموذجالمعدّل المتوقَّعالصيغة
Qwen3-ASR16 kHzMono Float32
Cohere Transcribe 2B16 kHzMono Float32
Voxtral Mini 3B16 kHzMono Float32
Qwen3-TTS24 kHz للخرجMono Float32
CosyVoice324 kHz للخرجMono Float32
Kokoro-82M24 kHz للخرجMono Float32
PersonaPlex24 kHz إدخال/إخراجMono Float32
Pyannote VAD16 kHzMono Float32
Silero VAD16 kHzMono Float32
WeSpeaker16 kHzMono Float32
SpeechBrain ECAPA LID16 kHzMono Float32
ReDimNet2-B616 kHzMono Float32
DeepFilterNet348 kHzMono Float32

هيكل الكود المصدري

Sources/
  AudioCommon/            بروتوكولات مشتركة، إدخال/إخراج صوتي، التقاط إخراج
                          النظام (SystemAudioTap)، مُنزِّل HuggingFace،
                          SentencePieceModel (قارئ protobuf)
  MLXCommon/              أدوات MLX: تحميل الأوزان، مساعدات QuantizedLinear،
                          مساعد انتباه متعدّد الرؤوس SDPA، ميزانية metal
  Qwen3Common/            مكوّنات نماذج مشتركة (ذاكرة KV، RoPE، التكميم)
  Qwen3ASR/               Qwen3-ASR من الصوت إلى النص
  ParakeetASR/            Parakeet TDT من الصوت إلى النص (CoreML)
  ParakeetStreamingASR/   إملاء متدفّق Parakeet EOU 120M (CoreML)
  OmnilingualASR/         Meta wav2vec2 + CTC، 1,672 لغة
                          (CoreML 300M + MLX 300M / 1B / 3B / 7B)
  CohereTranscribeASR/  Cohere Transcribe 2B speech-to-text (MLX)
  VoxtralASR/            Voxtral Mini 3B speech-to-text (MLX)
  Qwen3TTS/               Qwen3-TTS من النص إلى الكلام
  CosyVoiceTTS/           CosyVoice3 من النص إلى الكلام
  KokoroTTS/              Kokoro-82M من النص إلى الكلام (CoreML)
  Qwen3Chat/              دردشة LLM على الجهاز Qwen3.5-0.8B (MLX + CoreML)
  PersonaPlex/            PersonaPlex من الكلام إلى الكلام
  SpeechVAD/              VAD (Silero + Pyannote)، فرز المتحدثين، تضمينات المتحدث
  SpeechLanguageID/       تحديد لغة الكلام (SpeechBrain ECAPA وMLX + CoreML و107 تسميات)
  SpeechEnhancement/      كبت الضوضاء DeepFilterNet3 (CoreML)
  SourceSeparation/       Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
  MAGNeTMusicGen/         MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
  VoxCPM2TTS/             VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
  IndexTTS2TTS/           IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
  VibeVoiceTTS/           VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
  MagpieTTS/              NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
                          9 languages, 5 baked speakers, streaming)
  MagpieTTSCoreML/        Magpie CoreML backend (4 .mlmodelc + Swift-side
                          FSQ inverse; 8 languages, batch-only; hybrid
                          with MagpieTTS for LocalTransformer + audio
                          embeddings)
  MADLADTranslation/      MADLAD-400 many-to-many translation (MLX, 400+ languages)
  AudioCLILib/            تنفيذات أوامر CLI
  AudioCLI/               نقطة دخول CLI

scripts/              تحويل النماذج (PyTorch → MLX/CoreML)، اختبارات الأداء
Tests/                اختبارات الوحدة والتكامل
Examples/             تطبيقات تجريبية (PersonaPlexDemo, SpeechDemo)