البنية
speech-swift منظَّم كحزمة Swift وحدوية ذات بروتوكولات مشتركة، ووحدات نماذج مستقلة، وواجهة CLI موحَّدة. يجري كل الاستدلال على الجهاز باستخدام MLX (GPU Metal) أو CoreML (Neural Engine).
مخطط اعتماديات الوحدات
┌──────────┐
│ AudioCLI │ (نقطة الدخول)
└────┬─────┘
│
┌──────┴──────┐
│ AudioCLILib │ (الأوامر)
└──────┬──────┘
│
┌─────────┬───────┼───────┬──────────┬──────────────┐
│ │ │ │ │ │
┌────┴───┐ ┌──┴──┐ ┌──┴──┐ ┌─┴────┐ ┌───┴────┐ ┌──────┴───────┐
│Qwen3ASR│ │Qwen3│ │Cosy │ │Perso-│ │Speech- │ │ Speech- │
│Parakeet│ │ TTS │ │Voice│ │naPlex│ │ VAD │ │Enhancement │
└────┬───┘ └──┬──┘ └──┬──┘ └──┬───┘ └───┬───┘ └──────┬───────┘
│ │ │ │ │ │
└────────┴───────┼───────┴─────────┘ │
│ │
┌──────┴──────┐ │
│ Qwen3Common │ (طبقات مشتركة) │
└──────┬──────┘ │
│ │
┌──────┴──────┐ │
│ AudioCommon │ ◄──────────────────────┘
└─────────────┘ (بروتوكولات، إدخال/إخراج صوتي)MOSS Transcribe Diarize
يعيد MossTranscribe مقاطع مؤقتة منسوبة إلى المتحدثين عبر CoreML وMLX الأصليين. يستخدم CoreML حالة ثابتة من 1,024 token للتسجيلات القصيرة. ويستخدم MLX سياقا ديناميكيا من 131,072 token وأوزان مفكك affine INT5/INT8 وذاكرة KV اختيارية FP16/INT8. كلاهما يعمل دون اتصال وبفك ترميز ذاتي الانحدار، وليس بالبث.
VoiceChat 11B
المهمة والمرجع: speech-to-speech ثنائي الاتجاه؛ SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model (Interspeech 2025)، كما تستشهد به بطاقة VoiceChat الأصلية من NVIDIA.
runtime كامل، M5 Pro 48 GB، Release، إيقاع حي 80 ms: تبلغ ذروة RSS لـ INT5 برؤوس محمية نحو 8.69 GB؛ وكانت نتائج RTF المضبوطة للمسار الكامل 0.96 و0.96 و0.99. ولم يُعد قياس أداء INT8 المحسّن بعد.
ينفّذ VoiceChat مسار MLX الأصلي الكامل من الصوت إلى الصوت: إدراك FastConformer سببي، وقناتا النص/الوظيفة ثنائيتا الاتجاه في Nemotron-H، وفاك ترميز EAR-TTS مستقل مشروط بالنص مع ثماني دورات MaskGIT، ومرمّز عصبي بتردد 22.05 kHz. يحتفظ البث بذواكر مؤقتة محدودة للانتباه والالتفاف السببي لكل طبقة، بينما تستخدم نافذة المرمّز الحية الثابتة ذات الإطارات الثمانية رسماً مجمّعاً. ينتج كل إطار إدخال 80 ms قراراً لغوياً و31 رمز RVQ و1,764 عينة خرج بالضبط. يتطلب المحمّل bundle كاملاً من encoder/ + llm/ + tts/ ويرفض صادرات الفهم القديمة فقط. يحافظ INT5 الآن على RTF متوسط دون 1 على M5 Pro المختبَر، مع بقاء هامش p95 لكل إطار ضيقاً.
محرّكات الاستدلال الخلفية
| المحرّك الخلفي | العتاد | النماذج |
|---|---|---|
| MLX | GPU Metal | Qwen3-ASR, Qwen3-TTS, CosyVoice3, IndexTTS2, Qwen3.5-Chat, PersonaPlex, VoiceChat 11B, Omnilingual ASR (300M / 1B / 3B / 7B), Cohere Transcribe 2B, Voxtral Mini 3B, Pyannote, Silero VAD, WeSpeaker, MOSS Transcribe Diarize, SpeechBrain ECAPA LID |
| CoreML | Neural Engine | مُرمِّز Qwen3-ASR (هجين)، Parakeet TDT، Parakeet EOU streaming، Omnilingual ASR 300M، Kokoro-82M، Qwen3.5-Chat (اختياري)، فرز المتحدثين Sortformer، DeepFilterNet3، Silero VAD (اختياري)، WeSpeaker (اختياري), MOSS Transcribe Diarize, SpeechBrain ECAPA LID |
| Accelerate | CPU (SIMD) | معالجة الصوت الأولية (STFT، mel، FFT) ومعالجة الإشارات |
صيغة أوزان النماذج
تستخدم نماذج MLX صيغة safetensors مع تكميم بـ 4 بت أو 8 بت (حجم المجموعة 64). تستخدم نماذج CoreML الصيغة المُجمَّعة .mlmodelc. تقوم سكربتات التحويل في scripts/ بالتحويل من نقاط حفظ PyTorch.
يوفّر Cohere وVoxtral أيضًا حزم MLX بتكميم INT5 التآلفي. لا يدعم MLX تكميم INT7 التآلفي؛ وINT8 هو خيار الجودة الأعلى المدعوم.
| النموذج | المعاملات | التكميم | الحجم على القرص |
|---|---|---|---|
| Qwen3-ASR 0.6B (MLX) | ~600M | 4-bit / 8-bit | 680 MB / 1.0 GB |
| Qwen3-ASR 0.6B (CoreML) | ~186M (encoder) | INT8 | ~180 MB |
| Qwen3-ASR 1.7B (MLX) | ~1.7B | 4-bit / 8-bit | 2.1 GB / 3.2 GB |
| Parakeet-TDT 0.6B (CoreML) | ~600M | INT8 | 500 MB |
| Whisper Large-v3 Turbo (CoreML) | 809M | FP16 | 1.6 GB |
| MOSS Transcribe Diarize 0.9B (MLX) | 908.5M | FP16 audio + INT5 / INT8 decoder | 987.0 MiB / 1,200.1 MiB |
| MOSS Transcribe Diarize 0.9B (CoreML) | ~900M | FP16 / INT8 block-32 | 1.7 GB / 1.2 GB |
| Parakeet-EOU 120M (CoreML) | ~120M | INT8 | ~120 MB |
| Omnilingual-ASR-CTC 300M (CoreML) | 326M | INT8 | 312 MB |
| Omnilingual-ASR-CTC 300M (MLX) | 326M | 4-bit / 8-bit | 193 MB / 342 MB |
| Omnilingual-ASR-CTC 1B (MLX) | 1.01B | 4-bit / 8-bit | 549 MB / 1006 MB |
| Omnilingual-ASR-CTC 3B (MLX) | ~3B | 4-bit / 8-bit | 1.71 GB / 3.16 GB |
| Omnilingual-ASR-CTC 7B (MLX) | ~7B | 4-bit / 8-bit | 3.55 GB / 6.63 GB |
| Cohere Transcribe 2B (MLX) | 2B | FP16 / INT5 / INT8 | 3.85 / 1.62 / 2.25 GiB |
| Voxtral Mini 3B 2507 (MLX) | 3B | FP16 / INT5 / INT8 | 8.71 / 3.77 / 5.18 GiB |
| Qwen3-ForcedAligner 0.6B (MLX) | ~600M | 4-bit / 8-bit | 979 MB / 1.4 GB |
| Qwen3-ForcedAligner 0.6B (CoreML) | ~600M | INT4 / INT8 | 630 MB / 1.0 GB |
| Qwen3-TTS 0.6B (MLX) | ~600M | 4-bit / 8-bit | 1.7 GB / 2.4 GB |
| Qwen3-TTS 1.7B (MLX) | ~1.7B | 4-bit / 8-bit | 3.2 GB / 4.8 GB |
| CosyVoice3 0.5B (MLX) | ~500M | LLM بـ 4-bit | ~1.2 GB |
| IndexTTS2 expanded bundle (MLX) | 1.5B-class | FP16 + auxiliary models | ~4.8 GB |
| Kokoro-82M (CoreML) | 82M | INT8 (1 bucket) | ~89 MB |
| Qwen3.5-Chat 0.8B (MLX) | ~800M | INT4 | 418 MB |
| Qwen3.5-Chat 0.8B (CoreML) | ~800M | INT8 | 981 MB |
| PersonaPlex 7B (MLX) | ~7B | 4-bit / 8-bit | 4.9 GB / 9.1 GB |
| VoiceChat 11B (MLX) | ~11B | INT5 / INT8 | 8.56 GB / 12.11 GB |
| Pyannote VAD (MLX) | ~1.49M | float32 | ~5.7 MB |
| Silero VAD v5 | ~309K | float32 | ~1.2 MB (MLX وCoreML) |
| WeSpeaker ResNet34 | ~6.6M | float32 | ~25 MB (MLX وCoreML) |
| SpeechBrain ECAPA VoxLingua107 | 21.25M | FP16 | ~40.6 MiB (MLX) / ~40.8 MiB (CoreML) |
| ReDimNet2-B6 | 12.3M | float16 | ~25 MiB (CoreML) |
| Pyannote Community-1 (CoreML) | 8.35M | float32 + native VBx | ~32 MB |
| Sortformer (CoreML) | — | float16 | ~50 MB |
| DeepFilterNet3 (CoreML) | ~2.1M | FP16 | ~4.2 MB |
| LocalVQE v1.4-AEC (CoreML + C++) | 200K + 2,742 | FP16 + FP32 | ~732 KB |
تحسينات الأداء
- MLX compile() — دمج النوى للحلقات ذاتية الانحدار. يستخدم Talker
compile(shapeless: true)، ويستخدم Code Predictorcompile(shapeless: false)بأحجام ذاكرة تخزين مؤقت ثابتة. - مكتبة شيدرات Metal — يتجنّب metallib المُجمَّع مسبقًا حمل تجميع JIT بنحو 5x. يُبنى عبر
scripts/build_mlx_metallib.sh. - فك ترميز الكوديك بالأجزاء — يعالج مفكِّك TTS الكلامَ في أجزاء من 25 إطارًا مع تداخل سياق بـ 10 إطارات لتفادي انتهاء مهلة GPU.
- CFG بمضاعفة الدفعات — يقلِّص DiT في CosyVoice3 تمريرات flow matching إلى النصف بتجميع المشروط واللامشروط في دفعة واحدة.
- RoPE مدموج — يستخدم
MLXNN.RoPEالمدعوم بنواة Metal بدل التدوير اليدوي. - دمج BN — تُدمج batch normalization في WeSpeaker ضمن أوزان Conv2d وقت التحويل.
معالجة الصوت
يستخدم كل إدخال/إخراج صوتي PCM بصيغة Float32. يتولّى إعادة العيّنات الداخلي تحويل الصيغ:
| النموذج | المعدّل المتوقَّع | الصيغة |
|---|---|---|
| Qwen3-ASR | 16 kHz | Mono Float32 |
| Cohere Transcribe 2B | 16 kHz | Mono Float32 |
| Voxtral Mini 3B | 16 kHz | Mono Float32 |
| Qwen3-TTS | 24 kHz للخرج | Mono Float32 |
| CosyVoice3 | 24 kHz للخرج | Mono Float32 |
| Kokoro-82M | 24 kHz للخرج | Mono Float32 |
| PersonaPlex | 24 kHz إدخال/إخراج | Mono Float32 |
| Pyannote VAD | 16 kHz | Mono Float32 |
| Silero VAD | 16 kHz | Mono Float32 |
| WeSpeaker | 16 kHz | Mono Float32 |
| SpeechBrain ECAPA LID | 16 kHz | Mono Float32 |
| ReDimNet2-B6 | 16 kHz | Mono Float32 |
| DeepFilterNet3 | 48 kHz | Mono Float32 |
هيكل الكود المصدري
Sources/
AudioCommon/ بروتوكولات مشتركة، إدخال/إخراج صوتي، التقاط إخراج
النظام (SystemAudioTap)، مُنزِّل HuggingFace،
SentencePieceModel (قارئ protobuf)
MLXCommon/ أدوات MLX: تحميل الأوزان، مساعدات QuantizedLinear،
مساعد انتباه متعدّد الرؤوس SDPA، ميزانية metal
Qwen3Common/ مكوّنات نماذج مشتركة (ذاكرة KV، RoPE، التكميم)
Qwen3ASR/ Qwen3-ASR من الصوت إلى النص
ParakeetASR/ Parakeet TDT من الصوت إلى النص (CoreML)
ParakeetStreamingASR/ إملاء متدفّق Parakeet EOU 120M (CoreML)
OmnilingualASR/ Meta wav2vec2 + CTC، 1,672 لغة
(CoreML 300M + MLX 300M / 1B / 3B / 7B)
CohereTranscribeASR/ Cohere Transcribe 2B speech-to-text (MLX)
VoxtralASR/ Voxtral Mini 3B speech-to-text (MLX)
Qwen3TTS/ Qwen3-TTS من النص إلى الكلام
CosyVoiceTTS/ CosyVoice3 من النص إلى الكلام
KokoroTTS/ Kokoro-82M من النص إلى الكلام (CoreML)
Qwen3Chat/ دردشة LLM على الجهاز Qwen3.5-0.8B (MLX + CoreML)
PersonaPlex/ PersonaPlex من الكلام إلى الكلام
SpeechVAD/ VAD (Silero + Pyannote)، فرز المتحدثين، تضمينات المتحدث
SpeechLanguageID/ تحديد لغة الكلام (SpeechBrain ECAPA وMLX + CoreML و107 تسميات)
SpeechEnhancement/ كبت الضوضاء DeepFilterNet3 (CoreML)
SourceSeparation/ Open-Unmix HQ / UMX-L + HTDemucs (Demucs v4) music source separation (MLX, 4 stems)
MAGNeTMusicGen/ MAGNeT text-to-music generation (MLX, 30 s @ 32 kHz, INT4/INT8)
VoxCPM2TTS/ VoxCPM2 text-to-speech (MLX, 48 kHz, voice cloning + voice design)
IndexTTS2TTS/ IndexTTS2 voice cloning (MLX, semantic GPT + emotion/tempo/pause control + S2Mel + BigVGAN)
VibeVoiceTTS/ VibeVoice long-form / multi-speaker TTS (MLX, EN/ZH)
MagpieTTS/ NVIDIA Magpie-TTS Multilingual 357M (MLX INT4/INT8,
9 languages, 5 baked speakers, streaming)
MagpieTTSCoreML/ Magpie CoreML backend (4 .mlmodelc + Swift-side
FSQ inverse; 8 languages, batch-only; hybrid
with MagpieTTS for LocalTransformer + audio
embeddings)
MADLADTranslation/ MADLAD-400 many-to-many translation (MLX, 400+ languages)
AudioCLILib/ تنفيذات أوامر CLI
AudioCLI/ نقطة دخول CLI
scripts/ تحويل النماذج (PyTorch → MLX/CoreML)، اختبارات الأداء
Tests/ اختبارات الوحدة والتكامل
Examples/ تطبيقات تجريبية (PersonaPlexDemo, SpeechDemo)