Omnilingual ASR

Omnilingual ASR من Meta عائلة تعرّف على الكلام مستقلّة عن اللغة تغطّي 1,672 لغة عبر 32 نظام كتابة مميَّزاً — أوسع تغطية لغوية لأيّ نموذج ASR يعمل على الجهاز على Apple Silicon. تنقل Soniqo متغيّر CTC إلى كلٍّ من CoreML (Neural Engine) وMLX (GPU عبر Metal)، بأربعة أحجام نموذج من 300M إلى 7B معامل.

البنية المعمارية

Omnilingual CTC ضبط دقيق خاضع للإشراف لعمود wav2vec 2.0 من Meta مع رأس CTC خطّي على مفردات متعدّدة اللغات مشتركة. خط الأنابيب متوازٍ وغير ذاتيّ الانحدار — تمريرة أمامية واحدة لكل منطوق، بلا حلقة فاكّ ترميز.

raw audio [1, samples]
  → wav2vec2 feature extractor (7 strided CNN layers, ×320 downsample)
  → weight-normalised Conv1d positional encoder
  → N × pre-norm Transformer encoder layers
  → final layer norm
  → linear CTC head → logits [1, T, 10288]

عند مدخل 16 kHz، يُنتج المرمّز بتنزيل عيّنات ×320 معدّل إطار 50 Hz. مقطع من 10 ثوانٍ يُنتج 499 إطار logits. تفكيك CTC الجشع يُسقط التكرارات المتتالية ويتخطّى الرموز الخاصة عبر مفكِّك SentencePiece.

متغيّرات النموذج

تُنشَر عشرة متغيّرات تحت نطاق aufklarer على HuggingFace — حجما نافذة CoreML إضافة إلى ثماني تركيبات تكميم MLX:

استخدام CLI

CoreML (Neural Engine)

# نافذة 10 ث (افتراضية)
.build/release/speech transcribe recording.wav --engine omnilingual

# نافذة 5 ث (ذاكرة أقل، إقلاع بارد أسرع)
.build/release/speech transcribe recording.wav --engine omnilingual --window 5

MLX (GPU عبر Metal)

# 300M @ 4-bit (متغيّر MLX الافتراضي)
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx

# 1B @ 4-bit — دقّة أعلى
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B

# 3B @ 8-bit — يقترب من جودة المرجع
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8

# 7B @ 4-bit — أكبر متغيّر CTC، وأفضل دقّة
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B

واجهة Swift

الواجهة الخلفية CoreML

import OmnilingualASR
import AudioCommon

let model = try await OmnilingualASRModel.fromPretrained()
let audio = try AudioFileLoader.load(url: url, targetSampleRate: 16000)
let text = try model.transcribeAudio(audio, sampleRate: 16000)
print(text)

الواجهة الخلفية MLX

import OmnilingualASR

// افتراضياً: 300M @ 4-bit
let model = try await OmnilingualASRMLXModel.fromPretrained()

// متغيّرات أكبر
let big = try await OmnilingualASRMLXModel.fromPretrained(variant: .b1, bits: 4)
let huge = try await OmnilingualASRMLXModel.fromPretrained(variant: .b3, bits: 8)
let max = try await OmnilingualASRMLXModel.fromPretrained(variant: .b7, bits: 4)

let text = try model.transcribeAudio(audio, sampleRate: 16000)

CoreML مقابل MLX

تُنتج الواجهتان الخلفيّتان تفريغات متطابقة جوهرياً باستثناء حرف أو حرفين (فروقات التكميم وزمن التشغيل). اختر بحسب وجهة النشر:

تفاصيل المعالجة المسبقة

يتطلّب Omnilingual تطبيق layer-norm على مستوى المنطوق على الموجة الخام، بما يطابق apply_audio_normalization من fairseq2:

normalized = (audio - mean(audio)) / sqrt(variance(audio) + 1e-5)

يُطبِّع نقل Swift محتوى الصوت الفعلي قبل الحشو بالأصفار إلى النافذة الثابتة لـ CoreML، فتتطابق المدخلات الأقصر من النافذة تماماً مع إحصاءات خط الأنابيب المرجعي. هذا أشيع مزلق في نقل النموذج — تنفيذ wav2vec2 على HuggingFace يقوم بـ group-norm لكل خاصية، لا layer-norm على مستوى المنطوق.

يفرض خط الأنابيب المرجعي حدّاً صارماً قدره 40 ثانية (MAX_ALLOWED_AUDIO_SEC) على الصوت المدخل. ويفرض نقل Swift الحدّ ذاته — المدخلات الأطول تُلقي خطأً واضحاً يُحيل إلى SpeechVAD أو ParakeetStreamingASR للمعالجة المقسَّمة.

تغطية اللغات

يدعم Omnilingual 1,672 لغة عبر 32 نظام كتابة، تتضمّن أكثر من 500 لغة قليلة الموارد أُضيفت عبر جمع بيانات مجتمعي. عيّنة من التغطية:

قائمة كاملة برموز ISO 639-3 + ISO 15924 بأسماء إنجليزية في مصدر lang_ids.py، ومجمَّعة بحسب نظام الكتابة مع إشارات بلدية في بطاقة النموذج.

خرج موثَّق

تفريغات من نقل Swift على معيار FLEURS، CoreML 300M:

متغيّر MLX 300M-4bit يُنتج خرجاً متطابقاً جوهرياً باستثناء حرف أو حرفين. المتغيّرات الأكبر (1B و3B و7B) تخفّض الأخطاء المتبقّية تدريجياً.

المراجع

• الورقة البحثية: Omnilingual ASR (arXiv 2511.09690)
• التنفيذ الأصلي: facebookresearch/omnilingual-asr (Apache 2.0)
• مصدر نقل Swift: speech-swift/Sources/OmnilingualASR
• بطاقة النموذج: docs/models/omnilingual-asr.md