Omnilingual ASR

Meta'nın Omnilingual ASR'si, 32 farklı yazı sistemi boyunca 1.672 dili kapsayan dilden bağımsız bir konuşma tanıma ailesidir — Apple Silicon üzerinde herhangi bir cihaz üzeri ASR modelinin en geniş dil kapsamı. Soniqo, CTC varyantını hem CoreML'e (Neural Engine) hem de MLX'e (Metal GPU) port eder, 300M'den 7B parametreye kadar dört model boyutuyla.

Mimari

Omnilingual CTC, Meta'nın wav2vec 2.0 omurgasının paylaşımlı çok dilli bir sözcük dağarcığı üzerinde doğrusal CTC kafasıyla denetimli bir ince ayarıdır. Boru hattı paraleldir ve otoregresif değildir — söyleniş başına bir ileri geçiş, decoder döngüsü yok.

raw audio [1, samples]
  → wav2vec2 feature extractor (7 strided CNN layers, ×320 downsample)
  → weight-normalised Conv1d positional encoder
  → N × pre-norm Transformer encoder layers
  → final layer norm
  → linear CTC head → logits [1, T, 10288]

16 kHz girişte, ×320 alt örneklenmiş encoder 50 Hz frame oranı üretir. 10 saniyelik bir klip 499 frame logit üretir. Greedy CTC çözme ardışık kopyaları çöktürür ve SentencePiece tokenizer aracılığıyla özel token'ları atlar.

Model Varyantları

HuggingFace'te aufklarer ad alanı altında on varyant yayımlanmıştır — iki CoreML pencere boyutu artı sekiz MLX niceleme kombinasyonu:

CLI Kullanımı

CoreML (Neural Engine)

# 10 s pencere (varsayılan)
.build/release/speech transcribe recording.wav --engine omnilingual

# 5 s pencere (daha az bellek, daha hızlı soğuk başlangıç)
.build/release/speech transcribe recording.wav --engine omnilingual --window 5

MLX (Metal GPU)

# 300M @ 4-bit (varsayılan MLX varyantı)
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx

# 1B @ 4-bit — daha yüksek doğruluk
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B

# 3B @ 8-bit — referans kalitesine yaklaşıyor
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8

# 7B @ 4-bit — en büyük CTC varyantı, en iyi doğruluk
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B

Swift API

CoreML backend

import OmnilingualASR
import AudioCommon

let model = try await OmnilingualASRModel.fromPretrained()
let audio = try AudioFileLoader.load(url: url, targetSampleRate: 16000)
let text = try model.transcribeAudio(audio, sampleRate: 16000)
print(text)

MLX backend

import OmnilingualASR

// Varsayılan: 300M @ 4-bit
let model = try await OmnilingualASRMLXModel.fromPretrained()

// Daha büyük varyantlar
let big = try await OmnilingualASRMLXModel.fromPretrained(variant: .b1, bits: 4)
let huge = try await OmnilingualASRMLXModel.fromPretrained(variant: .b3, bits: 8)
let max = try await OmnilingualASRMLXModel.fromPretrained(variant: .b7, bits: 4)

let text = try model.transcribeAudio(audio, sampleRate: 16000)

CoreML vs MLX

Her iki backend de 1-2 karakter farkıyla (niceleme ve runtime farkları) esasen aynı transkriptleri üretir. Dağıtım hedefinize göre seçim yapın:

Ön İşleme Detayları

Omnilingual, fairseq2'nin apply_audio_normalization'ıyla eşleşen, ham dalga formunda söyleniş düzeyinde layer-norm gerektirir:

normalized = (audio - mean(audio)) / sqrt(variance(audio) + 1e-5)

Swift portu gerçek ses içeriğini CoreML sabit penceresine sıfır doldurmadan önce normalleştirir, böylece pencere altı girişler referans boru hattı istatistikleriyle tam olarak eşleşir. Bu en yaygın port tuzağıdır — HuggingFace'in wav2vec2 uygulaması özellik başına group-norm yapar, söyleniş düzeyinde layer-norm değil.

Referans boru hattı, giriş sesi üzerinde 40 saniyelik kesin bir sınır (MAX_ALLOWED_AUDIO_SEC) uygular. Swift portu aynı sınırı uygular — daha uzun girişler segmentli işleme için SpeechVAD veya ParakeetStreamingASR'yi gösteren net bir hata atar.

Dil Kapsamı

Omnilingual, topluluk veri toplama yoluyla eklenen 500'den fazla düşük kaynaklı dil dahil olmak üzere 32 yazı sistemi boyunca 1.672 dili destekler. Örnek kapsam:

İngilizce adlarıyla tam ISO 639-3 + ISO 15924 kod listesi lang_ids.py kaynağında, ve yazı sistemine göre gruplandırılmış ülke ipuçlarıyla birlikte model kartında bulunur.

Doğrulanmış Çıktı

FLEURS benchmark'ında Swift portundan transkriptler, CoreML 300M:

MLX 300M-4bit varyantı 1-2 karakter farkıyla esasen aynı çıktıyı üretir. Daha büyük varyantlar (1B, 3B, 7B) kalan hataları aşamalı olarak azaltır.

Referans

• Makale: Omnilingual ASR (arXiv 2511.09690)
• Upstream uygulama: facebookresearch/omnilingual-asr (Apache 2.0)
• Swift port kaynağı: speech-swift/Sources/OmnilingualASR
• Model kartı: docs/models/omnilingual-asr.md