Omnilingual ASR

Omnilingual ASR от Meta — это семейство языконезависимого распознавания речи, охватывающее 1 672 языка в 32 различных письменностях — самое широкое языковое покрытие среди всех on-device ASR-моделей на Apple Silicon. Soniqo портирует CTC-вариант как на CoreML (Neural Engine), так и на MLX (Metal GPU) в четырёх размерах от 300M до 7B параметров.

Архитектура

Omnilingual CTC — это supervised fine-tune бэкбона wav2vec 2.0 от Meta с линейной CTC-головой над общим многоязычным словарём. Пайплайн параллельный и неавторегрессивный — один прямой проход на реплику, без цикла декодера.

raw audio [1, samples]
  → wav2vec2 feature extractor (7 strided CNN layers, ×320 downsample)
  → weight-normalised Conv1d positional encoder
  → N × pre-norm Transformer encoder layers
  → final layer norm
  → linear CTC head → logits [1, T, 10288]

При входе 16 кГц даунсэмплированный в 320 раз encoder выдаёт частоту кадров 50 Гц. 10-секундный клип даёт 499 кадров логитов. Жадное CTC-декодирование сливает подряд идущие дубликаты и пропускает специальные токены через SentencePiece-токенизатор.

Варианты модели

Десять вариантов опубликованы под namespace aufklarer на HuggingFace — два размера CoreML-окна плюс восемь комбинаций квантизации MLX:

Использование CLI

CoreML (Neural Engine)

# Окно 10 с (по умолчанию)
.build/release/audio transcribe recording.wav --engine omnilingual

# Окно 5 с (меньше памяти, быстрее холодный старт)
.build/release/audio transcribe recording.wav --engine omnilingual --window 5

MLX (Metal GPU)

# 300M @ 4-bit (MLX-вариант по умолчанию)
.build/release/audio transcribe recording.wav --engine omnilingual --backend mlx

# 1B @ 4-bit — выше точность
.build/release/audio transcribe recording.wav --engine omnilingual --backend mlx --variant 1B

# 3B @ 8-bit — приближается к качеству референса
.build/release/audio transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8

# 7B @ 4-bit — крупнейший CTC-вариант, лучшая точность
.build/release/audio transcribe recording.wav --engine omnilingual --backend mlx --variant 7B

Swift API

Бэкенд CoreML

import OmnilingualASR
import AudioCommon

let model = try await OmnilingualASRModel.fromPretrained()
let audio = try AudioFileLoader.load(url: url, targetSampleRate: 16000)
let text = try model.transcribeAudio(audio, sampleRate: 16000)
print(text)

Бэкенд MLX

import OmnilingualASR

// По умолчанию: 300M @ 4-bit
let model = try await OmnilingualASRMLXModel.fromPretrained()

// Большие варианты
let big = try await OmnilingualASRMLXModel.fromPretrained(variant: .b1, bits: 4)
let huge = try await OmnilingualASRMLXModel.fromPretrained(variant: .b3, bits: 8)
let max = try await OmnilingualASRMLXModel.fromPretrained(variant: .b7, bits: 4)

let text = try model.transcribeAudio(audio, sampleRate: 16000)

CoreML против MLX

Оба бэкенда создают по сути идентичные транскрипты с точностью до 1-2 символов (разница в квантизации и runtime). Выбирайте по целевой платформе развёртывания:

Детали предобработки

Omnilingual требует layer-norm на уровне реплики для сырой волны, совпадая с apply_audio_normalization из fairseq2:

normalized = (audio - mean(audio)) / sqrt(variance(audio) + 1e-5)

Swift-порт нормализует реальное аудио-содержимое до нулевого дополнения до фиксированного окна CoreML, так что входы меньше окна точно совпадают со статистикой референсного пайплайна. Это самая частая ловушка портирования — реализация wav2vec2 из HuggingFace делает group-norm по признакам, а не layer-norm по реплике.

Референсный пайплайн обеспечивает жёсткий лимит 40 секунд (MAX_ALLOWED_AUDIO_SEC) на входное аудио. Swift-порт обеспечивает тот же лимит — более длинные входы выбрасывают понятную ошибку с указанием на SpeechVAD или ParakeetStreamingASR для сегментированной обработки.

Языковое покрытие

Omnilingual поддерживает 1 672 языка в 32 письменностях, включая 500+ языков с ограниченными ресурсами, добавленных через сбор данных сообществом. Выборка покрытия:

Полный список кодов ISO 639-3 + ISO 15924 с английскими названиями в исходнике lang_ids.py, и сгруппировано по письменности со страновыми подсказками в карточке модели.

Проверенный вывод

Транскрипты со Swift-порта на бенчмарке FLEURS, CoreML 300M:

MLX-вариант 300M-4bit выдаёт по сути идентичный вывод с точностью до 1-2 символов. Более крупные варианты (1B, 3B, 7B) постепенно уменьшают остаточные ошибки.

Ссылки

• Статья: Omnilingual ASR (arXiv 2511.09690)
• Исходная реализация: facebookresearch/omnilingual-asr (Apache 2.0)
• Исходник Swift-порта: speech-swift/Sources/OmnilingualASR
• Карточка модели: docs/models/omnilingual-asr.md