Omnilingual ASR

Omnilingual ASR của Meta là một họ mô hình nhận dạng giọng nói không phụ thuộc ngôn ngữ, bao phủ 1.672 ngôn ngữ trên 32 hệ chữ viết khác nhau — phạm vi ngôn ngữ rộng nhất của bất kỳ mô hình ASR trên thiết bị nào trên Apple Silicon. Soniqo chuyển biến thể CTC sang cả CoreML (Neural Engine) lẫn MLX (GPU Metal), với bốn kích thước mô hình từ 300M đến 7B tham số.

Kiến trúc

Omnilingual CTC là bản fine-tune có giám sát của backbone wav2vec 2.0 của Meta với một CTC head tuyến tính trên vốn từ vựng đa ngôn ngữ chia sẻ. Pipeline song song và không tự hồi quy — một forward pass cho mỗi câu thoại, không có vòng lặp decoder.

raw audio [1, samples]
  → wav2vec2 feature extractor (7 strided CNN layers, ×320 downsample)
  → weight-normalised Conv1d positional encoder
  → N × pre-norm Transformer encoder layers
  → final layer norm
  → linear CTC head → logits [1, T, 10288]

Ở đầu vào 16 kHz, encoder downsample ×320 tạo ra tốc độ frame 50 Hz. Một clip 10 giây tạo ra 499 frame logits. Giải mã greedy CTC gộp các bản sao liên tiếp và bỏ qua các token đặc biệt thông qua tokenizer SentencePiece.

Biến thể mô hình

Có mười biến thể được công bố dưới namespace aufklarer trên HuggingFace — hai kích thước cửa sổ CoreML cộng với tám tổ hợp lượng tử hoá MLX:

Sử dụng CLI

CoreML (Neural Engine)

# cửa sổ 10 s (mặc định)
.build/release/speech transcribe recording.wav --engine omnilingual

# cửa sổ 5 s (bộ nhớ thấp hơn, khởi động nguội nhanh hơn)
.build/release/speech transcribe recording.wav --engine omnilingual --window 5

MLX (GPU Metal)

# 300M @ 4-bit (biến thể MLX mặc định)
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx

# 1B @ 4-bit — độ chính xác cao hơn
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B

# 3B @ 8-bit — tiến gần chất lượng tham chiếu
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8

# 7B @ 4-bit — biến thể CTC lớn nhất, độ chính xác tốt nhất
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B

API Swift

Backend CoreML

import OmnilingualASR
import AudioCommon

let model = try await OmnilingualASRModel.fromPretrained()
let audio = try AudioFileLoader.load(url: url, targetSampleRate: 16000)
let text = try model.transcribeAudio(audio, sampleRate: 16000)
print(text)

Backend MLX

import OmnilingualASR

// Mặc định: 300M @ 4-bit
let model = try await OmnilingualASRMLXModel.fromPretrained()

// Biến thể lớn hơn
let big = try await OmnilingualASRMLXModel.fromPretrained(variant: .b1, bits: 4)
let huge = try await OmnilingualASRMLXModel.fromPretrained(variant: .b3, bits: 8)
let max = try await OmnilingualASRMLXModel.fromPretrained(variant: .b7, bits: 4)

let text = try model.transcribeAudio(audio, sampleRate: 16000)

CoreML so với MLX

Cả hai backend đều tạo ra bản chuyển lời nói về cơ bản giống hệt nhau ngoại trừ 1-2 ký tự (khác biệt do lượng tử hoá và runtime). Hãy chọn theo mục tiêu triển khai của bạn:

Chi tiết tiền xử lý

Omnilingual yêu cầu layer-norm ở cấp câu thoại trên dạng sóng thô, tương ứng với apply_audio_normalization của fairseq2:

normalized = (audio - mean(audio)) / sqrt(variance(audio) + 1e-5)

Bản chuyển sang Swift chuẩn hoá nội dung âm thanh thật trước khi zero-padding tới cửa sổ cố định của CoreML, do đó đầu vào nhỏ hơn cửa sổ vẫn khớp chính xác với thống kê pipeline tham chiếu. Đây là cạm bẫy thường gặp nhất khi chuyển port — bản triển khai wav2vec2 của HuggingFace dùng group-norm theo đặc trưng, không phải layer-norm cấp câu thoại.

Pipeline tham chiếu áp giới hạn cứng 40 giây (MAX_ALLOWED_AUDIO_SEC) trên âm thanh đầu vào. Bản chuyển sang Swift áp cùng giới hạn — đầu vào dài hơn sẽ ném một lỗi rõ ràng chỉ tới SpeechVAD hoặc ParakeetStreamingASR để xử lý theo phân đoạn.

Phạm vi ngôn ngữ

Omnilingual hỗ trợ 1.672 ngôn ngữ trên 32 hệ chữ viết, bao gồm hơn 500 ngôn ngữ tài nguyên thấp được bổ sung qua việc thu thập dữ liệu cộng đồng. Mẫu phạm vi:

Danh sách mã ISO 639-3 + ISO 15924 đầy đủ với tên tiếng Anh có trong mã nguồn lang_ids.py, và được nhóm theo hệ chữ viết kèm gợi ý quốc gia trong thẻ mô hình.

Đầu ra đã xác thực

Các bản chuyển lời nói từ bản chuyển Swift trên benchmark FLEURS, CoreML 300M:

Biến thể MLX 300M-4bit cho đầu ra về cơ bản giống hệt ngoại trừ 1-2 ký tự. Các biến thể lớn hơn (1B, 3B, 7B) giảm dần lỗi còn lại.

Tham khảo

• Paper: Omnilingual ASR (arXiv 2511.09690)
• Bản triển khai upstream: facebookresearch/omnilingual-asr (Apache 2.0)
• Mã nguồn bản chuyển Swift: speech-swift/Sources/OmnilingualASR
• Thẻ mô hình: docs/models/omnilingual-asr.md