Automatische vertaling · Engels origineel

Niet-linguaal ASR

Meta's Omnilingual ASR is een taal-agnostische spraakherkenningsfamilie die 1,672 talen omvat over 32 afzonderlijke scripts . . de breedste taaldekking van elk on-device ASR model op Apple Silicon. Soniqo ports the CTC› naar beide CoreML (Neural Engine) en MLX (Metal GPU), met vier modelgroottes van 300M naar 7B parameters.

Audiokanalen, sample rate en invoerformaat

Gebruik mono Float32 PCM bij 16 kHz. De CLI accepteert gemeenschappelijke AVFoundation-leesbare bestanden, zoals WAV, MP3 en M4A. Vervolgens hersamplet ze automatisch naar 16 kHz. Voor stereo- of multichannelbestanden, AudioFileLoader.load gemiddelden alle kanalen standaard, zodat spraak op elk kanaal wordt behouden; gebruik channelSelection: .first of .select([indices]) voor expliciete routering. Voor lange opnames, AudioFileLoader.stream zorgt voor trek-gedreven, begrensd-geheugen brokken. [Float] buffer direct, de werkelijke sample rate te verstrekken de CoreML en MLX implementaties intern opnieuw te nemen.

Architectuur

Omnilingual CTC is een onder toezicht staande fijne tune van Meta's wav2vec 2.0 ruggengraat met een lineaire CTC hoofd over een gedeelde meertalige woordenschat. De pijplijn is parallel en niet-autoregressief een voorwaarts pas per uitdrukking, geen decoder loop.

raw audio [1, samples]
  → wav2vec2 feature extractor (7 strided CNN layers, ×320 downsample)
  → weight-normalised Conv1d positional encoder
  → N × pre-norm Transformer encoder layers
  → final layer norm
  → linear CTC head → logits [1, T, 10288]

Bij 16 kHz ingang, de 320× down sample encoder produceert 50 Hz frame rate. Een 10-seconde clip produceert 499 frames van logits. Hebzuchtige CTC decodering klapt opeenvolgende duplicaten en slaat speciale tokens over via de SentencePiece tokenizer.

Model Varianten

Tien varianten worden gepubliceerd onder de aufklarer namespace op HuggingFace 2 CoreML venstergrootte plus acht MLX quantification combinaties:

CLI-gebruik

CoreML (Neural Engine)

# 10 s window (default)
.build/release/speech transcribe recording.wav --engine omnilingual

# 5 s window (lower memory, faster cold start)
.build/release/speech transcribe recording.wav --engine omnilingual --window 5

MLX (Metal GPU)

# 300M @ 4-bit (default MLX variant)
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx

# 1B @ 4-bit — higher accuracy
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B

# 3B @ 8-bit — approaching reference quality
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8

# 7B @ 4-bit — largest CTC variant, best accuracy
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B

Swift API

CoreML backend

import OmnilingualASR
import AudioCommon

let model = try await OmnilingualASRModel.fromPretrained()
let audio = try AudioFileLoader.load(url: url, targetSampleRate: 16000)
let text = try model.transcribeAudio(audio, sampleRate: 16000)
print(text)

MLX backend

import OmnilingualASR

// Default: 300M @ 4-bit
let model = try await OmnilingualASRMLXModel.fromPretrained()

// Larger variants
let big = try await OmnilingualASRMLXModel.fromPretrained(variant: .b1, bits: 4)
let huge = try await OmnilingualASRMLXModel.fromPretrained(variant: .b3, bits: 8)
let max = try await OmnilingualASRMLXModel.fromPretrained(variant: .b7, bits: 4)

let text = try model.transcribeAudio(audio, sampleRate: 16000)

CoreML vs MLX

Beide backends produceren in wezen identieke transcripten modulo 1-2 karakters (kwantisering en runtime verschillen). Kies op basis van uw inzetdoel:

Voorbewerkingsdetails

Omnilingual vereist een laag-norm op het niveau van de ruwe golfvorm, die overeenkomt met fairseq2 apply_audio_normalization:

normalized = (audio - mean(audio)) / sqrt(variance(audio) + 1e-5)

De Swift poort normaliseert de werkelijke audio-inhoud voor nulvulling naar het CoreML vaste venster, dus subvenster-inputs komen exact overeen met referentie-pijpleidingstatistieken. Dit is de meest voorkomende poort-valkuil-... HuggingFace's wav2vec2 implementatie doet groepsnorm per feature, niet uitroeplaag-norm.

De referentiepijplijn dwingt een 40 seconden harde dop (MAX_ALLOWED_AUDIO_SEC) op input audio af. De Swift poort verplicht dezelfde limiet te handhaven . Langere ingangen gooien een duidelijke fout die wijst naar SpeechVAD of ParakeetStreamingASR voor gesegmenteerde verwerking.

Talendekking

Omnilingual ondersteunt 1,672 talen in 32 scripts, waaronder 500+ low-source talen toegevoegd via het verzamelen van communautaire gegevens.

Volledige ISO 639-3 + ISO 15924 codelijst met Engelse namen in de lang_ids.py bron, en gegroepeerd op script met land hints in de modelkaart.

Geverifieerde uitvoer

Transcripts van de Swift poort op de FLEURS benchmark, CoreML 300M:

De MLX 300M-4bit variant produceert in wezen identieke uitvoermodus 1-2 tekens. Grotere varianten (1B, 3B, 7B) verminderen de resterende fouten geleidelijk.

Referentie

• Papier: Omnilingual ASR (arXiv 2511.09690)
• Upstream implementatie: facebookonderzoek/omnilingual-asr (Apache 2,0)
• Swift poortbron: speech-swift
• Modelkaart: docs/models/omnilingual-asr.md