Maskinoversettelse · Engelsk original

Omnilingual ASR

Metas Omnilingual ASR er en språk-agnostisk tale gjenkjennelse familie dekker 1,672-språk tvers 32 distinkte skript - den bredeste språkdekningen av alle på-device ASR-modell på Apple Silicon. Soniqo har CTC-varianten til både CoreML (Neural Engine) og MLX(Metal GPU), med fire modellstørrelser fra 300M til 7B-parametre.

Lydkanaler, prøvehastighet og inngangsformat

Bruke mono Float32 PCM på 16 kHz. CLI aksepterer vanlige AVFoundation-lesbare filer som WAV, MP3 og M4A samt CAF, og prøver dem automatisk til 16 kHz. For stereo- eller flerkanalsfiler, AudioFileLoader.load gjennomsnitter alle kanaler som standard så tale på hvilken som helst kanal beholdt; bruk channelSelection: .first eller .select([indices]) for eksplisitt rute. For lange opptak, AudioFileLoader.stream gir trekk-drevet, avgrenset minnebiter. Når passerer en [Float] buffer direkte, gi sin faktiske prøvehastighet - CoreML og MLX implementasjoner reprøve internt.

Arkitektur

Omnilingual CTC er en overvåket finpune av Metas wav2vec 2.0 ryggrad med et lineært CTC-hode over et delt flerspråklig ordforråd. Rørledningen er parallelt og ikke-autoregressivt - ett fremover pass per uttalelse, ingen dekodersløyfe.

raw audio [1, samples]
  → wav2vec2 feature extractor (7 strided CNN layers, ×320 downsample)
  → weight-normalised Conv1d positional encoder
  → N × pre-norm Transformer encoder layers
  → final layer norm
  → linear CTC head → logits [1, T, 10288]

Ved 16 kHz-inngang, produserer 320×-nedprøvet koder 50 Hz-rammehastighet. Et 10-sekund klipp produserer 499 rammer av logitter. Greedy CTC dekoding kollapser påfølgende dupliserer og hopper over spesielle polletter via SentencePiece-tokenizeren.

Modell Varianter

Ti varianter er publisert under aufklarer navneområde på HuggingFace — to CoreML vindustørrelser pluss åtte MLX kvantiseringskombinasjoner:

CLI bruk

CoreML (Neural Engine)

# 10 s window (default)
.build/release/speech transcribe recording.wav --engine omnilingual

# 5 s window (lower memory, faster cold start)
.build/release/speech transcribe recording.wav --engine omnilingual --window 5

MLX (Metal GPU)

# 300M @ 4-bit (default MLX variant)
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx

# 1B @ 4-bit — higher accuracy
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B

# 3B @ 8-bit — approaching reference quality
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8

# 7B @ 4-bit — largest CTC variant, best accuracy
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B

Swift API

CoreML-bakstykke

import OmnilingualASR
import AudioCommon

let model = try await OmnilingualASRModel.fromPretrained()
let audio = try AudioFileLoader.load(url: url, targetSampleRate: 16000)
let text = try model.transcribeAudio(audio, sampleRate: 16000)
print(text)

MLX motor

import OmnilingualASR

// Default: 300M @ 4-bit
let model = try await OmnilingualASRMLXModel.fromPretrained()

// Larger variants
let big = try await OmnilingualASRMLXModel.fromPretrained(variant: .b1, bits: 4)
let huge = try await OmnilingualASRMLXModel.fromPretrained(variant: .b3, bits: 8)
let max = try await OmnilingualASRMLXModel.fromPretrained(variant: .b7, bits: 4)

let text = try model.transcribeAudio(audio, sampleRate: 16000)

CoreML vs MLX

Begge motorene produserer i det vesentlige identiske transkripsjoner modulo 1-2 tegn (kvantisering og driftstid forskjeller). Velg basert på utplasseringsmålet ditt:

Forbehandlingsdetaljer

Omnilingual krever uttrykksnivå lag-norm på rå bølgeform, som passer fairseq2s apply_audio_normalization:

normalized = (audio - mean(audio)) / sqrt(variance(audio) + 1e-5)

Swift porten normaliserer det reelle lydinnholdet før null-fyll til CoreML faste vinduet, så undervindusinnganger matcher referanserørledningsstatistikk nøyaktig. Dette er den vanligste portgraven - HuggingFaces wav2vec2 implementeringen gjør gruppe-norm perfeature, ikke uttrykk lag-norm.

Referanserørledningen håndhever en 40 sekunder lang hard hette (MAX_ALLOWED_AUDIO_SEC) på inngangslyd. Swift-porten håndhever samme grense - lengre innganger kaster en klar feil som peker på SweetVAD eller ParakeetStreamingASR for segmentert behandling.

Språkdekning

Omnilingual støtter 1.672 språk på tvers av 32 skript, inkludert 500+ lavressursspråk som legges til via felles datainnsamling. Sample dekning:

Full ISO 639-3 + ISO 15924-kodeliste med engelske navn i lang_ids.py kilde, og gruppert etter skript med country hints i modelkort.

Bekreftet utgang

Transkripter fra Swift-porten på FLEURS- benchmark, CoreML 300M:

MLX 300M-4bit varianten produserer i hovedsak identiske utgangsmodul 1-2 tegn. Større varianter (1B, 3B, 7B) reduserer gjenværende feil gradvis.

Referanse

• Papir: Omnilingual ASR (arXiv 2511.09690)
• Oppstrøms implementering: facebookresearch/omnilingual-asr (Apache 2.0)
• Swift portkilde: speech-swift
• Modellkort: docs/models/omnilingual-asr.md