Konekäännös · Englanninkielinen alkuperäinen

Kokokielinen ASR

Meta Omnilingual ASR on kieli-agnostinen puheentunnistus perhe kattaa 1,672 kielet yli 32 erilliset skriptit ... Laajin kieli kattavuus on-laite ASR malli Apple Silicon. Soniqo portit CTC-variantti molempiin CoreML (Neural Engine) ja MLX (Metal GPU), jossa on neljä mallikokoa 300M- 7B parametrit.

Äänikanavat, näytteenottonopeus ja syöttömuoto

Käytetään mono-Float32 PCM:tä 16 kHz:ssä. CLI hyväksyy yhteiset AVFounducation-luettavat tiedostot, kuten WAV, MP3, M4A, ja CAF, sitten uudelleen näytetään ne 16 KHES automaattisesti. Stereo- tai monikanavatiedostoja varten AudioFileLoader.load keskiarvot kaikki kanavat oletusarvoisesti, joten puhe millä tahansa kanavalla säilytetään; channelSelection: .first tai .select([indices]) suorassa reitityksessä. Pitkän tallennuksen osalta AudioFileLoader.stream tarjoaa veto-ohjattuja, rajoitettu-muisti paloja. [Float] puskuri suoraan, anna sen todellinen näytteenottonopeus.... CoreML ja MLX-toteutukset otetaan uudelleen sisäisesti.

Arkkitehtuuri

Omnilingual CTC on valvottu hienosäätö Metan wav2vec 2.0 selkäranka, jossa on lineaarinen CTC pää jaetussa monikielisessä sanastossa. Putkijohto on rinnakkainen ja ei-autoreaggressiivinen .

raw audio [1, samples]
  → wav2vec2 feature extractor (7 strided CNN layers, ×320 downsample)
  → weight-normalised Conv1d positional encoder
  → N × pre-norm Transformer encoder layers
  → final layer norm
  → linear CTC head → logits [1, T, 10288]

16 kHz:n sisääntulolla 320× alas otettu enkooderi tuottaa 50 Hz:n kuvanopeuden. 10 sekunnin leike tuottaa 499 lokikirjaketta. Ahne CTC-koodaus romahtaa peräkkäisiä kaksoiskappaleita ja ohittaa erikoiskuponkia SentencePiece-potentisoijan kautta.

Mallivaihtoehdot

Kymmenen versiota on julkaistu alla aufklareri nimiavaruus HuggingFace ... kahdella CoreML-ikkunakoolla sekä kahdeksalla MLX:n kvantitointiyhdistelmällä:

CLI-käyttö

CoreML (Neural Engine)

# 10 s window (default)
.build/release/speech transcribe recording.wav --engine omnilingual

# 5 s window (lower memory, faster cold start)
.build/release/speech transcribe recording.wav --engine omnilingual --window 5

MLX (Metal GPU)

# 300M @ 4-bit (default MLX variant)
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx

# 1B @ 4-bit — higher accuracy
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B

# 3B @ 8-bit — approaching reference quality
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8

# 7B @ 4-bit — largest CTC variant, best accuracy
.build/release/speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B

Swift API

CoreML backend

import OmnilingualASR
import AudioCommon

let model = try await OmnilingualASRModel.fromPretrained()
let audio = try AudioFileLoader.load(url: url, targetSampleRate: 16000)
let text = try model.transcribeAudio(audio, sampleRate: 16000)
print(text)

MLX backend

import OmnilingualASR

// Default: 300M @ 4-bit
let model = try await OmnilingualASRMLXModel.fromPretrained()

// Larger variants
let big = try await OmnilingualASRMLXModel.fromPretrained(variant: .b1, bits: 4)
let huge = try await OmnilingualASRMLXModel.fromPretrained(variant: .b3, bits: 8)
let max = try await OmnilingualASRMLXModel.fromPretrained(variant: .b7, bits: 4)

let text = try model.transcribeAudio(audio, sampleRate: 16000)

CoreML vs MLX

Molemmat taustaosat tuottavat pääosin identtisiä transkriptejä modulo 1-2 merkkiä (määräys ja ajoajan erot). Valitse käyttökohteesi perusteella:

Esikäsittelytiedot

Kaikki kielivaatimukset edellyttävät lausetasonormia raaka-aaltomuodossa, joka vastaa fairseq2's apply_audio_normalization:

normalized = (audio - mean(audio)) / sqrt(variance(audio) + 1e-5)

Swift -portti normalisoi todellisen äänisisällön ennen nollatahdistuksen CoreML kiinteään ikkunaan, joten alaikkunan syötteet vastaavat täsmälleen vertailuputkitilastoja. Tämä on yleisin sataman sudenkuoppa HuggingFace's wav2vec2 -toteutus ei ole lausekerros-norm.

Viiteputkistolla on 40-sekunnin kova korkki (MAX_ALLOWED_AUDIO_SEC) syöteääni. Swift-portti valvoo samaa rajaa ... PuheVAD tai ParakeetStreamingASR jaetun käsittelyn osalta.

Kielikate

Omnilingual supports 1,672 languages across 32 skriptiä, mukaan lukien 500+ vähäresurssikielet lisätty yhteisön tiedonkeruun kautta.

Täysi ISO 639-3 + ISO 15924 -koodiluettelo, jossa on englanninkieliset nimet lang_ids.py -lähde, ja ryhmiteltynä skriptikohtaisesti, johon sisältyy maaviitteitä mallikortissa .

Varmennettu tulos

Swift -portista FLEURS -vertailuarvon CoreML 300M:

MLX 300M-4bittinen variantti tuottaa pääosin identtisen modulo 1-2 merkkiä. Suuremmat vaihtoehdot (1B, 3B, 7B) vähentävät jäännösvirheitä asteittain.

Vertailu

• Paperi: Omnilingual ASR (arXiv 2511,09690)
• Toteutus alkuvaiheessa: facebookresearch/omakielinen tutkimus (Apache 2,0)
• Swift porttilähde: speech-swift/Sources/OmnilingualASR
• Mallikortti: docs/models/omnilingual-asr.md