Maskinoversettelse · Engelsk original

Nemotron Strømming

To NVIDIA streaming ASR-modeller deler NemotronStreamingASR Swift-målet. Begge er 600M-parameter cache-aware FastConformer-kodere som er koblet sammen med en RNN-T dekoder, begge avgir innfødte tegnsetting og kapitalisering som vanlige BPE-tokenser, begge kjører på Apple Neural Engine via CoreML, og flerspråklige varianten har også MLX-pakker for GPU-innsatt inferens. Velg den som matcher programmet ditt:

Delte egenskaper

• Native tegnsetting og kapitalisering - ingen postprosessor nødvendig; perioder, komma og tilfelle er en del av ordforrådet
• 600M-parametre — cache-aware 24-lags FastConformer-koder + 2-lags LSTM RNN-T-dekoder + felles nettverk
• Cache-aware streaming - oppmerksomhets- og konv-buffere flyte bit til knall for kontinuerlig kontekst på tvers av bitgrenser
• Flere bitstørrelser — flerspråklig: 80, 320, 560, 1120 ms (320 ms standard); Engelsk: 80, 160, 560, 1120 ms (160 ms standard)
• Multibel-beskyttet : en hurtig kjerne (linje 1152 → 2048 → 1024) bretter en envars språkspor i hver kodet ramme, så de samme vektene tjener alle 40 språk-lokaler. Den engelsk-beskyttede varianten har ingen rask kjerne.

Arkitektur

Tre CoreML modeller rørt per lydbit:

Ingen EOU-hode

I motsetning til Parakeet-EOU, Nemotron sender ikke ut en dedikert slutt-av-utterance-token. To måter å segmentere kontinuerlig lyd i uttalelser:

1. Ekster VAD - par sesjonen med Silero VAD; på vedvarende stillhet, ring finalize() å forplikte seg til gjeldende uttalelse og createSession() for den neste.
2. Punctuation grense - når den delvise transkripsjonen slutter i ., ?, eller !, behandle det som en naturlig forpliktelse cue. Ingen ekstra modell, men avhenger av lyden faktisk forårsaker terminal tegnsetting.

Bundles

Fem publiserte varianter av Nemotron-3.5-ASR-Streaming-0.6B, pluss den eldre engelsk-bare modellen på samme Swift-mål:

Upstream: nvidia/nemotron-3.5-asr-streaming-0.6b (fleirtydig) og nvidi/nemotron-speech-streaming-en-0.6b (kun engelsk).

På den faktiske cache-aware 320 ms bane, MLX 5-bit gjennomsnitt 11.53% WER over seks FLEURS språk versus 11.01% for MLX 8-Bit. 5-bit standard lagrer om 193 MB på disken og 192 MB av topp RSS; MLX 4-bit forblir en forskning eksport fordi kvaliteten tap er større.

Rask oppstart - innfødt MLX streaming

Swift kjøringstid støtter den publiserte MLX 5-bits og 8-bits bunter. Den standard til 5-bits, holder hver økts cache uavhengig, og serialiserer inferanse når økter deler én lastet modell. MLX bruker den validerte 320 ms-geometrien og eksponerer for tiden ikke ordforsterkning.

import NemotronStreamingASR

let model = try await NemotronStreamingASRMLXModel.fromPretrained(
    variant: .int5
)
let session = try model.createSession(language: "en-US")

for chunk in microphoneChunks16kHz {
    for partial in try session.pushAudio(chunk) {
        print(partial.text)
    }
}
let final = try session.finalize().last?.text

Rask start — CoreML batchtranskripsjon

Konformerer til SpeechRecognitionModel, så det faller inn i alle kodestier som tar en generisk STT-modell:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

Rask start — async streaming

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Hver PartialTranscript bærer text, isFinal (sann bare for siste del etter finalize()), confidence, og en monoton segmentIndex.

Langlivet økt API (mic input)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials, Japanese
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron vs Parakeet-EOU

Regresjonsprøver

Overlappende regresjon bruker en kontrollert WAV med to Kokoro stemmer: den andre starter 320 ms senere og er dempet av 3 dB. Hver dekode må produsere en ikke-tom transkripsjon uten språktags. Den faste lyden fjerner levende syntesevariasjon, og den nattlige arbeidsflyten kjører Nemotron i sin egen shard. Kjør Core ML regresjon med samme CPU-beskyttede innstilling som nattlig:

SPEECH_COREML_COMPUTE_UNITS=cpuOnly \
  swift test --disable-sandbox --no-parallel \
    --filter '^NemotronStreamingASRTests[.]E2ENemotronHarshAudioTests/'