Maskinöversättning · Engelskt original

Nemotron Streaming

Två NVIDIA streaming ASR modeller delar NemotronStreamingASR Swift-målet. Båda är 600M-parameter cache-aware FastConformer-kodare parade med en RN-T-avkodare, både avger infödda skiljetecken och kapitalisering som vanliga BPE-tokens, båda körs på Apple Neural Engine via CoreML, och den flerspråkiga varianten har dessutom MLX buntar för GPU-bostadsinferens.

Delade egenskaper

• Nativa skiljetecken och kapitalisering - ingen efterbehandlare behövs; perioder, kommatecken och fallet är en del av ordförrådet
• 600M parametrar -- cache-aware 24-lager FastConformer-kodare + 2-lager LSTM RN-T-dekoder + gemensamt nätverk
• Cache-aware streaming - uppmärksamhet och konv caches flöde chunk-to-chunk för kontinuerlig kontext över bitgränser
• Multiple chunk sizes - flerspråkig: 80, 320, 560, 1120 ms (320 ms standard); Engelska: 80, 160, 560 , 1120 meter (160 ms standard).
• Multilingual-only: en snabb kärna (Linear 1152→2048→1024) viker en en-hetsspråkslot i varje kodad ram, så samma vikter tjänar alla 40 språk-lokaler. Den engelsk-bara varianten har ingen snabb kärna.

Arkitektur

Tre CoreML modeller pipelined per audio chunk:

Inget EOU huvud

Till skillnad från Parakeet-EOU avger Nemotron inte ett dedikerat tokenstoken. Två sätt att segmentera kontinuerligt ljud till yttranden:

1. External VAD -- par sessionen med Silero VAD; på långvarig tystnad, ring finalize() för att begå det aktuella yttrandet och createSession()
2. Punctuation boundary - när den partiella transkript slutar i ., ?, eller !, behandla det som en naturlig begå cue. Ingen extra modell, men beror på att ljudet faktiskt inducerar terminal skiljetecken.

Bundles

Fem publicerade varianter av Nemotron-3.5-ASR-Streaming-0.6B, plus den äldre engelsk-bara modellen på samma Swift mål:

Upstream: nvidia/nemotron-3.5-asr-streaming-0.6b (multilingual) och nvidi/nemotron-speech-streaming-en-0.6b (endast engelska).

På den faktiska cache-aware 320 ms bana, MLX 5-bitars genomsnitt 11,53% WER över sex FLEURS språk kontra 11,01% för MLX 8-bit. 5-bits standard sparar ca 193 MB på disk och 192 MB topp RSS; MLX 4-bit förblir en export eftersom dess förlust kvalitet är större.

Snabbstart - infödd MLX streaming

Den Swift runtime stöder den publicerade MLX 5-bitars och 8-bitar paket. Det standarder till 5-bit, håller varje sessions caches oberoende och serialiserar slutsatsen när sessioner delar en laddad modell. MLX använder den validerade 320 ms geometri och för närvarande inte exponerar ordet boosting.

import NemotronStreamingASR

let model = try await NemotronStreamingASRMLXModel.fromPretrained(
    variant: .int5
)
let session = try model.createSession(language: "en-US")

for chunk in microphoneChunks16kHz {
    for partial in try session.pushAudio(chunk) {
        print(partial.text)
    }
}
let final = try session.finalize().last?.text

Snabbstart - CoreML batch transkription

Överensstämmer med SpeechRecognitionModel, så det faller i någon kodbana som tar en generisk STT-modell:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

Snabbstart - Async streaming

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Varje PartialTranscript bär text, isFinal (endast för den sista partiella efter finalize()), confidence och en monotonic segmentIndex.

Långlivad session API (mikinput)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials, Japanese
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron vs Parakeet-EOU

Regressionstester

Den överlappande-tal regression använder en incheckad incheckning WAV med två Kokoro röster: den andra startar 320 ms senare och är försvagad av 3 dB. Varje avkodning måste producera ett icke-tomt transkript utan språk taggar. Det fasta ljudet tar bort levande syntesvariation, och det nattliga arbetsflödet körs. Nemotron I sin egen skägg. Kör Core ML regression med samma CPU-bara inställning som nattlig:

SPEECH_COREML_COMPUTE_UNITS=cpuOnly \
  swift test --disable-sandbox --no-parallel \
    --filter '^NemotronStreamingASRTests[.]E2ENemotronHarshAudioTests/'