Nemotron Streaming

Nemotron-Speech-Streaming-0.6B ist das englische Low-Latency-Streaming-ASR von NVIDIA: ein cache-bewusster FastConformer-Encoder mit RNN-T-Decoder. Interpunktion und Großschreibung werden als reguläre BPE-Tokens direkt ausgegeben. Das CoreML-Paket auf dieser Seite enthält einen INT8-paletisierten Encoder und läuft auf der Apple Neural Engine.

Worum es geht

• Native Interpunktion und Großschreibung — kein Postprozessor nötig; Punkte, Kommata und Groß-/Kleinschreibung sind Teil des Vokabulars
• 600M Parameter — größer als Parakeet-EOU (120M), dadurch deutlich höhere Transkriptionsqualität bei anspruchsvollem Audio
• Cache-bewusster FastConformer — 24 Encoder-Schichten mit Attention- und Conv-Caches, die zwischen Chunks fließen und den Kontext erhalten
• Vier Chunk-Größen — 80, 160, 560, 1120 ms pro Inferenzschritt (160 ms ist der Standard und die heute veröffentlichte Variante)
• Nur Englisch — auf englischer Sprache trainiert; für mehrsprachige Nutzung siehe Qwen3-ASR oder Omnilingual ASR

Architektur

Drei CoreML-Modelle, pro Audio-Chunk verkettet:

Kein EOU-Kopf

Im Gegensatz zu Parakeet-EOU gibt Nemotron kein dediziertes End-of-Utterance-Token aus. Zwei Wege, kontinuierliches Audio in Äußerungen zu segmentieren:

1. Externes VAD — kombiniere die Session mit Silero VAD. Bei anhaltender Stille rufe finalize() auf, um die aktuelle Äußerung festzuschreiben, und createSession() für die nächste.
2. Interpunktionsgrenze — endet die Teiltranskription auf ., ? oder !, behandle das als natürliches Commit-Signal. Kein zusätzliches Modell, hängt jedoch davon ab, dass das Audio terminale Interpunktion tatsächlich auslöst.

Modell

Upstream: nvidia/nemotron-speech-streaming-en-0.6b (NeMo-.nemo-Checkpoint).

Schnellstart — Batch-Transkription

Implementiert SpeechRecognitionModel, lässt sich also in jeden Codepfad einfügen, der ein generisches STT-Modell akzeptiert:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

Schnellstart — asynchrones Streaming

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Jedes PartialTranscript enthält text, isFinal (nur beim letzten Partial nach finalize() true), confidence und einen monoton wachsenden segmentIndex.

Langlaufende Session-API (Mikrofoneingabe)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

audio transcribe recording.wav --engine nemotron                    # batch
audio transcribe recording.wav --engine nemotron --stream           # streaming final
audio transcribe recording.wav --engine nemotron --stream --partial # with partials

Nemotron vs. Parakeet-EOU