Nemotron Streaming

Zwei NVIDIA-Streaming-ASR-Modelle teilen sich das Swift-Target NemotronStreamingASR. Beide sind 600M-Parameter Cache-aware FastConformer-Encoder mit RNN-T-Decoder, beide geben Interpunktion und Großschreibung nativ als reguläre BPE-Tokens aus, beide laufen über CoreML auf der Apple Neural Engine; die mehrsprachige Variante hat zusätzlich MLX-Bundles für GPU-residente Inferenz. Wähle die zu deiner Anwendung passende Variante:

Gemeinsame Eigenschaften

• Native Interpunktion und Großschreibung — kein Post-Processor nötig; Punkte, Kommas und Groß-/Kleinschreibung sind Teil des Vokabulars
• 600M Parameter — Cache-aware 24-schichtiger FastConformer-Encoder + 2-schichtiger LSTM-RNN-T-Decoder + Joint-Netzwerk
• Cache-aware Streaming — Attention- und Conv-Caches fließen von Chunk zu Chunk und halten den Kontext über Chunk-Grenzen hinweg
• Mehrere Chunk-Größen — mehrsprachig: 80, 320, 560, 1120 ms (Standard 320 ms); Englisch: 80, 160, 560, 1120 ms (Standard 160 ms)
• Nur mehrsprachig: Ein Prompt-Kernel (Linear 1152→2048→1024) integriert einen One-Hot-Sprach-Slot in jeden codierten Frame — dieselben Gewichte bedienen alle 40 Sprach-Locales. Die englische Variante hat keinen Prompt-Kernel.

Architektur

Pro Audio-Chunk werden drei CoreML-Modelle in der Pipeline ausgeführt:

Kein EOU-Head

Anders als Parakeet-EOU gibt Nemotron kein dediziertes End-of-Utterance-Token aus. Zwei Wege, kontinuierliches Audio in Äußerungen zu segmentieren:

1. Externes VAD — koppele die Session mit Silero VAD; bei anhaltender Stille rufe finalize() auf, um die aktuelle Äußerung zu committen, und createSession() für die nächste.
2. Interpunktionsgrenze — endet der Partial-Transkript mit ., ? oder !, behandle das als natürlichen Commit-Cue. Keine Extra-Modelle, hängt aber davon ab, dass das Audio tatsächlich Schluss-Interpunktion induziert.

Bundles

Vier veröffentlichte Varianten von Nemotron-3.5-ASR-Streaming-0.6B sowie das ältere Englisch-only-Modell auf demselben Swift-Target:

Upstream: nvidia/nemotron-3.5-asr-streaming-0.6b (mehrsprachig) und nvidia/nemotron-speech-streaming-en-0.6b (Englisch-only).

Quantisierung ist praktisch verlustfrei: CoreML INT8, MLX bf16 und MLX 8-bit liegen innerhalb von ±0,3 pp WER zur fp32-NeMo-Quelle. MLX 4-bit kostet ca. 6 pp durchschnittlichen WER für die kleinste Disk- und Streaming-RSS-Größe.

Quick Start — Batch-Transkription

Konform zu SpeechRecognitionModel, lässt sich also in jeden Code-Pfad einsetzen, der ein generisches STT-Modell akzeptiert:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

Quick Start — Async-Streaming

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000, language: "ja-JP") {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Jedes PartialTranscript trägt text, isFinal (nur true für das letzte Partial nach finalize()), confidence und einen monoton steigenden segmentIndex.

Langlebige Session-API (Mikrofoneingabe)

let session = try model.createSession(language: "en-US")

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron vs. Parakeet-EOU