Nemotron ストリーミング

Nemotron-Speech-Streaming-0.6B は NVIDIA の低レイテンシ英語ストリーミング ASR です。キャッシュ対応 FastConformer エンコーダと RNN-T デコーダを組み合わせ、句読点と大文字化を通常の BPE トークンとして直接出力します。本サイトで配布する CoreML バンドルは INT8 パレット化エンコーダを含み、Apple Neural Engine で動作します。

概要

• ネイティブな句読点と大文字化 — 後処理不要。ピリオド、カンマ、大文字小文字はすべて語彙の一部
• 6 億パラメータ — Parakeet-EOU (120M) より大きく、難しい音声での文字起こし品質が大幅に向上
• キャッシュ対応 FastConformer — 24 層エンコーダ、注意機構と畳み込みのキャッシュがチャンク間で流れ、連続したコンテキストを維持
• 4 つのチャンクサイズ — 推論ステップあたり 80、160、560、1120 ms（160 ms がデフォルトで、現在公開されているバリアント）
• 英語のみ — 英語音声で学習済み。多言語用途については Qwen3-ASR または Omnilingual ASR

アーキテクチャ

音声チャンクごとに 3 つの CoreML モデルをパイプライン処理：

EOU ヘッドなし

Parakeet-EOU とは異なり、Nemotron は専用の発話終端トークンを出力しません。連続音声を発話に分割する方法は 2 つあります：

1. 外部 VAD — セッションを Silero VAD と組み合わせ、持続的な無音時に finalize() で現在の発話を確定し、次のセッションは createSession() で開始します。
2. 句読点の境界 — 部分文字起こしが .、?、! で終わる場合、自然な確定シグナルとして扱います。追加モデルは不要ですが、音声が実際に終端句読点を誘発することに依存します。

モデル

Upstream: nvidia/nemotron-speech-streaming-en-0.6b （NeMo .nemo チェックポイント）。

クイックスタート — バッチ文字起こし

SpeechRecognitionModel に準拠しているので、汎用 STT モデルを受け取るあらゆるコードパスにそのまま組み込めます：

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

クイックスタート — 非同期ストリーミング

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

各 PartialTranscript には text、isFinal（finalize() 後の最後の部分結果のみ true）、confidence、単調増加の segmentIndex が含まれます。

長期セッション API（マイク入力）

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

コマンドライン

audio transcribe recording.wav --engine nemotron                    # batch
audio transcribe recording.wav --engine nemotron --stream           # streaming final
audio transcribe recording.wav --engine nemotron --stream --partial # with partials

Nemotron と Parakeet-EOU の比較