Nemotron 스트리밍

Nemotron-Speech-Streaming-0.6B는 NVIDIA의 저지연 영어 스트리밍 ASR입니다. 캐시 인식 FastConformer 인코더와 RNN-T 디코더가 결합되어 구두점과 대소문자를 일반 BPE 토큰으로 직접 출력합니다. 본 사이트의 CoreML 번들은 INT8 팔레트화 인코더를 포함하며 Apple Neural Engine에서 실행됩니다.

개요

• 네이티브 구두점 및 대소문자 — 후처리 불필요. 마침표, 쉼표, 대소문자가 모두 어휘의 일부
• 6억 파라미터 — Parakeet-EOU(120M)보다 크며 까다로운 오디오에서 전사 품질이 크게 향상
• 캐시 인식 FastConformer — 24층 인코더. 어텐션과 컨볼루션 캐시가 청크 사이를 흘러 지속적인 컨텍스트 유지
• 네 가지 청크 크기 — 추론 단계당 80, 160, 560, 1120 ms (160 ms가 기본이며 현재 공개된 버전)
• 영어 전용 — 영어 음성으로 학습됨. 다국어 용도는 Qwen3-ASR 또는 Omnilingual ASR

아키텍처

오디오 청크마다 세 개의 CoreML 모델이 파이프라인으로 실행됩니다:

EOU 헤드 없음

Parakeet-EOU와 달리 Nemotron은 전용 발화 종료 토큰을 출력하지 않습니다. 연속 오디오를 발화로 분할하는 두 가지 방법:

1. 외부 VAD — 세션을 Silero VAD와 결합. 지속적인 무음 시 finalize()로 현재 발화를 커밋하고 createSession()으로 다음 세션을 생성.
2. 구두점 경계 — 부분 전사가 ., ?, !로 끝나면 자연스러운 커밋 신호로 처리. 추가 모델 불필요하지만 오디오가 실제로 종결 구두점을 유도하는지에 의존.

모델

Upstream: nvidia/nemotron-speech-streaming-en-0.6b (NeMo .nemo 체크포인트).

빠른 시작 — 배치 전사

SpeechRecognitionModel을 따르므로 일반 STT 모델을 받는 어떤 코드 경로에도 그대로 사용할 수 있습니다:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

빠른 시작 — 비동기 스트리밍

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

각 PartialTranscript는 text, isFinal(finalize() 이후 마지막 부분 결과에서만 true), confidence, 단조 증가하는 segmentIndex를 포함합니다.

지속 세션 API (마이크 입력)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

커맨드라인

audio transcribe recording.wav --engine nemotron                    # batch
audio transcribe recording.wav --engine nemotron --stream           # streaming final
audio transcribe recording.wav --engine nemotron --stream --partial # with partials

Nemotron vs Parakeet-EOU