Nemotron Streaming

Nemotron-Speech-Streaming-0.6B, NVIDIA'nın düşük gecikmeli İngilizce akışlı ASR'sidir: RNN-T decoder ile eşleştirilmiş önbellek farkındalıklı bir FastConformer encoder ve yerel noktalama ile büyük harf kullanımı normal BPE token'ları olarak yayılır. Bu sitedeki CoreML paketi INT8 palettized encoder ile gelir ve Apple Neural Engine üzerinde çalışır.

Nedir

• Yerel noktalama ve büyük harf kullanımı — son işlemci gerekmez; noktalar, virgüller ve büyük/küçük harf sözcük dağarcığının bir parçasıdır
• 600M parametre — Parakeet-EOU'dan (120M) daha büyük olduğu için zorlu seslerde transkripsiyon kalitesi belirgin şekilde daha yüksektir
• Önbellek farkındalıklı FastConformer — sürekli bağlam için parçadan parçaya akan attention + conv önbellekleriyle 24 encoder katmanı
• Dört parça boyutu — çıkarım adımı başına 80, 160, 560, 1120 ms (160 ms varsayılandır ve bugün yayımlanan varyanttır)
• Yalnızca İngilizce — İngilizce konuşma üzerinde eğitilmiştir; çok dilli kullanım için Qwen3-ASR veya Omnilingual ASR'ye bakın

Mimari

Ses parçası başına boru hattına alınan üç CoreML modeli:

EOU kafası yok

Parakeet-EOU'nun aksine, Nemotron özel bir end-of-utterance token'ı yaymaz. Sürekli sesi söylenişlere ayırmanın iki yolu:

1. Harici VAD — oturumu Silero VAD ile eşleştirin; sürekli sessizlikte, mevcut söylenişi kaydetmek için finalize(), bir sonraki için createSession() çağırın.
2. Noktalama sınırı — kısmi transkript ., ? veya ! ile bittiğinde, bunu doğal bir kaydetme ipucu olarak değerlendirin. Ek model gerekmez, ancak sesin gerçekten son noktalama getirmesine bağlıdır.

Model

Upstream: nvidia/nemotron-speech-streaming-en-0.6b (NeMo .nemo checkpoint).

Hızlı başlangıç — toplu transkripsiyon

SpeechRecognitionModel'a uyduğu için, genel bir STT modeli alan herhangi bir kod yoluna takılabilir:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

Hızlı başlangıç — eşzamansız akış

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Her PartialTranscript, text, isFinal (yalnızca finalize() sonrası son kısmi için true), confidence ve monoton bir segmentIndex taşır.

Uzun ömürlü oturum API'si (mikrofon girişi)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

speech transcribe recording.wav --engine nemotron                    # batch
speech transcribe recording.wav --engine nemotron --stream           # streaming final
speech transcribe recording.wav --engine nemotron --stream --partial # with partials

Nemotron vs Parakeet-EOU