Nemotron Streaming

Nemotron-Speech-Streaming-0.6B — это низколатентное потоковое ASR для английского языка от NVIDIA: cache-aware FastConformer-энкодер в паре с RNN-T-декодером; пунктуация и регистр выводятся прямо в виде обычных BPE-токенов. Поставляемый здесь CoreML-бандл включает энкодер с INT8-палитризацией и работает на Apple Neural Engine.

Обзор

• Нативная пунктуация и капитализация — постпроцессор не нужен: точки, запятые и регистр включены в словарь
• 600M параметров — больше, чем у Parakeet-EOU (120M), поэтому качество транскрипции заметно выше на сложном аудио
• Cache-aware FastConformer — 24 слоя энкодера; кэши attention и свёрток перетекают между чанками, сохраняя непрерывный контекст
• Четыре размера чанка — 80, 160, 560, 1120 мс на шаг инференса (160 мс — значение по умолчанию и опубликованная сегодня версия)
• Только английский — обучен на английской речи; для многоязычного использования см. Qwen3-ASR или Omnilingual ASR

Архитектура

На каждый аудиочанк последовательно запускаются три CoreML-модели:

Нет EOU-головы

В отличие от Parakeet-EOU, Nemotron не выдаёт выделенный токен конца высказывания. Два способа делить непрерывное аудио на высказывания:

1. Внешний VAD — свяжите сессию с Silero VAD; при устойчивой тишине вызывайте finalize(), чтобы зафиксировать текущее высказывание, и createSession() для следующего.
2. Граница по пунктуации — если частичная транскрипция заканчивается на ., ? или !, воспринимайте это как естественный сигнал к коммиту. Без дополнительной модели, но зависит от того, действительно ли аудио порождает конечную пунктуацию.

Модель

Upstream: nvidia/nemotron-speech-streaming-en-0.6b (NeMo .nemo-чекпоинт).

Быстрый старт — пакетная транскрипция

Реализует SpeechRecognitionModel, поэтому встраивается в любой путь кода, принимающий обобщённую STT-модель:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

Быстрый старт — асинхронный стриминг

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Каждый PartialTranscript содержит text, isFinal (true только для последнего частичного результата после finalize()), confidence и монотонный segmentIndex.

Долгоживущий API сессии (вход с микрофона)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

audio transcribe recording.wav --engine nemotron                    # batch
audio transcribe recording.wav --engine nemotron --stream           # streaming final
audio transcribe recording.wav --engine nemotron --stream --partial # with partials

Nemotron и Parakeet-EOU