Nemotron Streaming

Nemotron-Speech-Streaming-0.6B es el ASR de streaming en inglés de baja latencia de NVIDIA: un codificador FastConformer con caché junto a un decodificador RNN-T, con puntuación y mayúsculas emitidas como tokens BPE regulares. El paquete CoreML disponible aquí incluye un codificador con paletización INT8 y se ejecuta en el Apple Neural Engine.

Qué es

• Puntuación y mayúsculas nativas — sin postprocesador; puntos, comas y mayúsculas forman parte del vocabulario
• 600M parámetros — más grande que Parakeet-EOU (120M), por lo que la calidad de transcripción mejora notablemente en audio difícil
• FastConformer con caché — 24 capas de codificador con cachés de atención y convolución que fluyen entre bloques para mantener el contexto
• Cuatro tamaños de bloque — 80, 160, 560, 1120 ms por paso de inferencia (160 ms es el predeterminado y la variante publicada)
• Solo inglés — entrenado con habla en inglés; para uso multilingüe consulta Qwen3-ASR o Omnilingual ASR

Arquitectura

Tres modelos CoreML encadenados por cada bloque de audio:

Sin cabeza EOU

A diferencia de Parakeet-EOU, Nemotron no emite un token dedicado de fin de enunciado. Dos formas de segmentar audio continuo en enunciados:

1. VAD externo — combina la sesión con Silero VAD; ante silencio sostenido, llama a finalize() para confirmar el enunciado actual y createSession() para el siguiente.
2. Frontera de puntuación — cuando la transcripción parcial termina en ., ? o !, trátalo como una señal natural de confirmación. Sin modelo adicional, pero depende de que el audio induzca realmente puntuación terminal.

Modelo

Upstream: nvidia/nemotron-speech-streaming-en-0.6b (punto de control .nemo de NeMo).

Inicio rápido — transcripción por lotes

Cumple con SpeechRecognitionModel, así que encaja en cualquier código que reciba un modelo STT genérico:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

Inicio rápido — streaming asíncrono

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Cada PartialTranscript lleva text, isFinal (true solo en el último parcial tras finalize()), confidence y un segmentIndex monótono.

API de sesión persistente (entrada de micrófono)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

audio transcribe recording.wav --engine nemotron                    # batch
audio transcribe recording.wav --engine nemotron --stream           # streaming final
audio transcribe recording.wav --engine nemotron --stream --partial # with partials

Nemotron frente a Parakeet-EOU