Nemotron Streaming

Dois modelos NVIDIA de ASR em streaming compartilham o target Swift NemotronStreamingASR. Ambos são encoders FastConformer cache-aware de 600M parâmetros emparelhados com um decoder RNN-T, ambos emitem pontuação e capitalização nativamente como tokens BPE comuns, ambos rodam no Apple Neural Engine via CoreML, e a variante multilíngue traz adicionalmente bundles MLX para inferência residente em GPU. Escolha a que combina com sua aplicação:

Propriedades compartilhadas

• Pontuação e capitalização nativas — não precisa pós-processador; pontos, vírgulas e caixa fazem parte do vocabulário
• 600M parâmetros — encoder FastConformer cache-aware de 24 camadas + decoder LSTM RNN-T de 2 camadas + joint network
• Streaming cache-aware — caches de attention e conv fluem entre chunks para preservar contexto contínuo entre fronteiras
• Vários tamanhos de chunk — multilíngue: 80, 320, 560, 1120 ms (320 ms padrão); inglês: 80, 160, 560, 1120 ms (160 ms padrão)
• Apenas multilíngue: um prompt kernel (Linear 1152→2048→1024) injeta um slot one-hot de idioma em cada frame codificado, portanto os mesmos pesos servem aos 40 locales. A variante só-inglês não tem prompt kernel.

Arquitetura

Três modelos CoreML em pipeline por chunk de áudio:

Sem head EOU

Diferente de Parakeet-EOU, Nemotron não emite um token dedicado de fim de enunciado. Duas formas de segmentar áudio contínuo em enunciados:

1. VAD externo — emparelhe a sessão com Silero VAD; em silêncio prolongado, chame finalize() para confirmar o enunciado atual e createSession() para o próximo.
2. Fronteira de pontuação — quando o transcript parcial termina em ., ? ou !, trate como um sinal natural de commit. Sem modelo extra, mas depende de o áudio realmente induzir pontuação final.

Bundles

Quatro variantes publicadas de Nemotron-3.5-ASR-Streaming-0.6B, mais o modelo só-inglês mais antigo no mesmo target Swift:

Upstream: nvidia/nemotron-3.5-asr-streaming-0.6b (multilíngue) e nvidia/nemotron-speech-streaming-en-0.6b (só inglês).

A quantização é essencialmente sem perdas: CoreML INT8, MLX bf16 e MLX 8-bit ficam dentro de ±0,3 pp WER em relação à fonte fp32 NeMo. MLX 4-bit custa ~6 pp de WER médio em troca do menor tamanho em disco e RSS de streaming.

Início rápido — transcrição em lote

Conforma com SpeechRecognitionModel, então encaixa em qualquer caminho de código que receba um modelo STT genérico:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

Início rápido — streaming assíncrono

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000, language: "ja-JP") {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Cada PartialTranscript carrega text, isFinal (true apenas no último parcial após finalize()), confidence e um segmentIndex monotonamente crescente.

API de sessão longa (entrada do microfone)

let session = try model.createSession(language: "en-US")

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron vs. Parakeet-EOU