Nemotron Streaming

Nemotron-Speech-Streaming-0.6B là ASR streaming tiếng Anh độ trễ thấp của NVIDIA: một encoder FastConformer có cache kết hợp với decoder RNN-T, kèm chấm câu và viết hoa tự nhiên được phát ra dưới dạng các token BPE thông thường. Gói CoreML trên trang này đi kèm encoder đã được palettize INT8 và chạy trên Apple Neural Engine.

Là gì

• Chấm câu và viết hoa tự nhiên — không cần bộ hậu xử lý; dấu chấm, dấu phẩy và chữ hoa là một phần của vốn từ vựng
• 600M tham số — lớn hơn Parakeet-EOU (120M), nên chất lượng chuyển lời nói cao hơn rõ rệt trên audio khó
• FastConformer có cache — 24 lớp encoder với cache attention + conv được truyền nối tiếp giữa các đoạn để duy trì ngữ cảnh liên tục
• Bốn kích thước chunk — 80, 160, 560, 1120 ms cho mỗi bước suy luận (160 ms là mặc định và là biến thể được công bố hôm nay)
• Chỉ tiếng Anh — được huấn luyện trên giọng nói tiếng Anh; để dùng đa ngôn ngữ, xem Qwen3-ASR hoặc Omnilingual ASR

Kiến trúc

Ba mô hình CoreML được nối tiếp theo từng chunk âm thanh:

Không có head EOU

Khác với Parakeet-EOU, Nemotron không phát ra token end-of-utterance dành riêng. Hai cách để phân đoạn audio liên tục thành các câu thoại:

1. VAD bên ngoài — ghép phiên với Silero VAD; khi im lặng kéo dài, gọi finalize() để xác nhận câu thoại hiện tại và createSession() cho câu kế tiếp.
2. Ranh giới chấm câu — khi bản chuyển một phần kết thúc bằng ., ? hoặc !, xem đó như một tín hiệu xác nhận tự nhiên. Không cần mô hình thêm, nhưng phụ thuộc việc audio thực sự dẫn đến chấm câu cuối câu.

Mô hình

Upstream: nvidia/nemotron-speech-streaming-en-0.6b (checkpoint .nemo NeMo).

Bắt đầu nhanh — chuyển lời nói theo lô

Tuân thủ SpeechRecognitionModel, nên có thể lắp vào bất kỳ luồng code nào nhận một mô hình STT chung:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

Bắt đầu nhanh — streaming bất đồng bộ

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Mỗi PartialTranscript mang theo text, isFinal (chỉ true với phần partial cuối cùng sau finalize()), confidence và một segmentIndex đơn điệu.

API phiên dài hạn (đầu vào micro)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

speech transcribe recording.wav --engine nemotron                    # batch
speech transcribe recording.wav --engine nemotron --stream           # streaming final
speech transcribe recording.wav --engine nemotron --stream --partial # with partials

Nemotron so với Parakeet-EOU