Nemotron Streaming

Две модели потокового ASR от NVIDIA используют общий Swift-target NemotronStreamingASR. Обе — это FastConformer-энкодеры с cache-aware вниманием на 600M параметров в паре с RNN-T декодером, обе нативно выдают пунктуацию и регистр обычными BPE-токенами, обе работают на Apple Neural Engine через CoreML, а многоязычная вариация дополнительно имеет MLX-бандлы для GPU-резидентного инференса. Выбирайте подходящую под вашу задачу:

Общие свойства

• Нативная пунктуация и регистр — пост-процессор не нужен; точки, запятые и регистр — часть словаря
• 600M параметров — 24-слойный cache-aware FastConformer-энкодер + 2-слойный LSTM RNN-T декодер + joint-сеть
• Cache-aware стриминг — кэши attention и conv передаются между чанками, сохраняя контекст через границы чанков
• Разные размеры чанков — многоязычная: 80, 320, 560, 1120 мс (по умолчанию 320 мс); английская: 80, 160, 560, 1120 мс (по умолчанию 160 мс)
• Только в многоязычной: prompt kernel (Linear 1152→2048→1024) встраивает one-hot языковой слот в каждый закодированный фрейм, поэтому одни и те же веса обслуживают все 40 локалей. У англоязычной вариации prompt kernel отсутствует.

Архитектура

Три CoreML-модели в pipeline на каждый аудио-чанк:

Без EOU-головы

В отличие от Parakeet-EOU, Nemotron не выдаёт отдельный токен конца высказывания. Два способа сегментировать непрерывное аудио на высказывания:

1. Внешний VAD — сочетайте сессию с Silero VAD; при длительной тишине вызывайте finalize(), чтобы зафиксировать текущее высказывание, и createSession() для следующего.
2. Граница пунктуации — когда частичная транскрипция оканчивается на ., ? или !, считайте это естественным сигналом коммита. Без дополнительной модели, но зависит от того, что аудио действительно индуцирует конечную пунктуацию.

Бандлы

Четыре опубликованных варианта Nemotron-3.5-ASR-Streaming-0.6B плюс более старая англоязычная модель на том же Swift-target:

Upstream: nvidia/nemotron-3.5-asr-streaming-0.6b (многоязычная) и nvidia/nemotron-speech-streaming-en-0.6b (только английский).

Квантизация по сути без потерь: CoreML INT8, MLX bf16 и MLX 8-bit укладываются в ±0,3 п.п. WER от fp32-исходника NeMo. MLX 4-bit обходится примерно в 6 п.п. среднего WER в обмен на наименьший размер на диске и стриминг-RSS.

Быстрый старт — пакетная транскрипция

Соответствует SpeechRecognitionModel, поэтому подключается в любой код-путь, принимающий обобщённую STT-модель:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

Быстрый старт — асинхронный стриминг

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000, language: "ja-JP") {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Каждый PartialTranscript содержит text, isFinal (true только для последнего частичного результата после finalize()), confidence и монотонно возрастающий segmentIndex.

API долгоживущей сессии (микрофонный вход)

let session = try model.createSession(language: "en-US")

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

Командная строка

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron против Parakeet-EOU