Terjemahan mesin · Versi asli bahasa Inggris

Nemotron Streaming

Dua NVIDIA streaming ASR model berbagi NemotronStreamingASR Swift Sasaran. keduanya adalah 600M-parameter kakhe- sadar Enkoder FastConformer dipasangkan dengan sebuah decoder RNNT, keduanya memancarkan tanda baca asli dan kapitalisasi sebagai token BPE reguler, keduanya berjalan di Apple Neural Engine via CoreML, dan multibahasa variant tambahan memiliki MLX bundles untuk inferensi GPU-resident. Pilih salah satu yang cocok dengan aplikasi Anda:

Properti bersama

• Tanda baca dan kapitalisasi asli - tidak ada post- prosesor yang dibutuhkan; periode, koma, dan kasus adalah bagian dari kosakata
• Parameter 600M - kakhe- sadar 24-layer Enkoder + FastConformer 2-layer jaringan LSTM RNN-T decoder + joint
• Cache-aware streaming - perhatian dan conv cache aliran chunk-to-chunk untuk konteks kontinu melintasi batas-batas potongan
• Ukuran potongan ganda - Multibahasa: 80, 320, 560, 1120 ms (320 ms default); English: 80, 160, 560, 1120 ms (160 ms default)
• Multibahasa saja -: sebuah kernel prompt (Linear 1152→2048→1024) Lipat satu slot bahasa panas ke dalam setiap frame terkode, sehingga bobot yang sama melayani semua 40 lesu - lokal. Inggris - hanya varian tidak memiliki kernel prompt.

Arsitektur

Tiga CoreML model pipelined per potongan audio:

Tidak ada kepala EOU

Tidak seperti Parakeet- EOU, Nemotron tidak memancarkan akhir yang didedikasikan tanda-tanda ucapan. Dua cara untuk segmen audio kontinyu ke dalam pernyataan:

1. Eksternal VAD - pasangan sesi dengan Silero VAD; pada keheningan berkelanjutan, panggilan finalize() untuk melakukan ucapan saat ini dan createSession() untuk yang berikutnya.
2. Batas tanda baca - ketika transkrip parsial berakhir di ., ?, atau !Tidak ada model tambahan, tapi tergantung pada audio sebenarnya menginduksi tanda baca terminal.

Bundles

Lima varian yang diterbitkan dari Nemotron-3.5-ASR-Streaming-0.6B, ditambah yang lebih tua Inggris - hanya model pada target Swift yang sama:

Upstream: nvidia / nemotron-3.5-asr-streaming-0.6b (multibahasa) dan nvidia / nemotron-speech-streaming-en-0.6b (Inggris - saja).

Pada kakhe-sadar aktual 320 jalur ms, MLX 5-bit rata-rata 11.53% WER di atas enam FLEURS bahasa versus 11.01% untuk MLX 8-Bit. 5-bit default simpan tentang 193 MB pada disk dan 192 MB dari puncak RSS; MLX 4-bit tetap sebuah ekspor penelitian karena kerugian kualitas lebih besar.

Awal cepat - asli MLX streaming

The Swift waktu-jalan mendukung penerbitan MLX 5-bit dan 8-bit bundles. Ini default untuk 5-bit, terus setiap sesi cache independen, dan serializes inferensi ketika sesi berbagi satu model dimuat. MLX menggunakan validasi 320 ms geometri dan saat ini tidak mengekspos kata meningkatkan.

import NemotronStreamingASR

let model = try await NemotronStreamingASRMLXModel.fromPretrained(
    variant: .int5
)
let session = try model.createSession(language: "en-US")

for chunk in microphoneChunks16kHz {
    for partial in try session.pushAudio(chunk) {
        print(partial.text)
    }
}
let final = try session.finalize().last?.text

Awal cepat - CoreML batch transkripsi

Konform ke SpeechRecognitionModel, sehingga jatuh ke setiap jalur kode yang mengambil model STT generik:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

Awal cepat - streaming async

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Setiap orang PartialTranscript membawa text, isFinal (Hanya untuk parsial terakhir setelah finalize()), confidence, dan monotonik segmentIndex.

Sesi panjang API yang hidup (masukan mic)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials, Japanese
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron vs Parakeet- EOU

Tes regresi

Regresi terlalu overlapping-pidato menggunakan pemeriksaan-in WAV dengan dua Kokoro Suara: yang kedua dimulai 320 ms kemudian dan digemari oleh 3 dB. Setiap decode harus menghasilkan transkrip tidak kosong tanpa tag bahasa. Audio tetap menghapus variasi sintesis hidup, dan aliran kerja malam berjalan Nemotron dalam tembikar sendiri Jalankan Core ML regresi dengan CPU yang sama hanya pengaturan sebagai malam:

SPEECH_COREML_COMPUTE_UNITS=cpuOnly \
  swift test --disable-sandbox --no-parallel \
    --filter '^NemotronStreamingASRTests[.]E2ENemotronHarshAudioTests/'