Nemotron Streaming

Nemotron-Speech-Streaming-0.6B هو نموذج NVIDIA للتعرّف على الكلام الإنجليزي بالبثّ ومنخفض زمن الاستجابة: مرمّز FastConformer واعٍ بالذاكرة المؤقّتة مع فاكّ ترميز RNN-T، وعلامات الترقيم والكتابة بأحرف كبيرة تُصدَر كرموز BPE اعتيادية. حزمة CoreML المتوفّرة هنا تأتي بمرمّز مكمَّم بالألوان INT8 وتعمل على Apple Neural Engine.

ما هو

• علامات ترقيم وكتابة بأحرف كبيرة أصيلة — لا حاجة لمعالج لاحق؛ النقاط والفواصل وحالة الأحرف جزء من المفردات
• 600 مليون معامل — أكبر من Parakeet-EOU (120 مليون)، فترتفع جودة التفريغ بشكل ملموس على الصوت الصعب
• FastConformer واعٍ بالذاكرة المؤقّتة — 24 طبقة مرمّز مع ذاكرات الانتباه والتفاف تنتقل من جزء إلى آخر لاستمرار السياق
• أربعة أحجام أجزاء — 80 و160 و560 و1120 مللي ثانية لكل خطوة استدلال (160 مللي ثانية هي الافتراضية والمتغيّر المنشور اليوم)
• الإنجليزية فقط — مدرَّب على الكلام الإنجليزي؛ للاستخدام متعدّد اللغات راجع Qwen3-ASR أو Omnilingual ASR

البنية المعمارية

ثلاثة نماذج CoreML تسري على شكل خط أنابيب لكل جزء صوتي:

لا توجد رأس EOU

على عكس Parakeet-EOU، لا يُصدر Nemotron رمزاً مخصّصاً لنهاية المنطوق. ثمّة طريقتان لتقسيم الصوت المتواصل إلى منطوقات:

1. VAD خارجي — اقرن الجلسة بـ Silero VAD؛ عند الصمت المستمرّ، نادِ finalize() لتثبيت المنطوق الحالي وcreateSession() للذي يليه.
2. حدّ علامة الترقيم — حين ينتهي التفريغ الجزئي بـ . أو ? أو !، عامل ذلك بوصفه إشارة تثبيت طبيعية. بلا نموذج إضافي، لكنه يعتمد على أن يستحثّ الصوت فعلاً علامات ترقيم نهائية.

النموذج

المصدر الأصلي: nvidia/nemotron-speech-streaming-en-0.6b (نقطة تحقّق .nemo من NeMo).

بداية سريعة — التفريغ على دفعات

يطابق SpeechRecognitionModel، فيندمج في أيّ مسار شيفرة يستقبل نموذج STT عاماً:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

بداية سريعة — بثّ غير متزامن

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

كل PartialTranscript يحمل text وisFinal (صحيح فقط عند آخر جزء بعد finalize()) وconfidence وsegmentIndex رتيباً تصاعدياً.

واجهة جلسة طويلة العمر (مدخل الميكروفون)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

speech transcribe recording.wav --engine nemotron                    # batch
speech transcribe recording.wav --engine nemotron --stream           # streaming final
speech transcribe recording.wav --engine nemotron --stream --partial # with partials

Nemotron مقابل Parakeet-EOU