תרגום מכונה · המקור באנגלית

Nemotron הזרמת

2 NVIDIA הזרמת ASR משתפת את דגמי ZXQ NemotronStreamingASR Swift המטרה: שניהם 600M-parameter cache-aware FastConformer encoders יחד עם RNN-T decoder, שניהם פולטים punctuation Native וההון כמו אסימוני BPE רגילים, שניהם לרוץ על Apple Apple. Neural Engine באמצעות CoreMLבנוסף, והגרסה הרב-לשונית יש MLX חבילות עבור GPU-resident Inference. Pick the one that unite your application:

נכסים משותפים

• punctuation and Equityization - אין צורך במעבדות; תקופות, פסיקות, ובמקרה הם חלק מאוצר המילים
• 600M פרמטרים - cache-aware 24layer FastConformer encoder + 2-layer LSTM RN-T decoder + רשת משותפת
• Cache-aware הזרמת - תשומת לב ו- conv caches לזרום גוש ל-chunk בהקשר מתמשך על פני גבולות חלקים
• מספר גדלים רב לשוני: 80, 320, 560, 1120 ms (320 ברירת מחדל; אנגלית: 80, 160, 560, 1120 ms (160 ברירת מחדל)
• Multilingual-Onlykernel (Linear) 1152→2048→1024(ב) מתקפלים משב שפה חד פעמי לכל מסגרת מקודדת, כך שאותן משקולות משרתות את כל 40 לשפת שפה: לגרסה האנגלית בלבד אין גרעין מהיר.

ארכיטקטורה

3 CoreML מודלים צינורות עבור אודיו נתח:

לא ראש

שלא כמו Parakeet-EOU, Nemotron אינו פולט אסימוני סיום ייעודי. 2 דרכים לחטט אודיו מתמשך לאמירות:

1. VAD - זוג המפגש עם Silero VAD; על שתיקה מתמשכת, התקשר finalize() לבצע את ההתבטאות הנוכחית ואת createSession() בשביל אחד הבא.
2. גבול טיהור - כשהתעתיק החלקי מסתיים ., ?או !טיפול זה כרמז טבעי לבצע.לא מודל נוסף, אבל תלוי אודיו למעשה גרימת טיהור טרמינל.

בונדלס

5 גרסאות מפורסמות של Nemotron-3.5-ASR-Streaming-0.6B, בתוספת המודל האנגלי הישן יותר על אותו יעד Swift:

Upstream: nvidia / nemotron-3.5-asr-streaming-0.6b (multilingual) ו nvida/nemotron-speech-streaming-en-0.6b

על ידי cache-aware 320 שביל מ', MLX 5ממוצעי בטיחות 11.53% WER 6 מעבר FLEURS שפות מול 11.01% עבור MLX 8-ביט. 5ברירת מחדל חוסכת 193 MB על דיסק ו 192 MB של RSS שיא; MLX 4-bit נשאר יצוא מחקר כי אובדן האיכות שלו גדול יותר.

התחלה מהירה - Native MLX הזרמת הזרמת

The The The Swift זמן ריצה תומך בהוצאה לאור MLX 5-bit and 8חבילות חיפוש.It ברירת מחדלs to 5-bit, שומר על כל צ'יפים עצמאים, וסידוריים בהקצאה כאשר המפגשים חולקים מודל טעון אחד. MLX שימושים מתואמת 320 הגיאומטריה של ms, וכיום אינה חושפת את המילה מתחזקת.

import NemotronStreamingASR

let model = try await NemotronStreamingASRMLXModel.fromPretrained(
    variant: .int5
)
let session = try model.createSession(language: "en-US")

for chunk in microphoneChunks16kHz {
    for partial in try session.pushAudio(chunk) {
        print(partial.text)
    }
}
let final = try session.finalize().last?.text

התחלה מהירה - CoreML תמליל

רפורמות ל SpeechRecognitionModel, כך שהוא טיפות לכל נתיב קוד שלוקח מודל STT כללי:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

התחלה מהירה - Async Flow

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

כל אחד PartialTranscript נושא text, isFinal (נכון רק לחלק האחרון לאחר finalize()), confidenceומונוטוני segmentIndex.

ישיבה ארוכה API (הקלט המסחרי)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI C

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials, Japanese
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron לעומת Parakeet-EOU

בדיקות Regression

התוקפנות החפיפה משתמשת בבדיקה WAV עם שני Kokoro קולות: השני מתחיל 320 מאוחר יותר, והוא מועשר על ידי 3 DB. כל קוד חייב לייצר תמליל ללא תגי שפה. אודיו קבוע מסיר סינתזזה חי ריקנות, ואת זרימת העבודה הלילה פועל רץ. Nemotron ב-Shard שלה, Run the Core ML תוקפנות עם אותו CPU-רק הגדרת לילה:

SPEECH_COREML_COMPUTE_UNITS=cpuOnly \
  swift test --disable-sandbox --no-parallel \
    --filter '^NemotronStreamingASRTests[.]E2ENemotronHarshAudioTests/'