Traducere automată · Originalul în engleză

Nemotron Streaming

Două modele NVIDIA streaming ASR împărtășesc NemotronStreamingASR Swift Ambele sunt ţinte. 600M-parametru cache-aware FastConformer codoare asociat cu un decodor RNN-T, ambele emit punctuație nativă și capitalizare ca jetoane BPE regulate, ambele rula pe Apple Neural Engine prin CoreML, și varianta multilingvă are în plus MLX pachete pentru concluzie GPU-rezident. Alege cel care se potriveste aplicatiei dumneavoastra:

Proprietăți partajate

• Nativ punctuation and capitalization
• Parametrii 600M Cache-aware 24-layer FastConformer codor + 2 -layer LSTM RNN-T decodor + rețea comună
• Transmisie conţinută de cache atenţie şi cache conv flux bucată-la-bucăţi pentru context continuu peste graniţele bucată
• Dimensiuni mai mari ale bucăților bază: 80, 320, 560, 1120 ms (320 ms implicit); engleză: 80, 160, 560 și 1120 m (160 ms implicit)
• Multilingv-numai: un nucleu prompt (Linear 1152→2048→1024) pliază un slot de limbă unică într-un cadru codat, astfel încât aceleași greutăți servesc toate cele 40 de limbi-locale. Varianta numai în limba engleză nu are nucleu prompt.

Arhitectură

Trei modele de tip CoreML prevăzute pe bucată audio:

Fără cap EOU

Spre deosebire de Parakeet-EOU, Nemotron nu emite un jeton dedicat de sfârşit de vorbire. Două moduri de a segmenta audio continuu în declaraţii:

1. VAD extern Pereche sesiunea cu Silero VAD; pe tăcere susținută, apel finalize() de a comite declaraţia curentă şi createSession() pentru următoarea.
2. Limita de punctuație atunci când transcrierea parțială se termină în ., ?, sau !, se tratează ca un tac de comitere naturală. Niciun model suplimentar, dar depinde de punctuația terminală inductivă audio.

Bundles

Cinci variante publicate de Nemotron-3.5-ASR-Streaming-0.6B, plus modelul englezesc mai vechi numai pe aceeași țintă Swift:

În amonte: nvidia/nemotron-3.5-asr-streaming-0.6b (multilingv) și nvidia/nemotron-speech-streaming-en-0.6b (numai în limba engleză).

Pe cache-aware real 320 calea ms; MLX 5-media biţilor 11.53% WER peste sase FLEURS limbi versus 11.01% pentru MLX 8-Bit. 5-Bit salvează implicit despre 193 MB pe disc și 192 MB de vârf RSS; MLX 4-Bit rămâne un export de cercetare, deoarece pierderea de calitate este mai mare.

Start rapid nativ MLX streaming

The Swift runtime suportă pachetele publicate MLX 5-bit și 8-bit. Implică la 5-bit, păstrează caches fiecare sesiune independentă, și se serializează inference atunci când sesiunile împărtășesc un model încărcat. MLX utilizează geometria validată 320 ms și în prezent nu expune stimularea cuvântului.

import NemotronStreamingASR

let model = try await NemotronStreamingASRMLXModel.fromPretrained(
    variant: .int5
)
let session = try model.createSession(language: "en-US")

for chunk in microphoneChunks16kHz {
    for partial in try session.pushAudio(chunk) {
        print(partial.text)
    }
}
let final = try session.finalize().last?.text

Start rapid CoreML transcriere lot

Conforms to SpeechRecognitionModel, so it drops into any code trail that takes a generic STT model:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

Start rapid

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Fiecare PartialTranscript poartă text, isFinal (adevărat doar pentru ultima parţială după finalize()), confidence şi un monoton segmentIndex.

Sesiune de lungă durată API (mic input)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials, Japanese
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron vs Parakeet-EOU

Teste de regresie

Regresia de suprapunere a vorbirii foloseste un check-in WAV cu doua voci Kokoro: al doilea incepe 320 ms mai tarziu si este atenuat cu 3 dB. Fiecare decod trebuie sa produca o transcriere fara ecusoane lingvistice. audio fix elimina variabilitatea sintezei live, iar fluxul de lucru nocturn se executa Nemotron in ciobul propriu. Executati regresia Core ML cu aceeasi setare exclusiv de noapte:

SPEECH_COREML_COMPUTE_UNITS=cpuOnly \
  swift test --disable-sandbox --no-parallel \
    --filter '^NemotronStreamingASRTests[.]E2ENemotronHarshAudioTests/'