Tłumaczenie automatyczne · Oryginał angielski

Streaming Nemotron

Dwa modele NVIDIA streaming ASR współdzielą się NemotronStreamingASR Swift docelowy. Oba są 600M- świadomość parametru cache- enkodery FastConformer połączone z dekoderem RNN- T, zarówno emitują natywną punktualizację i kapitalizację jako zwykłe żetony BPE, zarówno uruchomione na Apple Neural Engine przez CoreML, a wielojęzyczny wariant dodatkowo ma pakiety MLX dla GPU- rezydent. Wybierz ten, który pasuje do aplikacji:

Właściwości dzielone

• Indiańska interpunkcja i kapitalizacja - nie jest potrzebny postprocesor; okresy, przecinki i przypadek są częścią słownictwa
• Parametry 600M - 24- warstwa FastConformer encoder + 2-warstwa LSTM RNN- T dekoder + wspólna sieć
• Streaming Cache- eware - uwaga i conv caches przepływ chunk-to@-@ chunk dla ciągłego kontekstu przez granice kawałka
• Wielkości wielu kawałków - wielojęzyczny: 80, 320, 560, 1120 ms (320 ms default); angielski: 80, 160, 560, 1120 ms (160 ms default)
• Wyłącznie wielojęzyczny: kernel short (Linear 1152→2048→1024) składa jednogwiazdkowe gniazdo językowe do każdej zakodowanej ramki, więc te same wagi służą wszystkim 40 język-locales. Odmiana tylko angielski nie ma szybkiego jądra.

Architektura

Trzy modele CoreML wbudowane na dźwięk:

Brak głowy EOU

W przeciwieństwie do Parakeet- EOU, Nemotron nie emituje dedykowanego symbolu end- of- utterance. Dwa sposoby segmentacji ciągłego dźwięku w wypowiedzi:

1. Zewnętrzne VAD - sparuj sesję z Silero VAD; po długotrwałej ciszy, wywołaj finalize() do zobowiązania bieżącego wypowiedzenia i createSession() dla następnego.
2. Granica punktualności - gdy częściowy zapis kończy się ., ?lub !Nie ma dodatkowego modelu, ale zależy to od dźwięku wywołującego interpunkcję terminala.

Zespoły

Pięć opublikowanych wariantów Nemotron-3.5-ASR-Streaming-0.6B, plus starszy model tylko angielski na tym samym celu Swift:

Upstream: nvidia / nemotron-3.5-asr-streaming-0.6b (wielojęzyczny) oraz nvidia / nemotron-speech-streaming-en-0.6b (tylko angielski).

Na faktyczne cache-aware 320 Ścieżka ms, MLX 5-bitowe średnie 11.53% WER w ciągu sześciu FLEURS języki kontra 11.01% zamiast MLX 8- Bit. 5-bit domyślnie zapisuje o 193 MB na dysku i 192 MB szczytowego RSS; MLX 4-bit pozostaje eksportem badawczym, ponieważ jego utrata jakości jest większa.

Szybki start - natywny strumieniowanie MLX

W Swift runtime wspiera opublikowane MLX 5-bit i 8-bit paczki. Domyślnie do 5-bit, utrzymuje każdą sesję w pamięci niezależnej i serializuje wniosek, gdy sesje dzielą jeden załadowany model. MLX wykorzystuje zatwierdzony 320 ms geometria i obecnie nie ujawnia słowa zwiększające.

import NemotronStreamingASR

let model = try await NemotronStreamingASRMLXModel.fromPretrained(
    variant: .int5
)
let session = try model.createSession(language: "en-US")

for chunk in microphoneChunks16kHz {
    for partial in try session.pushAudio(chunk) {
        print(partial.text)
    }
}
let final = try session.finalize().last?.text

Szybki start - transkrypcja partii CoreML

Zgodnie z SpeechRecognitionModel, więc spada do dowolnej ścieżki kodu, który ma ogólny model STT:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

Szybki start - strumieniowanie async

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Każdy PartialTranscript przewożone text, isFinal (prawda tylko dla ostatniej części po finalize()), confidence, i monotonii segmentIndex.

Sesja długowieczna API (wejście mikrofonu)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials, Japanese
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron vs Parakeet- EOU

Badania regresji

Regresja słów na siebie nakłada się na sprawdzanie w WAV z dwoma głosami Kokoro: drugi rozpoczyna 320 ms później i jest atenuowany przez 3 dB. Każdy dekoder musi produkować niepusty transkrypt bez znaczników językowych. Stałe audio usuwa zmienność syntezy na żywo, a nocny przepływ pracy działa Nemotron w swoim własnym odłamku. Uruchom regresję Core ML tylko z tego samego ustawienia CPU- jak nocnie:

SPEECH_COREML_COMPUTE_UNITS=cpuOnly \
  swift test --disable-sandbox --no-parallel \
    --filter '^NemotronStreamingASRTests[.]E2ENemotronHarshAudioTests/'