Awtomatikong salin · Orihinal sa Ingles

Nemotron Pag - aayos

Dalawang modelong NVIDIA na dumadaloy na ASR ang magkatulad sa mga modelo NemotronStreamingASR Ang Swift target. parehong 600M-parameter cache-awar FastConformers ay nakatambal ng isang RNN-T decoder, parehong naglalabas ng mga katutubong bantas at capitalization bilang mga regular na BPE tokens, parehong tumatakbo sa Apple Neural Engine sa pamamagitan ng CoreML, at ang multinasyonal na varisequest ay may mga MLX na mga bungkos para sa GPU-COPANCANC ang isa na naglalaban sa inyong aplikasyon: ang inyong ZXQXQXZ.

Ibahagi ang mga katangian

• Katutubong bantas at pagpugot ng kapital — walang post-processor na kinakailangan; ang mga yugto, mga komma, at kaso ay bahagi ng bokabularyo
• 600M parameter — cache-aware 24-layer FastConformer + 2 -layer LSTM RNN-T decoder + joint network
• Pag - agos ng cache-aware — Ang pansin at conv caches ay dumadaloy sa snew-to-chunk para sa patuloy na konteksto sa ibayo ng mga hangganan ng gilid
• Maraming maliliit na sukat — Maraming wika: 80, 320, 560, 1120 mga m (mga320 mis default); Ingles: 80, 160, 560, 1120 mga m (mga160 0s default)
• Multilingual-lamang: isang mabilis na kernel (Linear 1152→2048→1024) ititiklop ang isang wikang isa-init sa bawat balangkas na naka-signed, kaya ang parehong mga bigat ay nagsisilbi sa lahat ng mga 40 Wika-locales. Ang Ingles-lamang variant ay walang agarang kernel.

Arkitektura

Tatlong modelong CoreML ang naka - pipeline sa bawat audio function:

Walang EOUU head

Hindi tulad ng Parakeet-EOU, ang Nemotron ay hindi naglalabas ng isang dedikadong dulo-of-bigkas na token. ang dalawang paraan upang bahagiin ang patuloy na audio sa mga kasabihan:

1. External VAD — Magtambal sa sesyon na may Silero VAD; sa patuloy na katahimikan, tumawag finalize() upang ipahayag ang kasalukuyang sinasabi at createSession() para sa susunod.
2. Hangganan ng Parokya — kapag ang bahaging kopya ay nagtatapos sa loob ., ?, o !, ituring mo iyan bilang isang natural na palatandaan, walang ekstrang modelo, kundi depende sa audio na aktuwal na lumilikha ng mga bantas ng terminal.

Mga Buto

Limang inilathalang variant ng Nemotron-3.5-ASR-Streaming-0.6B, pati na ang mas lumang modelong Ingles-lamang sa parehong Swift target:

Itaas: nvidia/nemotron-3.5-asr-streaming-0.6b (Ulit na grupo) at nvidia/nemotron-speech-streaming-en-0.6b (Ingles-lamang).

Sa aktuwal na cache-aware 320 landas, MLX 5- Hindi katamtamang dami 11.53% WER anim pa FLEURS wika laban sa 11.01% para sa MLX 8-bit. 5-bit default ay nakatitipid 193 Ang MB ay bilog at 192 MB ng pinakamataas na RSS; MLX 4--bit ay nananatiling isang export ng pananaliksik dahil mas malaki ang kalidad nito.

Mabilis na simula — katutubong MLX agos

Ang Swift runtime ay sumusuporta sa inilathalang MLX 5-bit at 8-bit na bungkos. Ito ay may default sa 5-bit, pinananatili ang mga cache ng bawat sesyon nang independiyente, at ang mga serializes ay nagbabahagi ng isang load model. MLX ay gumagamit ng venue 320 ms thoometicing at sa kasalukuyan ay hindi naglalantad ng salita na nagpapalakas.

import NemotronStreamingASR

let model = try await NemotronStreamingASRMLXModel.fromPretrained(
    variant: .int5
)
let session = try model.createSession(language: "en-US")

for chunk in microphoneChunks16kHz {
    for partial in try session.pushAudio(chunk) {
        print(partial.text)
    }
}
let final = try session.finalize().last?.text

Mabilis na simula — CoreML na transcription

Ang mga sumusunod sa SpeechRecognitionModel, kaya't ito'y nahuhulog sa anumang landas ng kodigo na kumukuha ng isang modelong generic STT:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

Mabilis na pagsisimula — pag - agos ng async

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Ang bawat PartialTranscript ay nagdadala ng text, isFinal (totoo lamang para sa huling bahagi pagkatapos ng finalize()), confidence, at isang monotonic segmentIndex.

Mahabang-buhay na sesyon API (mic input)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

CLI

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials, Japanese
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron vs Parakeet-EOU

Mga pagsubok sa Regressiyon

Ang couple-speech regresyon ay gumagamit ng isang check-in WAV kasama ng dalawa Kokoro mga tinig: ang ikalawa ay nagsisimula 320 Mga m mamaya at ay itenued sa pamamagitan ng 3 Ang bawat decode ay kailangang gumawa ng isang nonfluential transcription na walang mga tag ng wika.Ang nakapirmeng audio ay nag-aalis ng live synthesis variable, at ang nightly workflow ay tumatakbo Nemotron sa sarili nitong matigas, patakbuhin ang Core ML Regresyon na may parehong CPU-lamang pagtatakda bilang nightly:

SPEECH_COREML_COMPUTE_UNITS=cpuOnly \
  swift test --disable-sandbox --no-parallel \
    --filter '^NemotronStreamingASRTests[.]E2ENemotronHarshAudioTests/'