Maskinoversættelse · Engelsk original

Streaming Diktation

Parakeet-EOU-120M er en lille RNN-T streaming ASR model med en eksplicit end- of- ytterance (EOU) hoved, bygget til real-time diktation på Apple Silicon Neural Engine. Denne vejledning dækker også DictateDemo, macOS menu- bar reference app, der leder streaming model sammen med Silero VAD til håndfri, paste- overalt diktat.

Hvad er det?

• Levende dele - tekst opdateringer, som du taler, ~ 340 ms efter hver klump
• Explicit EOU - model beslutter, hvornår en udtale slutter, ingen manuel knap
• VAD- drevet kraft- finalize - Silero backstop forpligter sig til udtalelser, selv når EOU boder på baggrundsstøj
• 120 MB INT8 CoreML - kører på Neural Engine, efterlader GPU gratis for andre modeller
• 25 Europæiske sprog - samme ordforrådsfamilie som opstrøms NeMo Parakeet TDT

Arkitektur

Tre CoreML modeller caused per audio chunk:

Hvorfor en separat EOU-token

Plain RNT udsender løse under stilhed, som dekoderen med glæde absorberer uden at signalere "udtale færdig". En dedikeret EOU-hoved lader modellen gøre en hård cut for at forpligte den delvise til en endelig, nulstille punktuation / kapitalisering stat, og udløse downstream-handlinger som paste- to- app.

Model

Præstation

Hurtig start - batch transskription

Den streaming model er også i overensstemmelse med SpeechRecognitionModel, så det virker som en drop-in for enhver kode, der tager en generisk STT model:

import ParakeetStreamingASR

let model = try await ParakeetStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

Hurtig start - async streaming

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Hver PartialTranscript cars text, isFinal, confidence, eouDetected (fælles fyret vs kraft- færdiggjort), og en monotonic segmentIndex.

Long- lived session API (mic input)

For live diktat, oprette en session én gang og fodre det stykker, som de ankommer fra mikrofonen. Sessionen buffere internt og kører encoder, når nok prøver akkumuleres, så du kan skubbe vilkårlige stykker størrelser:

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials {
    if p.isFinal { commit(p.text) }
    else          { showPartial(p.text) }
}

// when the stream ends:
let trailing = try session.finalize()

VAD kraft- finalisér mønster

Når en Silero VAD allerede kører i din rørledning, bruge det til at køre en fallback begå, så baggrundsstøj kan ikke holde EOU debounce timer:

if hasPendingUtterance && !vadSpeechActive && vadSilentChunks >= 30 {
    // ~960 ms of sustained silence per Silero
    if let forced = session.forceEndOfUtterance() {
        commit(forced.text)
    }
    hasPendingUtterance = false
}

// guardrail: don't double-commit if joint already fired EOU
if partials.contains(where: { $0.isFinal }) {
    hasPendingUtterance = false
}

DictateDemo - macOS menu- bar reference app

DictateDemo er en komplet macOS menu- bar agent bygget på toppen af streaming session. Det kører som en baggrund app, transskribere fra mikrofonen med levende partialer, auto-forpligter udtalelser på EOU eller VAD tavshed, og pace resultater i den forreste app.

• Menu- bar app med global Cmd+Shift+D genvejName
• Levende dele med flydende HUD-indikator og lydindikator
• Vade-bevogtet kraft-finalize (produktionsmønster ovenfor)
• Paste- to- frontmost- app med Cmd+Shift+V
• Model auto- downloads ved første lancering (~ 120 MB)

cd Examples/DictateDemo
swift build
.build/debug/DictateDemo

Den fulde gennemførelse lever i Examples/DictateDemo/DictateDemo/DictateViewModel.swift: en off- main audio vask med en lock- beskyttet buffer, en 300 ms timer tick, der dræner det, Silero VAD med leptover- prøve carding-over, og en bevogtet kraft- finalize. Examples/DictateDemo/Tests/DictateDemoTests.swift dække multi- ytterance, stuck-EOU, og noisy- stilhed scenarier.

Streaming vs batch Parakeet