Maskinöversättning · Engelskt original

Streaming Diktation

Parakeet-EOU-120M är en liten RNN-T streaming ASR modell med en explicit end-of-utterance (EOU) huvud, byggd för realtid diktation på Apple Silicon Neural Engine. Denna guide täcker också DictateDemo, macOS meny-bar referens app som trådar streaming modell tillsammans med Silero VAD för handsfree, paste-anywhere diktation.

Vad det är

• Live partials - textuppdateringar som du talar, ~340 ms efter varje bit
• Explicit EOU - modellen bestämmer när ett yttrande slutar, ingen manuell knapp
• VAD-driven kraftfinalisera -- Silero backstop begår yttranden även när EOU stannar på bakgrundsljud
• 120 MB INT8 CoreML - körs på Neural Engine, lämnar GPU gratis för andra modeller
• 25 europeiska språk - samma ordförrådsfamilj som uppströms NeMo Parakeet TDT

Arkitektur

Tre CoreML modeller pipelined per audio chunk:

Varför en separat EOU-token

Plain RNNT avger tomma under tystnad, som avkodaren glatt absorberar utan att signalera "utterance färdig." Ett dedikerat EOU-huvud låter modellen göra en hård nedskärning för att begå partiell till en slutlig, återställa punktering / kapitalisering tillstånd och utlösa nedströms åtgärder som pasta-till-app.

Modell

Prestanda

Snabbstart - batch transcription

Den streaming modellen överensstämmer också med SpeechRecognitionModel, så det fungerar som en drop-in för alla kod som tar en generisk STT-modell:

import ParakeetStreamingASR

let model = try await ParakeetStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

Snabbstart - Async streaming

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Var och en PartialTranscript Bilder från text, isFinal, confidence, eouDetected (gemensamt sparkat vs force-finalized), och en monotonic segmentIndex.

Långlivad session API (mikinput)

För levande diktation, skapa en session en gång och mata det bitar när de kommer från mikrofonen. sessionen buffrar internt och kör kodaren när tillräckligt med prover ackumuleras, så att du kan trycka godtyckliga bitar storlekar:

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials {
    if p.isFinal { commit(p.text) }
    else          { showPartial(p.text) }
}

// when the stream ends:
let trailing = try session.finalize()

VAD kraftfinalisera mönster

När en Silero VAD redan körs i din pipeline, använd den för att driva en nedgång begå så bakgrundsljud kan inte stoppa EOU-avstängningstimern:

if hasPendingUtterance && !vadSpeechActive && vadSilentChunks >= 30 {
    // ~960 ms of sustained silence per Silero
    if let forced = session.forceEndOfUtterance() {
        commit(forced.text)
    }
    hasPendingUtterance = false
}

// guardrail: don't double-commit if joint already fired EOU
if partials.contains(where: { $0.isFinal }) {
    hasPendingUtterance = false
}

DictateDemo - macOS meny-bar referens app

DictateDemo är en komplett macOS meny-bar agent byggd ovanpå streamingsessionen. Den körs som en bakgrundsapp, transkriberar från mic med levande partialer, auto-commits yttranden på EOU eller VAD tystnad och pastor resulterar i den främre appen.

• Menu-bar app med global Cmd+Shift+D hotkey
• Levande partialer med flytande HUD- och ljudnivåindikator
• VAD-bevakad kraftfinalisering (produktionsmönstret ovan)
• Paste-to-front-app med Cmd+Shift+V
• Modell auto-downloads på första lanseringen (~ 120 MB)

cd Examples/DictateDemo
swift build
.build/debug/DictateDemo

Det fullständiga genomförandet lever i Examples/DictateDemo/DictateDemo/DictateViewModel.swift: en off-main ljudsänka med en låsskyddad buffert, en 300 ms timer tick som dränerar den, Silero VAD med överbliven-sampel överföring, och en bevakad kraftfinalisera. De matchande regressionstesterna i Examples/DictateDemo/Tests/DictateDemoTests.swift täcka multi-utterance, fast-EOU och bullriga tystnadsscenarier.

Streaming vs batch Parakeet