Tłumaczenie automatyczne · Oryginał angielski

Dyktowanie strumieniowe

Parakeet-EOU-120M to mały model strumieniowania RNN- T ASR z wyraźną głowicą end- of- utterance (EOU), zbudowany dla real- time dictation na Apple Silicon Neural Engine. Ten przewodnik obejmuje również DictateDemo, aplikacja referencyjna macOS, która podłącza model strumieniowy wraz z Silero VAD dla dyktando wolnego od dłoni, pasty gdziekolwiek.

Co to jest?

• Żywe części - aktualizacje tekstowe, jak mówisz, ~ 340 ms po każdym kawałku
• Explicit EOU - model decyduje, kiedy wypowiedź się kończy, bez przycisku ręcznego
• Napęd VAD- force- finalize - Silero backstop zobowiązuje wypowiedzi nawet gdy EOU zatrzymuje się na szumie tła
• 120 MB INT8 CoreML - działa na Neural Engine, pozostawia GPU za darmo dla innych modeli
• 25 Języki europejskie - ta sama rodzina słowników co NeMo Parakeet TDT

Architektura

Trzy modele CoreML wbudowane na dźwięk:

Dlaczego oddzielny symbol EOU

Plain RNNT emituje ślepaki podczas ciszy, które dekoder z radością absorbuje bez sygnalizowania "wymowy zakończone". Specjalna głowa EOU pozwala modelowi na trudne cięcie do zobowiązania częściowej do końcowego, resetowanie interpunkcji / kapitalizacji stanu, i uruchamianie dalszych działań, takich jak pasta-to- app.

Wzór

Wydajność

Szybki start - transkrypcja partii

Model strumieniowania jest również zgodny z SpeechRecognitionModel, więc działa jako drop- w dla każdego kodu, który wymaga generycznego modelu STT:

import ParakeetStreamingASR

let model = try await ParakeetStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

Szybki start - strumieniowanie async

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Każdy PartialTranscript przewożone text, isFinal, confidence, eouDetected (zapalenie stawów vs force- finalized), i monotoniczny segmentIndex.

Sesja długowieczna API (wejście mikrofonu)

Dla dyktando na żywo, stworzyć sesję raz i karmić go kawałki, jak przybywają z mikrofonu. Sesja buforuje wewnętrznie i działa koder, gdy ilość próbek gromadzi się, więc można nacisnąć arbitralne rozmiary kawałka:

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials {
    if p.isFinal { commit(p.text) }
    else          { showPartial(p.text) }
}

// when the stream ends:
let trailing = try session.finalize()

VAD formuła finalizacji siły

Kiedy Silero VAD jest już uruchomiony w twoim rurociągu, użyj go do napędzenia fallbacka commit, aby hałas tła nie mógł opóźnić zegara EOU debuunce:

if hasPendingUtterance && !vadSpeechActive && vadSilentChunks >= 30 {
    // ~960 ms of sustained silence per Silero
    if let forced = session.forceEndOfUtterance() {
        commit(forced.text)
    }
    hasPendingUtterance = false
}

// guardrail: don't double-commit if joint already fired EOU
if partials.contains(where: { $0.isFinal }) {
    hasPendingUtterance = false
}

DictateDemo - macOS menu- bar aplikacji referencyjnej

DictateDemo jest kompletnym agentem menu- bar macOS zbudowanym na szczycie sesji strumieniowej. Działa jako aplikacja w tle, transkrypcje z mikrofonu z live partials, autocommits utterances na EOU lub VAD milczenie, i pasty wyniki w pierwszej aplikacji.

• Menu- bar aplikacji z globalnym Cmd+Shift+D hotkey
• Żywe części z pływającym wskaźnikiem poziomu HUD i audio
• VAD-warty force- finalize (powyższy wzór produkcji)
• Paste- to- front- app z Cmd+Shift+V
• Model auto- downloads przy pierwszym uruchomieniu (~ 120 MB)

cd Examples/DictateDemo
swift build
.build/debug/DictateDemo

Pełne wdrożenie pozostaje w Examples/DictateDemo/DictateDemo/DictateViewModel.swift: off- main umywalka audio z blokadą bufora chronionego, timer 300 ms timer, który go wysysa, Silero VAD z resztkami-próbki carry- over, i strzeżony force- finalize. Examples/DictateDemo/Tests/DictateDemoTests.swift pokrywają scenariusze multi- wymowy, Stuck- EOU i ciszy hałasów.

Streaming vs partia Parakeet