תרגום מכונה · המקור באנגלית

המונחים: Dictation

Parakeet-EOU-120M הוא ראש קטן של RN-T הזרמת ASR עם קצה מפורש של קצה קצה-של-מטרה (EOU) שנבנה עבור דירקציה בזמן אמת על Apple Silicon של Neural Engine. DictateDemo, macOS התפריט-bar יישום כי חוטים את מודל הזרמה יחד עם Silero VAD ללא ידיים, פסטה-כל מקום טיהור.

מה זה

• Live Parts - עדכוני טקסט כפי שאתה מדבר -340 ms לאחר כל נתח
• Explicit EOU - מודל מחליט כאשר ביטוי מסתיים, אין כפתור ידני
• VAD-oriented Force-Endize Silero backstop להתחייב לאמירות גם כאשר EOU דוכנים על רעש רקע
• 120 INT8 CoreML - פועל על Neural Engine, משאיר את GPU
• 25 שפות אירופיות - אותה משפחת אוצר מילים בשם Upstream NeMo Parakeet TDT

ארכיטקטורה

3 CoreML מודלים צינורות עבור אודיו נתח:

מדוע נספח נפרד

RNNT פולט ריקות במהלך שתיקה, אשר הפעוט סופג בשמחה מבלי לציין "הניצחון הסתיים" ראש EOU ייעודי מאפשר לדגם לעשות קיצוץ קשה לביצוע החלקי למצב סופי, תיקון מחדש / הפללה, וגורם להורדת פעולות הזרם כמו פס-to-app.

מודל מודל

ביצועי ביצועים

התחלה מהירה - הצצה

מודל הזרמה גם תואם SpeechRecognitionModel, כך שהוא פועל כטיפה עבור כל קוד שלוקח מודל STT כללי:

import ParakeetStreamingASR

let model = try await ParakeetStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

התחלה מהירה - Async Flow

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

כל אחד PartialTranscript נושא text, isFinal, confidence, eouDetected (ג'וינט ירה מול כוח-גמר), ומונוטוני segmentIndex.

ישיבה ארוכה API (הקלט המסחרי)

עבור צלילה חיה, ליצור מפגש פעם להאכיל אותו נתחים כפי שהם מגיעים מן המיקרופון.הפגישה buffers בפנים ומנהל את הקוד כאשר מספיק דגימות מצטברות, כך שתוכל לדחוף גדלים שרירותיים:

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials {
    if p.isFinal { commit(p.text) }
    else          { showPartial(p.text) }
}

// when the stream ends:
let trailing = try session.finalize()

VAD תבנית הפסקת אש

כאשר Silero VAD כבר פועל בצנרת שלך, השתמש בו כדי להניע את פעולת הנפילה כל כך רעש רקע לא יכול לעכב את שעון EOU debounce:

if hasPendingUtterance && !vadSpeechActive && vadSilentChunks >= 30 {
    // ~960 ms of sustained silence per Silero
    if let forced = session.forceEndOfUtterance() {
        commit(forced.text)
    }
    hasPendingUtterance = false
}

// guardrail: don't double-commit if joint already fired EOU
if partials.contains(where: { $0.isFinal }) {
    hasPendingUtterance = false
}

DictateDemo - macOS התפריט-bar App

DictateDemo הוא שלם macOS סוכן התפריט-bar בנוי על גבי הפגישה הסטרימינג.זה פועל כאפליקציית רקע, מפרש מן המיקרופון עם חלקי חיים, דוחות אוטומטית על EOU או VAD

• אפליקציה עם Global Cmd+Shift+D חם
• Live Parts with צף HUD ו- אודיו רמת אינדיקטור
• VAD-guarded Force-Endize (תבנית הייצור לעיל)
• Paste-to-frontmost-app עם Cmd+Shift+V
• דגם אוטומטי הורד על ההשקה הראשונה (- 120 MB)

cd Examples/DictateDemo
swift build
.build/debug/DictateDemo

הביצוע המלא חי Examples/DictateDemo/DictateDemo/DictateViewModel.swiftאודיו מחוץ ל-main כיור עם buffer מוגן מנעול, a a 300 סמן הזמן מרוקן אותו, Silero VAD עם שמאל-סאmple לשאת-over, ומשמר כוח-סופיזציה.התאמת בדיקות רגרסיה במבחנים Examples/DictateDemo/Tests/DictateDemoTests.swift לכסות תרחישים רב-אוטומטיים, תקועים, ורוחות רועשות.

סטרימינג לעומת אצווה Parakeet