การบอกพิมพ์แบบสตรีมมิ่ง

Parakeet-EOU-120M เป็นโมเดล ASR แบบสตรีมมิ่ง RNN-T ขนาดเล็กพร้อมหัว end-of-utterance (EOU) ที่ชัดเจน สร้างขึ้นสำหรับการบอกพิมพ์เรียลไทม์บน Neural Engine ของ Apple Silicon คู่มือนี้ยังครอบคลุม DictateDemo ซึ่งเป็นแอปตัวอย่างบนเมนูบาร์ macOS ที่ผูกโมเดลสตรีมมิ่งเข้ากับ Silero VAD เพื่อการบอกพิมพ์แบบไม่ต้องใช้มือพร้อมวางผลลัพธ์ได้ทุกที่

คืออะไร

• ผลลัพธ์บางส่วนแบบสด — ข้อความอัปเดตขณะที่คุณพูด ~340 ms หลังจากแต่ละ chunk
• EOU ที่ชัดเจน — โมเดลตัดสินใจเองว่าประโยคจบเมื่อใด ไม่ต้องใช้ปุ่มกด
• Force-finalize ที่ขับด้วย VAD — Silero ทำหน้าที่เป็นแบ็คอัพคอมมิตประโยคแม้ EOU จะติดขัดเพราะเสียงรบกวนพื้นหลัง
• 120 MB INT8 CoreML — รันบน Neural Engine ปล่อย GPU ว่างสำหรับโมเดลอื่น
• 25 ภาษายุโรป — ใช้ตระกูล vocabulary เดียวกับ NeMo Parakeet TDT ต้นทาง

สถาปัตยกรรม

โมเดล CoreML สามตัวต่อกันเป็น pipeline ต่อ chunk เสียง:

ทำไมต้องมี token EOU แยก

RNNT ล้วน ๆ จะปล่อย blank ในช่วงเงียบ ซึ่ง decoder ดูดซับโดยไม่ส่งสัญญาณว่า "ประโยคจบแล้ว" หัว EOU เฉพาะทำให้โมเดลสามารถตัดสินใจอย่างเด็ดขาดในการ commit ผลลัพธ์บางส่วนให้เป็นผลสุดท้าย รีเซ็ตสถานะการใส่เครื่องหมายวรรคตอน/ตัวพิมพ์ใหญ่ และกระตุ้นการกระทำต่อ ๆ ไป เช่น paste เข้าแอป

โมเดล

ประสิทธิภาพ

Quick start — การถอดเสียงเป็นชุด

โมเดลสตรีมมิ่งยังเข้ากันกับ SpeechRecognitionModel จึงใช้แทนกันได้กับโค้ดใด ๆ ที่รับโมเดล STT ทั่วไป:

import ParakeetStreamingASR

let model = try await ParakeetStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

Quick start — สตรีมมิ่งแบบ async

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

PartialTranscript แต่ละชิ้นมี text, isFinal, confidence, eouDetected (joint ยิงเองหรือถูก force-finalize) และ segmentIndex ที่เพิ่มขึ้นเป็นลำดับ

API session แบบยาว (อินพุตจากไมโครโฟน)

สำหรับการบอกพิมพ์สด ให้สร้าง session ครั้งเดียวแล้วป้อน chunk เข้าไปเมื่อมาจากไมโครโฟน Session จะเก็บบัฟเฟอร์ภายในและรัน encoder เมื่อสะสมตัวอย่างพอ คุณจึงป้อน chunk ขนาดใดก็ได้:

let session = try model.createSession()

// แต่ละ chunk จากไมค์:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials {
    if p.isFinal { commit(p.text) }
    else          { showPartial(p.text) }
}

// เมื่อสตรีมจบ:
let trailing = try session.finalize()

แพทเทิร์น force-finalize ด้วย VAD

เมื่อมี Silero VAD รันอยู่ใน pipeline ของคุณแล้ว ให้ใช้มันขับ commit สำรองเพื่อไม่ให้เสียงรบกวนพื้นหลังทำให้ตัวจับเวลา debounce ของ EOU ติดขัด:

if hasPendingUtterance && !vadSpeechActive && vadSilentChunks >= 30 {
    // ~960 ms ของความเงียบต่อเนื่องตาม Silero
    if let forced = session.forceEndOfUtterance() {
        commit(forced.text)
    }
    hasPendingUtterance = false
}

// guardrail: อย่า commit ซ้ำหาก joint ยิง EOU ไปแล้ว
if partials.contains(where: { $0.isFinal }) {
    hasPendingUtterance = false
}

DictateDemo — แอปตัวอย่างเมนูบาร์ macOS

DictateDemo เป็น agent บนเมนูบาร์ macOS แบบครบเครื่องที่สร้างบน session สตรีมมิ่ง รันเป็นแอปเบื้องหลัง ถอดเสียงจากไมโครโฟนพร้อมผลลัพธ์บางส่วนแบบสด คอมมิตประโยคอัตโนมัติเมื่อเจอ EOU หรือ VAD เงียบ และ paste ผลลัพธ์ไปยังแอปที่อยู่ด้านหน้า

• แอปเมนูบาร์พร้อมฮอตคีย์ระดับระบบ Cmd+Shift+D
• ผลลัพธ์บางส่วนแบบสดพร้อม HUD ลอยและตัวแสดงระดับเสียง
• Force-finalize ที่ป้องกันด้วย VAD (แพทเทิร์น production ด้านบน)
• Paste ไปยังแอปด้านหน้าด้วย Cmd+Shift+V
• โมเดลดาวน์โหลดอัตโนมัติเมื่อเปิดครั้งแรก (~120 MB)

cd Examples/DictateDemo
swift build
.build/debug/DictateDemo

การ implement เต็มอยู่ใน Examples/DictateDemo/DictateDemo/DictateViewModel.swift ได้แก่ audio sink นอก main thread พร้อมบัฟเฟอร์ที่ป้องกันด้วย lock, ตัวจับเวลา tick ทุก 300 ms เพื่อระบายบัฟเฟอร์, Silero VAD พร้อมการส่งต่อ leftover sample และ force-finalize ที่มี guard เทสต์ regression ที่จับคู่กันใน Examples/DictateDemo/Tests/DictateDemoTests.swift ครอบคลุมสถานการณ์หลายประโยค EOU ติดขัด และความเงียบที่มีสัญญาณรบกวน

สตรีมมิ่งเทียบกับ Parakeet แบบ batch