Đọc chính tả streaming

Parakeet-EOU-120M là một mô hình ASR streaming RNN-T nhỏ với một đầu ra phát hiện kết thúc câu nói (EOU) rõ ràng, được xây dựng cho đọc chính tả thời gian thực trên Neural Engine của Apple Silicon. Hướng dẫn này cũng đề cập đến DictateDemo, ứng dụng tham chiếu trên thanh menu macOS kết nối mô hình streaming với Silero VAD để đọc chính tả rảnh tay, dán-mọi-nơi.

Đây là gì

• Bản tạm thời trực tiếp — văn bản cập nhật khi bạn nói, ~340 ms sau mỗi chunk
• EOU rõ ràng — mô hình quyết định khi nào một câu nói kết thúc, không cần nút thủ công
• Force-finalize điều khiển bởi VAD — Silero làm chỗ dựa đẩy commit câu nói ngay cả khi EOU bị đứng vì tiếng ồn nền
• 120 MB INT8 CoreML — chạy trên Neural Engine, để GPU rảnh cho các mô hình khác
• 25 ngôn ngữ châu Âu — cùng họ vocabulary với NeMo Parakeet TDT gốc

Kiến trúc

Ba mô hình CoreML được nối ống theo từng chunk âm thanh:

Tại sao cần một token EOU riêng

RNNT thuần sinh ra blank trong khi im lặng, mà bộ giải mã vui vẻ hấp thụ mà không phát tín hiệu "câu nói đã kết thúc". Một đầu ra EOU chuyên dụng cho phép mô hình thực hiện một cú cắt dứt khoát để commit phần tạm thời thành phần cuối cùng, reset trạng thái dấu câu/viết hoa, và kích hoạt các hành động downstream như dán-vào-ứng-dụng.

Mô hình

Hiệu năng

Bắt đầu nhanh — phiên âm theo lô

Mô hình streaming cũng tuân thủ SpeechRecognitionModel, nên nó hoạt động như một thay thế trực tiếp trong bất kỳ mã nào nhận một mô hình STT chung:

import ParakeetStreamingASR

let model = try await ParakeetStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

Bắt đầu nhanh — streaming bất đồng bộ

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Mỗi PartialTranscript mang text, isFinal, confidence, eouDetected (do joint kích hoạt vs. force-finalize), và một segmentIndex đơn điệu.

API session dài hạn (đầu vào micro)

Cho đọc chính tả trực tiếp, tạo session một lần rồi đẩy chunk vào khi nhận được từ micro. Session đệm bên trong và chạy bộ mã hoá khi tích luỹ đủ mẫu, nên bạn có thể đẩy chunk với kích thước tuỳ ý:

let session = try model.createSession()

// mỗi chunk từ micro:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials {
    if p.isFinal { commit(p.text) }
    else          { showPartial(p.text) }
}

// khi stream kết thúc:
let trailing = try session.finalize()

Mẫu force-finalize với VAD

Khi đã có một Silero VAD chạy trong pipeline, hãy dùng nó để kích hoạt một commit dự phòng để tiếng ồn nền không thể làm đứng bộ đếm debounce của EOU:

if hasPendingUtterance && !vadSpeechActive && vadSilentChunks >= 30 {
    // ~960 ms im lặng kéo dài theo Silero
    if let forced = session.forceEndOfUtterance() {
        commit(forced.text)
    }
    hasPendingUtterance = false
}

// chốt chặn: đừng commit hai lần nếu joint đã kích hoạt EOU
if partials.contains(where: { $0.isFinal }) {
    hasPendingUtterance = false
}

DictateDemo — ứng dụng tham chiếu trên thanh menu macOS

DictateDemo là một agent hoàn chỉnh trên thanh menu macOS được xây trên session streaming. Nó chạy như một ứng dụng nền, phiên âm từ micro với bản tạm thời trực tiếp, tự động commit câu nói khi EOU hoặc khi VAD im lặng, và dán kết quả vào ứng dụng đang ở phía trước.

• Ứng dụng trên thanh menu với phím tắt toàn cục Cmd+Shift+D
• Bản tạm thời trực tiếp với HUD nổi và chỉ báo mức âm thanh
• Force-finalize được VAD bảo vệ (mẫu production ở trên)
• Dán vào ứng dụng phía trước với Cmd+Shift+V
• Mô hình tự động tải về khi lần đầu khởi chạy (~120 MB)

cd Examples/DictateDemo
swift build
.build/debug/DictateDemo

Toàn bộ phần triển khai nằm trong Examples/DictateDemo/DictateDemo/DictateViewModel.swift: một sink âm thanh ngoài luồng main với một buffer được bảo vệ bằng lock, một tick timer 300 ms để rút buffer, Silero VAD với truyền tiếp các mẫu thừa, và một force-finalize có bảo vệ. Các test hồi quy tương ứng trong Examples/DictateDemo/Tests/DictateDemoTests.swift bao gồm các kịch bản nhiều câu nói, EOU bị kẹt, và im lặng có nhiễu.

Streaming so với Parakeet theo lô