ストリーミングディクテーション

Parakeet-EOU-120Mは、Apple SiliconのNeural Engine上でリアルタイムディクテーションのために構築された、明示的な発話終端（EOU）ヘッドを備えた小型のRNN-TストリーミングASRモデルです。このガイドでは、ハンズフリーでどこにでもペーストできるディクテーションのために、ストリーミングモデルとSilero VADを結び付けたmacOSメニューバーリファレンスアプリのDictateDemoも説明します。

概要

• ライブ部分結果 — 話している間、各チャンクの約340 ms後にテキストが更新されます
• 明示的なEOU — モデルが発話の終了を決定し、手動ボタンが不要
• VAD駆動の強制確定 — 背景ノイズでEOUが停止しても、Sileroバックストップが発話をコミットします
• 120 MB INT8 CoreML — Neural Engine上で動作し、他のモデルのためにGPUを解放します
• 25の欧州言語 — 上流のNeMo Parakeet TDTと同じ語彙ファミリー

アーキテクチャ

音声チャンクごとにパイプライン化された3つのCoreMLモデル：

なぜ別のEOUトークンが必要か

通常のRNNTは無音中にブランクを出力し、デコーダーは「発話終了」のシグナルなしに喜んで吸収します。専用のEOUヘッドにより、モデルは部分結果を最終結果にコミットし、句読点/大文字小文字の状態をリセットし、アプリへのペーストのような下流アクションをトリガーするためのハードカットを行うことができます。

モデル

パフォーマンス

クイックスタート — バッチ文字起こし

ストリーミングモデルはSpeechRecognitionModelにも準拠しているため、汎用STTモデルを受け取る任意のコードでドロップインとして動作します：

import ParakeetStreamingASR

let model = try await ParakeetStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000)

クイックスタート — 非同期ストリーミング

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

各PartialTranscriptは、text、isFinal、confidence、eouDetected（Jointが発火したか強制確定されたか）、および単調増加するsegmentIndexを持ちます。

長寿命セッションAPI（マイク入力）

ライブディクテーションの場合、セッションを一度作成して、マイクから到着するチャンクを供給します。セッションは内部でバッファリングし、十分なサンプルが蓄積されるとエンコーダーを実行するため、任意のチャンクサイズをプッシュできます：

let session = try model.createSession()

// 各マイクチャンク：
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials {
    if p.isFinal { commit(p.text) }
    else          { showPartial(p.text) }
}

// ストリームが終了したとき：
let trailing = try session.finalize()

VAD強制確定パターン

パイプライン内でSilero VADがすでに実行されている場合、背景ノイズがEOUデバウンスタイマーを停止できないように、フォールバックコミットを駆動するためにそれを使用します：

if hasPendingUtterance && !vadSpeechActive && vadSilentChunks >= 30 {
    // Sileroあたり約960 msの持続した無音
    if let forced = session.forceEndOfUtterance() {
        commit(forced.text)
    }
    hasPendingUtterance = false
}

// ガードレール：JointがすでにEOUを発火した場合は二重コミットしない
if partials.contains(where: { $0.isFinal }) {
    hasPendingUtterance = false
}

DictateDemo — macOSメニューバーリファレンスアプリ

DictateDemoは、ストリーミングセッションの上に構築された完全なmacOSメニューバーagentです。バックグラウンドアプリとして実行され、ライブ部分結果でマイクから文字起こしし、EOUまたはVAD無音で発話を自動コミットし、結果を最前面のアプリにペーストします。

• グローバルCmd+Shift+Dホットキーを備えたメニューバーアプリ
• フローティングHUDとオーディオレベルインジケーターを備えたライブ部分結果
• VAD保護付き強制確定（上記の本番パターン）
• Cmd+Shift+Vで最前面アプリへのペースト
• 初回起動時のモデル自動ダウンロード（約120 MB）

cd Examples/DictateDemo
swift build
.build/debug/DictateDemo

完全な実装はExamples/DictateDemo/DictateDemo/DictateViewModel.swiftにあります：ロック保護されたバッファを備えたメイン外の音声シンク、それを排出する300 msタイマーティック、残余サンプルキャリーオーバー付きSilero VAD、および保護付き強制確定。Examples/DictateDemo/Tests/DictateDemoTests.swiftの対応する回帰テストは、マルチ発話、スタックEOU、ノイズのある無音シナリオをカバーします。

ストリーミング vs バッチParakeet