תרגום מכונה · המקור באנגלית

Smart Turn – End-of-Turn Detection

p99 VAP - מודלים

Smart Turn v3.2 תשובות לשאלה אחת אחרי VAD דיווחי הפסקה: האם הדובר סיים, או האם הם באמצע התמימות?זה מקשיב לאדיו עצמו - פרוזודי, קצב, לאונציה - ולא תמליל, מכסה 23 שפות, ורץ פעם אחת על האחרון 8 השניות של הסבב הם הפיקט הרשמי Smart Turn v3.2 שחרור (BSD-2-Clause), התאספו ל CoreML עבור פלטפורמות Apple ויצוא ONNX לנאום Core.

איך זה עובד

Smart Turn אינו VAD ואינו מזהה דיבור על עצמו.זה מתווסף עם הזרמת Silero VAD

1. שאל פעם אחת הפסקה. כאשר Silero מאשר הפסקה (minSilenceDuration לאחר סף ההתחלה, המעבד מעביר את אודיו של התור עד כה - מ 0.5 s לפני VAD עלה אל החלק הנוכחי, החל האחרון 8 שניות.
2. Complete. Probability at or above threshold (0.5): .speechEnded שריפות כרגיל.
3. Hold. מתחת לסף הסעיף נשאר פתוח.אם הדובר חוזר, אותו קטע ממשיך - שום שנייה .speechStarted - וההפסקה הבאה אישרה שוב שואל עם התור הארוך יותר.
4. Silence cap. אם שתיקה מגיעה maxSilenceDuration (2.0 s, נמדדת מתחילת ההפסקה), הקטע מסתיים בכל מקרה, כך שדובר שדרכות עדיין מקבל תשובה. endTime

flush() מיישבים קטע קבוע בסוף הזרם ו reset() מנקה אותו: מתווך שזרק את הספירה כ"שלמה", כך שמודל כושל אף פעם לא דוחף את השיחה. isHoldingTurn דיווח על המדינה ו lastTurnCompletionProbability התשובה האחרונה.

מודל מודל

היצוא הטמיע את Whisper קדמית, כולל הנרמל גלפוריזציה מודל upstream היה מאומן עם, ולכן קוראנים עוברים אודיו גולמי - אין מיצוי תכונה Swift או C++.

ביצועי ביצועים

הדיוק נמדד 1,000 קליפים מהמבחן upstream; CoreML ו fp32 ONNX היצוא תואם את Upstream fp32 מודל בדיוק על קליפים אלה.לאטי הוא אחד 8חלון שני על Apple M5 קריאה אחת לעצירה לא מוסיפה שום דבר בולט להפסקה VAD כבר מחכה.

Swift API

One-shot Check on a Record:

import SpeechVAD

let turn = try await SmartTurnModel.fromPretrained()
try turn.prewarm()   // compile the graph before the first real pause

let probability = try turn.turnCompleteProbability(
    audio: utterance, sampleRate: 16_000)
if probability >= SmartTurnModel.defaultThreshold {
    // finished turn — reply now
}

המצורף לסטרימינג VAD, כך שכל הפסקה מאושרת נבדקת לפני שקטע מסתיים:

let vad = try await SileroVADModel.fromPretrained(engine: .coreml)
let turn = try await SmartTurnModel.fromPretrained()

let processor = StreamingVADProcessor(
    model: vad,
    config: .sileroDefault,
    turnCompletion: turn,
    turnCompletionConfig: TurnCompletionConfig(threshold: 0.5, maxSilenceDuration: 2.0))

for chunk in microphoneChunks {            // Float32 @ 16 kHz
    for event in processor.process(samples: chunk) {
        switch event {
        case .speechStarted(let time): print("speech at \(time)s")
        case .speechEnded(let segment): print("turn \(segment.startTime)–\(segment.endTime)s")
        }
    }
}
let remaining = processor.flush()

SmartTurnModel תואם ל TurnCompletionProvider פרוטוקול AudioCommon, כך שכל מסווג אחר עם אותה צורה יכול להיות מחובר במקום. fromPretrained(cacheDir:offlineMode:)

תגית: Pink

VoicePipeline לוקח את אותו מתווך, כך סוכן קול מפסיק לחתוך אנשים ללא כל שינוי STT, TTS או VAD ההתקנה. PipelineConfig שדות ושיט אחד בו; הם דורשים speech-swift v0.0.27 או מאוחר יותר (SpeechCore.xcframework from speech-core v0.0.14).

import SpeechCore
import SpeechVAD

let smartTurn = try await SmartTurnModel.fromPretrained()
try smartTurn.prewarm()

var config = PipelineConfig()
config.turnCompletionThreshold = 0.5   // pause ends the turn when p >= this
config.turnCompletionMaxSilence = 2.0  // seconds of silence that end a held turn anyway; 0 = never

let pipeline = VoicePipeline(stt: stt, tts: tts, vad: vad, config: config, onEvent: { print($0) })
pipeline.setTurnCompletion(smartTurn)   // before start(); nil detaches
pipeline.start()

עם מתווך המצורף, הפסקה VAD רק מסתיימת התור של המשתמש כאשר ההסתברות מגיעה לסף; מתחתיו הצינור ממשיך להקשיב, דיבור חוזר ממשיך את אותו תור (לא שנייה). speechStartedוכן) turnCompletionMaxSilence מסתיים התור המתקיים בכל מקרה, Eager STT מכבד את וטו, ואת המסווג רץ פעם הפסקה על חוט אודיו, אז התקשר. prewarm() לאחר טעינה.

כוונון

Silero של minSilenceDuration עדיין מחליט מתי הפסקת אישור, ולכן כאשר המגדיר מתבקש.Call prewarm() לאחר טעינה כך הפסקה האמיתית הראשונה אינה משלמת עבור איסוף.

CLI Usage

# Probability, complete/incomplete verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Local bundle, no download
speech turn utterance.wav --model-dir ~/smart-turn-coreml

# Streaming VAD with Smart Turn confirming each pause; mid-sentence pauses merge
speech vad-stream call.wav --smart-turn
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

speech turn לטעון את הקובץ (כל שיעור הדגימה), מעלה את 8 השניות האחרונות ומדפיס את ההסתברות, בין אם זה מנקה את הסף, ואת זמן ההפרעה. השתמש בו כדי לכוון את הסף על הקלטות משלך. רשימת הדגל המלא היא ב I Reference.

C++ / Android

נאומים קוויים זהים לדגם OnnxSmartTurn עבור Linux, Windows ו- Android (ONNX Runtime בלבד; אין גרסה LiteRT). VoicePipeline::set_turn_completion() נספח אותו לפני start()הפסקה VAD מסתיימת רק את התור של המשתמש כאשר ההסתברות מגיעה. turn_completion_threshold (0.5) turn_completion_max_silence (2.0) מסיים את התור המתקיים בכל מקרה.ה-C API חושף את אותו המיזוג כמו sc_turn_completion_vtable_t + sc_pipeline_set_turn_completion()לכן, Kotlin או Swift מארחים יכולים לגשר על המסווג שלהם כמו VAD.

#include <speech_core/models/onnx_smart_turn.h>

speech_core::OnnxSmartTurn model("/models/smart-turn-v3.2-int8.onnx");

// Audio of the turn so far at any rate (resampled to 16 kHz internally).
float p = model.turn_complete_probability(turn.data(), turn.size(), rate);

// Or let the pipeline ask it on every VAD pause (before start()).
pipeline.set_turn_completion(&model);

speech CLI of Speech Core מציג הקלטה דומה ל- macOS:

speech download-models        # fetches the int8 graph with the other ONNX models
speech turn recording.wav --threshold 0.5 --json

מודל קבצים, C API החוזה וה-CLI מתועדים דיבור Core דף ובתוך ה-Repository docs/מודלים.

דגם Downloads

מקור Source

• מקורות / SpeechVAD — SmartTurnModel ו StreamingVADProcessor
• docs/מודלים / smart-turn-v3.md - מציין מודל
• docs/inference/Smart-turn.md - הקצאות והכוונון
• speech-core docs/דגמים.md OnnxSmartTurn
• Upstream: pecat-ai/Smart-turn / pipecat-i/smart-turn-v3 (Daily / Pipecat, BSD-2-Clause