Smart Turn — определение конца реплики

Smart Turn v3.2 отвечает на один вопрос после того, как VAD сообщил о паузе: говорящий закончил или остановился посреди фразы? Модель слушает сам звук — просодию, темп, интонацию — а не транскрипт, поддерживает 23 языка и запускается один раз на паузу на последних 8 секундах реплики. Веса — официальный релиз Pipecat Smart Turn v3.2 (BSD-2-Clause), скомпилированный в CoreML для платформ Apple и экспортированный в ONNX для Speech Core.

Как это работает

Smart Turn — не VAD и сам речь не обнаруживает. Он работает в паре с потоковым Silero VAD, который решает, когда задать вопрос. С подключённым классификатором подтверждённая пауза становится вопросом, а не вердиктом:

1. Один запрос на паузу. Когда Silero подтверждает паузу (minSilenceDuration после порога offset), процессор передаёт классификатору звук реплики на этот момент — от 0,5 с до начала речи по VAD и до текущего чанка, не более последних 8 секунд.
2. Завершено. Вероятность не ниже threshold (0,5): .speechEnded срабатывает как обычно.
3. Удержание. Ниже порога сегмент остаётся открытым. Если говорящий продолжает, тот же сегмент продолжается — без второго .speechStarted, — а следующая подтверждённая пауза снова задаёт вопрос уже с более длинной репликой.
4. Предел тишины. Если тишина достигает maxSilenceDuration (2,0 с, считая от начала паузы), сегмент всё равно завершается, так что говорящий, который замолкает на полуслове, тоже получает ответ. endTime сегмента — момент, когда прекратилась речь, а не когда истёк предел.

flush() завершает удерживаемый сегмент в конце потока, reset() сбрасывает его. Классификатор, выбросивший ошибку, считается ответившим «завершено», поэтому сбой модели никогда не останавливает разговор. isHoldingTurn сообщает о состоянии удержания, lastTurnCompletionProbability — последний ответ.

Модель

В экспорты встроен log-mel фронтенд Whisper, включая нормализацию сигнала, на которой обучалась исходная модель, поэтому на вход подаётся сырой звук — извлечения признаков в Swift или C++ нет.

Производительность

Точность измерена на 1 000 клипах из исходного тестового набора; экспорты CoreML и ONNX fp32 на этих клипах в точности совпадают с исходной fp32-моделью. Задержка — одно окно 8 секунд на Apple M5 Pro. Один вызов на паузу не добавляет ничего заметного к паузе, которую VAD уже выждал.

Swift API

Разовая проверка записанного высказывания:

import SpeechVAD

let turn = try await SmartTurnModel.fromPretrained()
try turn.prewarm()   // compile the graph before the first real pause

let probability = try turn.turnCompleteProbability(
    audio: utterance, sampleRate: 16_000)
if probability >= SmartTurnModel.defaultThreshold {
    // finished turn — reply now
}

Подключение к потоковому VAD — каждая подтверждённая пауза проверяется до завершения сегмента:

let vad = try await SileroVADModel.fromPretrained(engine: .coreml)
let turn = try await SmartTurnModel.fromPretrained()

let processor = StreamingVADProcessor(
    model: vad,
    config: .sileroDefault,
    turnCompletion: turn,
    turnCompletionConfig: TurnCompletionConfig(threshold: 0.5, maxSilenceDuration: 2.0))

for chunk in microphoneChunks {            // Float32 @ 16 kHz
    for event in processor.process(samples: chunk) {
        switch event {
        case .speechStarted(let time): print("speech at \(time)s")
        case .speechEnded(let segment): print("turn \(segment.startTime)–\(segment.endTime)s")
        }
    }
}
let remaining = processor.flush()

SmartTurnModel реализует протокол TurnCompletionProvider из AudioCommon, поэтому вместо него можно подключить любой другой классификатор той же формы. fromPretrained(cacheDir:offlineMode:) следует тем же правилам кэша и офлайн-режима, что и остальные модели.

VoicePipeline

VoicePipeline принимает тот же классификатор, поэтому голосовой агент перестаёт перебивать людей без изменений в настройке STT, TTS или VAD. Подключение — два поля PipelineConfig и один метод; требуется speech-swift v0.0.27 или новее (SpeechCore.xcframework из speech-core v0.0.14).

import SpeechCore
import SpeechVAD

let smartTurn = try await SmartTurnModel.fromPretrained()
try smartTurn.prewarm()

var config = PipelineConfig()
config.turnCompletionThreshold = 0.5   // pause ends the turn when p >= this
config.turnCompletionMaxSilence = 2.0  // seconds of silence that end a held turn anyway; 0 = never

let pipeline = VoicePipeline(stt: stt, tts: tts, vad: vad, config: config, onEvent: { print($0) })
pipeline.setTurnCompletion(smartTurn)   // before start(); nil detaches
pipeline.start()

С подключённым классификатором пауза VAD завершает реплику пользователя, только если вероятность достигает порога; ниже него конвейер продолжает слушать, возобновившаяся речь продолжает ту же реплику (без второго speechStarted), а turnCompletionMaxSilence всё равно завершает удерживаемую реплику. Eager STT подчиняется этому вето, а классификатор выполняется один раз на паузу в аудиопотоке, поэтому после загрузки вызовите prewarm().

Настройка

minSilenceDuration у Silero по-прежнему решает, когда пауза считается подтверждённой, а значит, когда опрашивать классификатор. После загрузки вызовите prewarm(), чтобы первая реальная пауза не тратила время на компиляцию графа.

Использование CLI

# Probability, complete/incomplete verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Local bundle, no download
speech turn utterance.wav --model-dir ~/smart-turn-coreml

# Streaming VAD with Smart Turn confirming each pause; mid-sentence pauses merge
speech vad-stream call.wav --smart-turn
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

speech turn загружает файл (любая частота дискретизации), оценивает последние 8 секунд и выводит вероятность, пройден ли порог, и время инференса. Используйте его, чтобы подобрать порог на собственных записях. Полный список флагов — в справочнике CLI.

C++ / Android

Speech Core поставляет ту же модель как OnnxSmartTurn для Linux, Windows и Android (только ONNX Runtime; варианта LiteRT нет). VoicePipeline::set_turn_completion() подключает её до start(); после этого пауза VAD завершает реплику пользователя, только если вероятность достигает turn_completion_threshold (0,5), а turn_completion_max_silence (2,0 с) всё равно завершает удерживаемую реплику. C API предоставляет тот же хук через sc_turn_completion_vtable_t + sc_pipeline_set_turn_completion(), так что хосты на Kotlin или Swift могут подключить собственный классификатор так же, как VAD.

#include <speech_core/models/onnx_smart_turn.h>

speech_core::OnnxSmartTurn model("/models/smart-turn-v3.2-int8.onnx");

// Audio of the turn so far at any rate (resampled to 16 kHz internally).
float p = model.turn_complete_probability(turn.data(), turn.size(), rate);

// Or let the pipeline ask it on every VAD pause (before start()).
pipeline.set_turn_completion(&model);

CLI speech из Speech Core оценивает запись так же, как на macOS:

speech download-models        # fetches the int8 graph with the other ONNX models
speech turn recording.wav --threshold 0.5 --json

Файлы модели, контракт C API и CLI описаны на странице Speech Core и в docs/models.md репозитория.

Загрузки модели

Исходники

• Sources/SpeechVAD — SmartTurnModel и StreamingVADProcessor
• docs/models/smart-turn-v3.md — заметки о модели
• docs/inference/smart-turn.md — инференс и настройка
• speech-core docs/models.md — OnnxSmartTurn
• Исходная модель: pipecat-ai/smart-turn / pipecat-ai/smart-turn-v3 (Daily / Pipecat, BSD-2-Clause)