Misurare gli agenti vocali: turni di conversazione, chiamate a strumenti e parlato espressivo

Tre misure per tre decisioni

Misurare queste tre abilità separatamente. Un assistente può aspettare che finisca di parlare e scelga ancora lo strumento sbagliato. Può anche parlare chiaramente mentre manca l'emozione o lo stile che hai chiesto.

Abbiamo eseguito i modelli locali su un Apple M5 Pro con 48 GiB di memoria. Per i servizi cloud, abbiamo testato le versioni del modello e le impostazioni elencate nei risultati.

Ogni sezione spiega quante registrazioni abbiamo utilizzato, quali lingue abbiamo testato e tutti i risultati ancora in fase di verifica, che ti aiutano a confrontare i punteggi.

TurnBench: quando una pausa è una fine di svolta

TurnBench distingue un altoparlante che termina da una pausa all’interno di un giro, distingue anche un’interruzione da un backchannel come “mm-hmm”.

Abbiamo utilizzato le registrazioni di sviluppo pubblico di TurnBench e il suo codice di punteggio. La tabella mostra le dimensioni di esecuzione per ogni modello. La classifica ufficiale utilizza un set di test separato.

Richiamo. è la quota di turni reali che termina il modello rileva. FPR (tasso falso-positivo) è la quota di pause etichettate all'interno di un turno che tratta in modo errato come la finitura del diffusore.

Il nostro leaderboard ordina modelli per Youden’s J (J = richiamo − FPR), visualizzato come J ×100; maggiore è migliore. Test leader ufficiale classifica i modelli per richiamo, mettendo quelli con un FPR sopra 15% sotto quelli che soddisfano il limite.

VAP ha il più alto J di Youden nel nostro confronto a cinque conversazioni: 88.2% richiama e 7.4% FPR. Mimi fa meno falsi rilevamenti, a 2.0%, ma cattura meno finali di turno e richiede più tempo per decidere.

VAP (Proiezione Attività Voce) ascolta entrambi i diffusori su canali audio separati e predicono la loro prossima attività di discorso, che utilizza la recente conversazione per stimare se l'oratore corrente continuerà o consegnerà all'altra persona. Ricerca su VAP mostra che impara a usare i cues nella voce, come il passo e il ritmo.

La versione che abbiamo eseguito è stata ulteriormente addestrata su 104 ore di conversazione audio da OtoSpeechLa nostra interpretazione è che questa formazione e la sua visione di entrambi i relatori contribuiscono a spiegare il suo forte risultato nel nostro confronto.

Abbiamo anche testato il downloadable p99 CoreML modello ed entrambi VAP esportazioni su due conversazioni di sviluppo: 148 girare le terminazioni e 94 si ferma all'interno di un turno, utilizzando politiche di decisione fissa. p99 catturato 134 terminazioni con 15 falsi rilevamenti; entrambi VAP esportazioni catturate 124 con due false scoperte. Ogni esportazione ha preso le stesse decisioni dell'evento come il suo checkpoint originale. protocollo di convalida La riga VAP mantiene la più grande corsa a cinque conversazioni.

Il p99 CoreML e VAP CoreML modelli hanno speech-swift API. VAP ONNX corre attraverso il C++ e Android I tempi di fuga. Guida all'integrazione copre i download e gli input audio. La tua applicazione imposta la politica di risposta.

SLURP: scegliere un'azione da comandi parlati

SLURP Nel nostro test di routing, ogni registrazione viene fornita con dieci azioni candidate e un'opzione no-action.

Il nostro 1,000-registrare la configurazione include 810 richieste con l'azione corretta disponibile e 190 Con questa azione, non ci aspettiamo alcuna azione su coloro che 190 Questo verifica se il modello declina una richiesta quando la sua azione non è disponibile.

La maggior parte dei sistemi utilizza le registrazioni 1,000, tra cui l'audio a distanza ravvicinata e a campo lontano. La precisione estrema-mic misura le scelte corrette sulle registrazioni effettuate da lontano, quando lo strumento richiesto è disponibile. Chiamate nonostante uno strumento mancante Conta le richieste in cui il sistema ha restituito un'azione anche se lo strumento annotato era assente. Inserire le registrazioni a distanza e a distanza, e non misura l'attivazione dal discorso di sfondo o dal silenzio.

Il locale Parakeet → Gemma 4 E2B raggiungere la 75.2% accuratezza lungimirante, vicino a Nova 75.9% e dietro GPT Audio’s 83.0%. Ma sul 190 richieste il cui strumento corretto non era disponibile, Gemma ancora ha scelto un'azione 88 tempi: il suo 46.3% Un esempio è stato “eliminare l’oggetto”: con la rimozione dell’elenco non disponibile, ha scelto la rimozione del calendario. 88 richieste il cui strumento corretto è stato disponibile e selezionato lo strumento sbagliato su un altro 69.

Jev e GLiNER entrambi scelgono lo strumento corretto su 311 del 423 le richieste avanzate, dando 73.5% accuratezza. Il loro comportamento cambia quando manca lo strumento corretto: Jev sceglie ancora un'azione 22 di 190 richieste (11.6%), mentre GLiNER lo fa 74 (39.0%). Ad esempio, GLiNER ha interpretato una richiesta di abbassare il volume dell'altoparlante come una luce quando lo strumento di volume era assente. Questi esempi hanno selezionato un'azione diversa da quella richiesta. Le descrizioni degli strumenti più ampie possono anche sovrapporre: una richiesta di ricetta può essere inviata ad uno strumento di cottura generale. Il nostro conteggio segue l'intento annotato, quindi non stabilisce che ogni alternativa fosse semanticamente irragionevole.

Nova ha il punteggio più alto per abbinare sia lo strumento che tutti i valori di argomento richiesti: 45.4%o 368 di 810 richieste supportate. Ha scelto lo strumento corretto su 643 richieste, ma gli argomenti non sono riusciti a risolvere il problema 275 di quelli. In 147 casi i valori differiscono dal riferimento; altri 128 omesso almeno un argomento, a volte accanto a differenze di valore.

Il valore più frequente è stato un tempo, che appare in 34 di quei casi. Abbiamo anche visto le date mancanti e campi misnamed. Per una richiesta di allarme che includeva “questa settimana,” Nova ha restituito il tempo ma ha lasciato fuori la data. Alcuni errori sono parole differenze: “lasagna” non corrisponde al riferimento “lasagne” sotto questo rigoroso confronto di testo.

InstructTTSEval: la consegna ha le sue modalità di guasto

Per InstructTTSEval, teniamo fisso lo script parlato e generiamo clip separati utilizzando tre tipi di istruzioni:

• APS (Acoustic-Parameter Specification) dà impostazioni vocali dettagliate, come pitch, pace, volume e texture vocale. Ad esempio: “Piacere basso, ritmo lento, volume morbido e una voce leggermente traspirante.”
• DSD (direttiva descrittiva-stile) descrive la consegna in lingua naturale, lasciando aperte alcune caratteristiche vocali, ad esempio: “Parla con calore e rassicurazione”.
• RP (Role-Play) dà un carattere o una situazione e chiede al modello di deferire il suono. Ad esempio: “Sei un medico che conforta un paziente ansioso.”

La percentuale per ogni tipo mostra quanto spesso il discorso generato ha seguito tale istruzione.

La coorte più grande contiene 25 Inglese e inglese 25 Linee di origine cinese, tre controlli ciascuno: 150 clip per sistema. Nova copre il 25 Linee inglesi, con 75 controlli. Nel complesso sono i passaggi totali divisi per i controlli totali; con dimensioni di attività uguali, è il mezzo di APS, DSD e RP. Gemini Pro giudice fornisce i verdetti di stile, mentre la trascrizione controlla le parole parlate separatamente.

Registrazioni originali sono l'audio sorgente umana del benchmark. Li segnamo con le stesse istruzioni e il giudice utilizzato per il 150- il controllo corre per dare alle voci sintetizzate un punto di riferimento. 73.3% significa il giudice accettato 110 di 150 controlli di istruzioni.

Sulla corrispondenza 150- Controlla la coorte. FireRedTTS3-Instruct punteggi 65.3% e punteggio MOSS-VoiceGenerator 56.0%. Google’s TTS risultati 67.3%. Sulla 75 Controlli in inglese, FireRed 72.0%, MOSS 52.0% e Google 72.0%. VoxCPM2’ BF16 rimane in pista 59.3%; il suo risultato di gioco di ruolo, 46.0%, è più debole della sua voce-descrizione e dei risultati della direzione. Qwen Punteggi di checkpoint personalizzatiVoice 52.7%, contro 48.0% per il più piccolo run sperimentale-input. La dimensione da solo non ha determinato il punteggio.

Il nostro ElevenLabs la conversione di istruzione-to-tag è sceso richiesto il canto e alcuni cambiamenti di emozione. CosyVoice3 fallito il controllo word-content su 48 di 50 Le clip APS; la sua configurazione di generazione hanno anche omesso condizionamenti di riferimento presenti nell'implementazione ufficiale.Queste questioni hanno ancora bisogno di una validazione corretta dell'ingresso. Il corretto funzionamento del pesce e diverse altre righe contengono risposte di giudizio che sostenevano l'audio non era disponibile; conserviamo questi verdetti e segnamo le righe interessate provvisorie. Questi sono i risultati per i nostri porti, adattatori di ingresso e giudizio, piuttosto che una scoperta che un modello upstream ha gli stessi limiti in ogni implementazione.

La maggior parte dei guasti sulle registrazioni umane sono in gioco di ruolo: 29 di 50 assegni falliscono, rispetto a otto per APS e tre per DSD. Una registrazione reale può adattarsi a una descrizione vocale dettagliata ma non corrisponde al ruolo assegnato ad esso, e il giudice può anche fare errori. La riga di riferimento ci aiuta a interpretare i punteggi di istruzioni; non valuta la qualità del discorso umano.

Il design vocale può essere un backend di sintesi

Checkpoint Voce di Qwen CustomVoice applica invece le indicazioni per una voce preimpostata selezionata. Il checkpoint e la materia del canale di controllo: un campo chiamato “istruzioni” non dà a un modello una capacità che non è mai stata addestrata per usare.

Abbiamo testato Qwen3-TTS 1.7B VoiceDesign e Breeze TTS 2 sulle stesse cinque fonti inglesi e cinque cinesi, dando 30 Quattro controlli di calibrazione sono al di fuori dei loro punteggi, abbiamo mantenuto tutti gli output, tra cui una bandiera parlata per modello.

VoiceDesign superato 23/30 controlli e controlli Breeze passato 20/30. Con dieci registrazioni di origine condivise tra le tre attività, questa è una schermata di sviluppo. 10- la differenza di punto ha un ampio intervallo di sorgente-cluster che include zero. L'impostazione del giudice differisce anche dalla più grande coorte, quindi il pilota non stabilisce che VoiceDesign esibisce Google’s 67.3% risultato.

FireRedTTS3-Instruct e MOSS-VoiceGenerator ora ognuno ha 150 controlli di stile nella tabella sopra. Il controllo dei contenuti separato contrassegnato 0/150 Clips e clip FireRed 12/150 MOSS clip per errore di parola sopra 30%. I loro campioni di runtime a breve termine rimangono nello spazio. Prima PCM disponibile era circa 4.50 s per FireRed e 0.47 per la MOSS sul caldo script inglese; FireRed restituisce una forma d'onda completa mentre MOSS streams. Quei tempi non stabiliscono la qualità delle istruzioni o una classifica di qualità corrispondente. Latenza attuale e la certificazione di memoria rimane inconcludente.

La ricerca svolta richiede ora più di un punto finale

Istantanea di ricerca: 30 Ottobre 2026. scheda ufficiale TurnBench include nuove sottomissioni oltre le basi originali della carta. p99 sistema di scrittura descrive i parametri appresi di 6.1 milioni, le teste di classificazione extra e una politica di svolta che utilizza entrambi i canali audio. Scaricare Apache 2.0 contiene il modello mono 5.3-milioni-parametro, il nostro tavolo girevole include il checkpoint scaricabile.

LiveKit’s eot-bench completa questo con reale umano-età si trasforma in 14 Questo è un utile passo avanti per un prodotto multilingue perché una soglia che funziona in inglese non deve essere adatta a un'altra lingua.

MultiParty TurnBench, presentato questo mese, espande il controllo del pavimento a due a cinque altoparlanti. I suoi autori segnalano forti prestazioni di turn-entry insieme a una gestione di interruzione selettiva di prossimità per gli agenti valutati. Le sue conversazioni generate forniscono test controllati, con controlli audio reali necessari accanto a loro.

Full-Duplex-Bench v3 coppie discorso disfluente reale con chiamate di strumenti incatenate, esponendo autocorrezioni e guasti multi-passo. Duplex Atto, anche presentato questo mese, valuta le azioni di interazione e se l'agente segue attraverso. Vediamo questi come test complementari per il divario tra il rilevamento di un evento e il completamento di un'interazione utile.

Sintesi privata, doppiaggio diretto e scelte vocali in inglese

Soniqo’s runtime privato e SDKs on-device

Per una scena narrata, l’applicazione può specificare la calma rassicurazione o l’urgenza crescente piuttosto che inferire un’emozione e cambiare le prestazioni senza il controllo di un regista. Un flusso di lavoro di doppiaggio ha anche bisogno di tempistiche, continuità di altoparlanti e una recensione di ascolto; i tre benchmark sopra non certificano che il flusso di lavoro completo.

Le scelte vocali in inglese includono Voci preset americane e britanniche nel Kokoro I backends stile-aware aggiungono i brief vocali in lingua naturale. La selezione preimpostata, il design vocale e la clonazione sono controlli distinti e il supporto varia da modello. Un accento regionale richiesto ha bisogno di valutazione con gli ascoltatori familiari con tale varietà; la precisione di trascrizione e la somiglianza dei diffusori non stabiliscono l'autenticità.

Con un backend locale e un modello di asset forniti, la sintesi può rimanere nell’ambiente di distribuzione. L’esatta scelta di distribuzione e modello dipende dall’hardware di destinazione e dai termini del modello. I dati di riferimento solo per la ricerca e i pesi dei modelli ristretti non sono una licenza commerciale coperta.

Le scelte che queste misure supportano

• Scegli una politica di svolta per il suo punto operativo. Nella nostra fetta di dev, VAP e Mimi offrono diversi ritratti, contrassegni falsi e ritardi.
• Contare le richieste complete degli strumenti. Nella nostra configurazione di dieci azioni, Nova ha scelto lo strumento corretto su richieste supportate da 643; 368 aveva anche argomenti di corrispondenza.
• Consegna del test per tipo di istruzione. Role-play è un'area più debole in diverse piste: il pilota di VoiceDesign garantisce un confronto più ampio, piuttosto che una rivendicazione di un nuovo vincitore generale.

Le nostre prossime misurazioni utili sono una più grande coorte di VoiceDesign con un giudizio abbinato, un endpoint multilingue a tassi di cutoff fissi, e test di interazione che portano una correzione attraverso la chiamata finale dello strumento.

Leggi il testo risultati e protocolli dal vivo, esplorare speech-swifto discutere di distribuzione privata. Le tabelle sopra conservano le dimensioni e le impostazioni di esecuzione dall'istantanea collegata.