Măsurarea agenților vocali: alternarea replicilor, apeluri de instrumente și vorbire expresivă

Trei măsurători pentru trei decizii

Măsurăm aceste trei abilități separat. Un asistent poate aștepta pentru tine să termini de vorbit și încă să alegi instrumentul greșit. De asemenea, poate vorbi clar în timp ce lipsește emoția sau stilul pe care l-ai cerut.

Am rulat modelele locale pe un Apple M5 Pro cu 48 GiB de memorie. Pentru serviciile de cloud, am testat versiunile și setările model enumerate în rezultate.

Fiecare secțiune explică câte înregistrări am folosit, care limbi am testat și orice rezultate încă sunt verificate. Aceste detalii vă ajută să comparați scorurile.

TurnBench: atunci când o pauză este un capăt turn

TurnBench Deosebește un vorbitor de o pauză în interiorul unui turn. De asemenea, distinge o întrerupere de un backcanal, cum ar fi

Am folosit înregistrările de dezvoltare publică TurnBench și propriul cod de notare. Tabelul arată dimensiunea de rulare pentru fiecare model. Liderul oficial folosește un set de testare separat.

Rechemare este cota de finaluri reale turn reale detectează modelul. FPR (rata fals-pozitivă) este partea din pauzele etichetate într-o curbă pe care o tratează incorect ca fiind finisarea vorbitorului.

Ordinele noastre de top modele de Youdeni J (J = rechemare − FPR), afișată ca J ×100; mai mare este mai bună. clasament oficial de încercare Rânduri modele de rechemare, plasarea celor cu un FPR deasupra 15% sub cele care îndeplinesc limita.

VAP are cele mai mari Youden ți J în comparație noastră de cinci conversații: 88.2% rechemare și 7.4% FPR. Mimi face mai puține detectii false, la 2.0%, dar prinde mai puține finaluri turn și ia mai mult timp pentru a decide.

VAP (Proiecţie de activitate vocală) ascultă ambii vorbitori pe canale audio separate și prezice activitatea lor de vorbire viitoare. Folosește conversația recentă pentru a estima dacă vorbitorul curent va continua sau preda celeilalte persoane. Cercetare privind VAP arată că învață să folosească indicii în voce, cum ar fi pas și ritm.

Versiunea pe care am rulat-o a fost antrenată în continuare pe 104 ore de audio conversațional de la otoSpeech. Interpretarea noastră este că această formare și punctul său de vedere de ambii vorbitori ajută la explicarea rezultatului său puternic în comparație noastră.

Am testat de asemeni şi descărcabilul. p99 CoreML model și ambele VAP exporturi pe două conversații de dezvoltare: 148 Finaluri de rotire și 94 pauzele se opresc într-un viraj, folosind politici de decizie fixe. p99 prins. 134 se încheie cu 15 detectarea falsă; ambele VAP exporturi capturate 124 Fiecare export a luat aceleaşi decizii ca şi punctul său de control original. Protocolul de validare înregistrează intrările și reducerile. Rândul VAP păstrează cursa de cinci conversații mai mare.

ă p99 CoreML şi VAP CoreML modele au speech-swift API. VAP ONNX trece prin C++ şi Android Runtimes. ghid de integrare acoperă descărcările și intrările audio. Aplicația setează politica de răspuns.

SLURP: alegerea unei acțiuni din comenzile vorbite

SLURP conține cereri de acasă-asistent vorbite cu o acțiune adnotată și valorile argumentului. În testul nostru de rutare, fiecare înregistrare vine cu zece acțiuni candidate și o opțiune de non-acțiune.

Al nostru 1,000-inregistrarea configuratiei include 810 cereri cu acțiunea corectă disponibilă și 190 Nu ne aşteptăm la nicio acţiune asupra celor care au fost arestaţi. 190 solicită. Aceasta verifică dacă modelul refuză o cerere atunci când acțiunea sa nu este disponibilă.

Cele mai multe sisteme folosesc înregistrări 1,000, inclusiv aproape-talk și audio de câmp. Precizia extrem de mică măsoară alegeri corecte privind înregistrările făcute de la distanță, atunci când instrumentul solicitat este disponibil. Apeluri în ciuda lipsei unui instrument numără cererile în cazul în care sistemul a returnat o acțiune, chiar dacă instrumentul adnotat a fost absent. Acesta piscine aproape-talk și înregistrări pe teren îndepărtat, și nu măsoară activarea de fundal discurs sau tăcere. Tabelul arată numărul exact.

Localnicii Parakeet → Gemma 4 E2B ajunge la conducta 75.2% acuratețe extrem de mică, aproape de Nova 75.9% și în spatele GPT Audio 83.0%Dar pe 190 cereri ale căror instrumente corecte nu au fost disponibile; Gemma încă a ales o acțiune 88 ori: 46.3% rata de inactivare falsa. Un exemplu a fost 88 cereri al căror instrument corect a fost disponibil și a selectat instrumentul greșit pe un alt 69.

Jev și GLINER ambele alege instrumentul corect pe 311 al 423 a sprijinit cererile extrem de mici, oferind 73.5% precizie. Comportamentul lor se schimbă atunci când instrumentul corect lipsește: Jev încă alege o acțiune pe 22 din 190 cereri (11.6%), în timp ce GLINER face acest lucru pe 74 (39.0%) De exemplu, GLINER a interpretat o cerere de reducere a volumului difuzorului ca dimming o lumină atunci când instrumentul de volum a fost absent. Aceste exemple au selectat o acțiune diferită de cea solicitată. Descrierile de instrumente mai largi se pot suprapune de asemenea: o cerere de rețetă poate fi trimis la un instrument general de gătit. Contele nostru urmează intenția adnotată, astfel încât nu se stabilește că orice alternativă a fost semantic nerezonabil.

Nova are cel mai mare scor pentru potrivirea atât a instrumentului cât și a tuturor valorilor argumentului necesar: 45.4%, sau 368 de cereri 810 susținute. A ales instrumentul corect la cererile 643 dar argumentele au eșuat în meciul 275 dintre acestea. În cazurile 147 valorile au diferit de referință; un alt 128 a omis cel puțin un argument, uneori alături de diferențele de valoare.

Cea mai frecventa nepotrivire de valoare a fost un timp, care apare în 34 a acestor cazuri. Am văzut, de asemenea, date lipsă și câmpurile de nume greșite. Pentru o cerere de alarmă care a inclus

InstructTTSEval: livrarea are propriile moduri de eșec

Pentru InstructTTSEval, păstrăm scriptul vorbit fix și generăm clipuri separate folosind trei tipuri de instrucțiuni:

• APS (specificație privind parametrul acustic) oferă setări de voce detaliate, cum ar fi smoală, ritm, volum și textura vocală. De exemplu:
• DSD (Directiva privind stilul descriptiv) descrie livrarea în limba naturală, lăsând unele trăsături vocale deschise. De exemplu:
• RP (Role-Play) oferă un caracter sau o situație și solicită modelului să inferă cum să sune. De exemplu: ?Ești un medic confort un pacient anxios.

Procentajul pentru fiecare tip arată cât de des vorbirea generată a urmat această instrucţiune.

Cohorta mai mare conţine linii de surse chinezeşti 25 şi 25, trei verificări fiecare: clipuri 150 per sistem. Nova acoperă liniile englezeşti 25 cu controale 75. Per total este pase totale împărţite la controale totale; cu dimensiuni de sarcină egale, este media APS, DSD şi RP. A salvat Gemini Pro judecător furnizează verdictele stil, în timp ce transcrierea verifică separat cuvintele vorbite.

Înregistrări originale sunt de referinţă a audio sursa umana. Le înscriem cu aceleaşi instrucţiuni şi judecător utilizate pentru 150- Verificați ruleaza pentru a da vocile sintetizate un punct de referință. 73.3% inseamna ca judecatorul acceptat 110 din 150 controale de instruire.

Pe potrivire 150- verifică cohorta, FireRedTTS3-Instruct scoruri 65.3% și scoruri MOSS-VoiceGenerator 56.0%. Google TTS a alerga scoruri 67.3%Pe... 75 Controale în limba engleză, scoruri FireRed 72.0%, MOSS 52.0% și Google 72.0%. VoxCPM2S BF16 run ramâne la 59.3%; rezultatul său de joc de rol; 46.0%, este mai slab decât voce-descrierea și rezultatele sale direcție. Qwen Scoruri la punctul de control personalizat 52.7%, versus 48.0% numai dimensiunea nu a determinat scorul.

Al nostru ElevenLabs Reconversia de instruire-to-tag a scăzut şi a cerut cântat şi unele schimbări emoţionale. CosyVoice3 a eșuat verificarea conținutului de cuvânt pe 48 din 50 Clipuri APS; configurarea sa de generaţie omisă, de asemenea, condiţionarea de referinţă prezente în implementarea oficială. Aceste probleme încă mai au nevoie de validare corectată-input. Fish

Cele mai multe eșecuri pe înregistrările umane sunt în rol-joc: 29 de controale 50 nu reușesc, comparativ cu opt pentru APS și trei pentru DSD. O înregistrare reală poate potrivi o descriere detaliată a vocii, dar nu se potrivește cu rolul atribuit acestuia, și judecătorul poate face, de asemenea, greșeli. rândul de referință ne ajută să interpreteze scoruri de instruire; nu rata calitatea discursului uman.

Designul vocii poate fi un suport de sinteză

Qwen generează o voce dintr-o descriere scrisă. CustomVoice aplică în schimb direcții la o voce presetată selectată. Punctul de control și materialul canalului de control: un câmp numit

Am testat. Qwen3-TTS 1.7B Design vocal și Breeze TTS 2 pe aceeași cinci engleză și cinci surse chineze, oferind 30 Am păstrat toate ieşirile, inclusiv un steag pentru fiecare model.

Design vocal trecut 23/30 controale și Breeze Trecut 20/30. Cu zece înregistrări sursă împărtășite pe cele trei sarcini, acesta este un ecran de dezvoltare. 10-diferența punct are un interval larg de sursă-cluster care include zero. Setarea judecătorului diferă, de asemenea, de cohorta mai mare, astfel încât pilotul nu stabilește că VoceDesign outperforms Google 67.3% rezultat.

FireRedTTS3-Instruct și MOSS-VoiceGenerator acum fiecare au 150 verificarea stilului în tabelul de mai sus. Verificarea separată a conținutului marcat 0/150 Agrafe roșii de incendiu și 12/150 MOSS clipuri pentru eroare de cuvânt de mai sus 30%. Mostrele lor scurt-scriptura runtime rămân în Space. Primul disponibil PCM a fost despre 4.50 s pentru FireRed și 0.47 s MOSS pe varianta engleză caldă; FireRed întoarce o formă de undă completă în timp ce MOSS fluxuri. Aceste calendare nu stabilesc calitatea de instruire sau un clasament corespunzător de calitate-viteză. Latență model existent și certificarea memoriei rămâne neconcludentă.

Cercetarea de turn-taking cere acum mai mult decât un obiectiv

Imagini de cercetare: 30 octombrie 2026. oficial TurnBench a avut loc-out bord include mai noi transmiteri dincolo de liniile de bază originale de hârtie. p99 @ info: whatsthis descrie parametrii aflaţi de milioane 6.1, şefii de clasificare suplimentari şi o politică de rotaţie care utilizează ambele canale audio. Apache 2.0 download conține modelul mono 5.3-million-parametru. Tabelul nostru turn-taking include acel punct de control descărcabil.

LiveKit lui eot-bench completează acest lucru cu latență reală om-la-agent se transformă în limbi 14. Acesta mătură politicile de evaluare și compară latența la un buget fix fals-taxa, inclusiv curba de compromis complet. Acesta este un pas următor util pentru un produs multilingv, deoarece un prag care funcționează în limba engleză nu trebuie să se potrivească cu o altă limbă.

MultiParty TurnBench, prezentată luna aceasta, extinde controlul podelei la doi până la cinci vorbitori. Autorii săi raportează performanţe puternice de turn-intrare, alături de aproape şansa de a manipula întreruperi selective pentru agenţii evaluaţi. Conversaţiile sale generate oferă teste controlate, cu controale reale-audio necesare alături de ei. Întâlniri şi săli comune necesită mai mult decât extinderea unei reguli de evaluare a obiectivelor de două-speaker.

Full-Dulex-Bench v3 perechi discurs real de influenta cu apeluri de instrumente in lanturi, expunerea auto-corectii si esecuri multi-pasi. DuplexAct, de asemenea, a prezentat în această lună, evaluează acțiunile de interacțiune și dacă agentul urmează prin intermediul. Le vedem ca teste complementare pentru diferența dintre detectarea unui eveniment și finalizarea unei interacțiuni utile. Nu am rulat aceste noi indici de referință în acest post.

Sinteza privata, dublarea directiei si alegerea vocii englezesti

Soniqo Rularea privată și SDK-urile pe dispozitiv oferim elemente de constructie pentru aplicatii de vorbire in propriul mediu. Lucram cu echipe care construiesc sinteza expresiva si conductele de dublare dirijate emotional: pastram cuvintele dorite, alegem o voce, furnizam o livrare scurta, apoi revizuim rezultatul in context.

Puteți conecta un backend voce-design în etapa de sinteză în timp ce țineți politica de cotitură și executarea instrument separat. Pentru o scenă narat, aplicația poate specifica calm de asigurare sau în creștere de urgență, mai degrabă decât să inferă o emoție și să schimbe performanța fără un control director. Un flux de lucru dubbing are nevoie, de asemenea, calendarul, continuitatea difuzorului și o revizuire de ascultare; cele trei criterii de referință de mai sus nu certifică că fluxul de lucru complet.

Opţiunile vocale englezeşti includ Voci presetate americane şi britanice în catalogul Kokoro.Style-aware backend-uri adăuga slipuri de voce în limba naturală. Selecţia prestabilită, designul vocal şi clonarea sunt controale distincte, iar suportul variază în funcţie de model.Un accent regional solicitat necesită evaluare cu ascultătorii familiarizaţi cu această varietate; acurateţea transcrierii şi similitudinea vorbitorului nu stabilesc autenticitatea.

Cu un suport local și un model de active furnizate, sinteza poate rămâne în mediul de desfășurare. implementarea exactă și alegerea model depinde de hardware-ul țintă și de termenii modelului. Datele de referință numai cercetare și greutățile de model restricționate nu sunt o licență comercială pătură.

Alegerile pe care le susţin aceste măsurători

• Alegeți o politică de cotitură prin punctul său de operare. În felia noastră de dev, VAP și Mimi oferă diferite rechemari, fals-alarmă și întârzieri compromisuri. Cercetarea curentă ținut-out a trecut dincolo de aceste inițiale de bază.
• Numără cererile complete de unelte. În cadrul configuraţiei noastre de zece acţiuni, Nova a ales instrumentul corect al cererilor 643; 368 a avut de asemenea argumente de potrivire. Valorile greşite şi câmpurile lipsă au reprezentat diferenţa.
• Livrare de testare după tipul de instruire. Rol-play este o zonă mai slabă în mai multe runde. Pilotul VoiceDesign garantează o comparație mai mare, mai degrabă decât o cerere de un nou câștigător global.

Următoarele noastre măsurători utile sunt o cohortă VoceDesign mai mare, cu judecând egal, terminologia multilingvă, la rate fixe de reducere, și teste de interacțiune care transportă o corecție până la apelul final instrument. Revizuire uman de accent, naturalețe și continuitatea performanței aparține alături de scorurile automate pentru munca vocală de producție.

Citiţi rezultate live și protocoale, explorează speech-swift, sau discuta un Implementarea privată Tabelele de mai sus păstrează dimensiunile și setările de rulare din instantaneuul legat.