Måling av taleagenter: samtaleturer, verktøykall og uttrykksfull tale

Tre målinger for tre beslutninger

Vi måler disse tre ferdighetene separat. En assistent kan vente på at du skal fullføre tale og fortsatt velge feil verktøy. Det kan også snakke klart mens du mangler følelsene eller stilen du ba om.

Vi kjørte de lokale modellene på en Apple M5 Pro med 48 GiB minne. For skytjenester testet vi modellversjonene og innstillingene som er oppført i resultatene.

Hver del forklarer hvor mange opptak vi brukte, hvilke språk vi testet og hvilke resultater som fortsatt er kontrollert. Disse detaljene hjelper deg å sammenligne scorene.

TurnBench: når pausen er en avslutning

TurnBench skiller en høyttaler fra en pause inne i en tur. Det skiller også en avbrudd fra en bakkanal som \"mm-hom.\" Vårt bord nedenfor fokuserer på slutt-of-turn deteksjon.

Vi brukte TurnBench s offentlige utviklingsopptak og sin egen scorekode. Tabellen viser løpestørrelsen for hver modell. Den offisielle lederbrettet bruker et separat testsett.

Minder er andelen av reell dreie avslutter modellen oppdager. FPR (fasepositiv sats) er andelen av merkede pauser i en tur som det feilaktig behandler som høyttaleren etterbehandling.

Våre ledende board bestillinger modeller etter Youdens J (J = tilbakekalling - FPR), vist som J × 100; høyere er bedre. Den offisielle testlederbrett rangerer modeller ved å huske, plassere dem med en FPR over 15% under de som oppfyller grensen.

VAP har det høyeste Youdens J i vår fem-konversasjonssammenligning: 88.2% tilbakekalling og 7.4% FPR. Mimi gjør færre falske deteksjoner, på 2.0%, men fanger færre svingende sluttinger og tar lengre tid å bestemme.

VAP (Voice Activity Projection) lytter til begge høyttalere på separate lydkanaler og forutsier deres kommende taleaktivitet. Det bruker den nylige samtalen for å estimere om den gjeldende høyttaleren vil fortsette eller overlate til den andre personen. Forskning på VAP viser at det lærer å bruke cues i stemmen, for eksempel tonehøyde og rytme.

Versjonen vi kjørte ble trent videre på 104 timer med samtalelyd fra oto prat. Vår tolkning er at denne opplæringen og dens syn på begge talere bidrar til å forklare det sterke resultatet i vår sammenligning.

Vi har også testet den nedlastbare p99 CoreML Modell og begge VAP eksport av to utviklingssamtaler: 148 svingende endinger og 94 Stiller i en tur, ved hjelp av faste beslutninger. p99 fanget 134 Ender med 15 Falske oppdagelser; begge VAP eksport fanget 124 med to falske deteksjoner. Hver eksport gjorde de samme hendelsesbeslutningene som den opprinnelige sjekkpunktet. Valideringsprotokoll VAP-serien registrerer inngangene og avskjæringene.

Den p99 CoreML og VAP CoreML Modeller har speech-swift APIs. VAP ONNX løper gjennom C++ og Android Runtimes. integrasjonsveiledning Dekker nedlastinger og lydinnganger. Programmet ditt setter responspolicyen.

SLURP: velger en handling fra talte kommandoer

SLURP inneholder uttalte hjem-assistente forespørsler med en annotert handlings- og argumentverdier. I vår rutinetest kommer hver innspilling med ti kandidathandlinger og et no-action-alternativ.

Vår 1,000-opptaksoppsett inkluderer 810 forespørsler med riktig handling tilgjengelig og 190 med den handlingen tilbakeholdt. Vi forventer ingen handling på disse 190 anmodningene. Dette kontrollerer om modellen avviser en forespørsel når dens handling er utilgjengelig.

De fleste systemene bruker 1,000-opptak, inkludert nærprat og fjernfeltlyd. Far-mic nøyaktighet måler riktige valg på opptak gjort lenger unna, når det forespurte verktøyet er tilgjengelig. Oppringninger til tross for manglende verktøy teller forespørsler der systemet returnerte en handling selv om det annoterte verktøyet var fraværende. Den baserer nærtalk og fjernfeltopptak, og måler ikke aktivering fra bakgrunnstale eller stillhet. Tabellen viser nøyaktige tall.

Den lokale Parakeet → Gemma 4 E2B pipeline når 75.2% Farmisk nøyaktighet, nær Novas 75.9% bak GPT Audios 83.0%. Men på 190 forespørsler hvis riktige verktøy var utilgjengelig, Gemma Velg fortsatt en handling 88 Tider: dens 46.3% falsk-aktiveringsrate. Ett eksempel var \"slett element\": med liste fjerning utilgjengelig, valgte det kalenderfjerning. Det avviste også 88 forespørsler hvis riktig verktøy var tilgjengelig og valgt feil verktøy på en annen 69.

Jev og GLiNER velger begge riktig verktøy på 311 av 423 støttede fjern-miske forespørsler, gi 73.5% nøyaktighet. Atferden endres når riktig verktøy mangler: Jev velger fortsatt en handling på 22 av 190 forespørsler (11.6%), mens GLiNER gjør det på 74 (39.0%). For eksempel tolket GLiNER en forespørsel om å senke høyttalervolumet som å dimme et lys når volumverktøyet var fraværende. Disse eksemplene valgte en annen handling enn den som ble bedt om. Breddere verktøybeskrivelser kan også overlappe: en oppskriftsforespørsel kan sendes til et generell matlagingsverktøy. Vår telling følger den annoterte hensikten, slik at det ikke fastslår at hvert alternativ var semantisk urimelig.

Nova har den høyeste poengsummen for å matche både verktøyet og alle nødvendige argumentverdier: 45.4%, eller 368 av 810 støttede forespørsler. Det valgte riktig verktøy på 643 forespørsler, men argumentene mislyktes kampen på 275 av dem. I 147 i tilfeller som er forskjellig fra referansen; en annen 128 Utelatt minst ett argument, noen ganger sammen med verdiforskjell.

Den mest hyppige verdien feil var en tid, som vises i 34 i disse tilfellene. Vi så også manglende datoer og feilnavn felt. For en alarmforespørsel som inkluderte \"denne uken\", Nova returnerte tiden, men utelatte datoen. Noen feil er ordlyd forskjeller: \"lasagna\" stemmer ikke referansen \"lasagne\" under denne strenge tekstsammenlikningen. Poenget teller begge typer feil.

InstructTTSEval: levering har sine egne feilmoduser

For InstructTTSEval, vi holder det talte manuset fikset og genererer separate klipp ved hjelp av tre typer instruksjon:

• APS (Acoustic-Parameter Spesifikasjon) gir detaljerte stemmeinnstillinger, som tonehøyde, tempo, volum og vokaltekstur. For eksempel: \"Low pitch, sakte tempo, myk volum og en litt pustende stemme.\"
• DSD (deskriptivt stavedirektiv) beskriver leveringen i det naturlige språket og lar noen stemmetrekk åpne. For eksempel: «Tal varmt og betryggende.»
• RP (Role-Play) gir en karakter eller situasjon og ber modellen om å vise hvordan man høres ut. For eksempel: «Du er en lege som trøster en bekymret pasient.»

Prosenten for hver type viser hvor ofte den genererte tale fulgte den instruksjonen.

Den større kohorten inneholder 25 English og 25 kinesiske kildelinjer, tre kontroller hver: 150 klipp per system. Nova dekker 25 engelske linjer, med 75 kontroller. Totalt er totalt passerer fordelt på totale kontroller; med like oppgavestørrelser, er det gjennomsnittet av APS, DSD og RP. En lagret Gemini Pro dommer leverer stilen dommer, mens transkripsjon sjekker de talte ordene separat.

Opptak er benchmarkets menneskelige kildelyd. Vi scorer dem med samme instruksjoner og dommer som brukes til 150-kontrollen kjører for å gi syntetiserte stemmer et referansepunkt. deres 73.3% betyr dommeren akseptert 110 av 150 instruksjonskontroll.

På matchet 150- kontroller kohorten, FireRedTTS3-Instruct scores 65.3% og MOSS-VoiceGenerator Scorer 56.0%Googles TTS kjør score 67.3%På den 75 English checks, FireRed score 72.0%, MOSS 52.0% og Google 72.0%. VoxCPM2's BF16 løp forblir på 59.3% dets rollespillresultat, 46.0%, er svakere enn dets stemmedescription og retningsresultater. De større Qwen CustomVoice-sjekking poeng 52.7%, versus 48.0% For den mindre eksperimentell-input-kjøringen. Størrelse alene ikke bestemt score.

Vår ElevenLabs instruksjon-til-tag konvertering falt etterspurt sang og noen følelser endringer. CosyVoice3 mislyktes ord-innhold sjekk på 48 av 50 APS-klipp; dens generasjon setup utelatt også referansekondisjonering som er tilstede i den offisielle implementasjonen. Disse problemene trenger fortsatt korrigeret-input validering. Fiskens rettede løp og flere andre rader inneholder dommerresponser som hevdet lyd var utilgjengelig; vi bevarer disse dommene og markerer de berørte radene foreløpig. Disse er resultater for våre porter, inngangsadaptere og dommer, i stedet for å finne at en oppstrøms modell har de samme grensene i hver implementering.

De fleste feil på menneskelig opptak er i rollespill: 29 av 50 kontroller mislykkes, sammenlignet med åtte for APS og tre for DSD. En ekte opptak kan passe til en detaljert stemmebeskrivelse men ikke matcher rollen som er tildelt den, og dommeren kan også gjøre feil. Referanseraden hjelper oss å tolke instruksjonsscorer; det rangerer ikke kvaliteten på menneskelig tale.

Stemmedesign kan være en syntesebakstykke

Qwens VoiceDesign-kontrollpunkt genererer en stemme fra en skriftlig beskrivelse. CustomVoice gjelder i stedet retninger til en valgt forhåndsdefinert stemme. Kontroll- og kontrollkanalsaken: et felt som heter «instruction» gir ikke en modell en kapasitet som det aldri ble trent til å bruke.

Vi testet Qwen3-TTS 1.7B VoiceDesign og Breeze TTS 2 på samme fem engelske og fem kinesiske kilder, gi 30 kontroller per modell. Fire kalibreringskontroller er utenfor deres score. Vi beholdt alle utganger, inkludert ett taleord flagg per modell.

VoiceDesign passerte 23/30 kontroller og Breeze passert 20/30. Med ti kildeopptak delt over de tre oppgavene, er dette en utviklingsskjerm. Parret 10-punkt forskjell har et bredt kilde-cluster intervall som inkluderer null. Dommerinnstillingen skiller seg også fra den større kohorten, så piloten ikke fastslår at VoiceDesign utperformer Googles 67.3% Resultatet.

FireRedTTS3-Instruct og MOSS-VoiceGenerator nå alle har 150 stilen sjekker i tabellen ovenfor. Den separate innholdssjekken merket 0/150 Brannrøde klipp og 12/150 MOSS clips for ordfeil over 30%. Deres kortskrivne løpsprøver forblir i rommet. Første tilgjengelige PCM var om 4.50 for brannrøde og 0.47 S for MOSS på det varme engelske manuset; FireRed returnerer en komplett bølgeform mens MOSS strømmer. Disse timingene etablerer ikke instruksjonskvalitet eller en matchet kvalitet-hastighet rangering. Eksisterende-model latens og minne sertifisering forblir inconclusive.

Turnerende forskning ber nå om mer enn et endepunkt

Forskningsbilde: 30 Oktober 2026. Den offisiell TurnBench holdt-out bord Inkluderer nyere innlegg utover papirets opprinnelige grunnlinje. p99s systemskrive-up beskriver 6.1 millioner lærde parametre, ekstra klassifiseringshoder og en turpolicy som bruker begge lydkanaler. Apache 2.0 nedlasting inneholder 5.3-million-parameter-monomodellen. Vår turn-taking tabellen inkluderer det nedlastbare kontrollpunktet.

LiveKit's eot-bench komplementerer dette med reelle menneske-til-agent svinger i 14-språk. Den feiper endpointing policyer og sammenligner latens på et fast falskt-utsnitt budsjett, inkludert den fulle avleveringskurven. Det er et nyttig neste steg for et flerspråklig produkt fordi en terskel som fungerer på engelsk trenger ikke å passe et annet språk.

MultiParty TurnBench, presentert i denne måneden, utvider gulvkontroll til to til fem høyttalere. Forfatterne rapporterer sterk tur-entry ytelse sammen med nær-chance selektiv avbruddshåndtering for de evaluerte agentene. Dens genererte samtaler gir kontrollerte tester, med reell-audio kontroller som trengs sammen med dem. Møter og delte rom krever mer enn å forlenge en to-høyttaler endepunktregel.

Full-Duplex-Bench v3 par ekte defluent tale med kjedede verktøysamtaler, utsette selvkorrigeringer og multi-trinn feil. DuplexAct, også sendt inn i denne måneden, vurderer interaksjonshandlinger og om agenten følger gjennom. Vi ser disse som komplementære tester for gapet mellom å detektere en hendelse og fullføre en nyttig interaksjon. Vi har ikke kjørt disse nyere referansene i dette innlegget.

Privat syntese, regissert dubbing og engelsk stemmevalg

Soniqos privat løpstid og on-device SDKs tilby byggeblokker for taleapplikasjoner i ditt eget miljø. Vi samarbeider med team som bygger uttrykksfull syntese og emosjonelt regissert dubbing rørledninger: behold de tiltenkte ordene, velg en stemme, leverer en levering kort og deretter se gjennom resultatet i kontekst.

Du kan koble til en stemmedesign-bakstykke i syntesestadiet mens du holder dreiepolitikk og verktøyutførelse separat. For en fortellert scene, kan programmet angi rolig sikkerhet eller stigende haster i stedet for å vise en følelse og endre ytelsen uten en regissørs kontroll. En dubbing arbeidsflyt trenger også timing, høyttaler kontinuitet og en lytteoversikt; de tre referansene ovenfor bekrefter ikke at fullstendig arbeidsflyt.

Engelsk talevalg inkluderer Amerikanske og britiske forhåndsinnstillinger i Kokoro katalog. Stil-aware backends legger til naturlige språk stemmekort. Forvalg, stemmedesign og kloning er tydelige kontroller, og støtte varierer etter modell. En etterspurt regional aksent trenger evaluering med lyttere kjent med den variasjonen; transkripsjon nøyaktighet og høyttalerlikhet etablerer ikke autentisitet.

Med lokal backend og modell aktiva som leveres, kan syntese holde seg i distribusjonsmiljøet. Det eksakte distribusjons- og modellvalget avhenger av målhardware og modellens vilkår. Forskningsbeskyttede referansedata og begrensede modellvekter er ikke en teppe kommersiell lisens.

Valgene disse målingene støtter

• Velg en vendingspolitikk ved sitt driftspunkt. I vår dev skive tilbyr VAP og Mimi forskjellige tilbakekalling, falsk-alarm og forsinkelse avdrag. Nåværende holde-out forskning har beveget seg utover de opprinnelige grunnlinjene.
• Telle komplette verktøyforespørsler. I vår ti-aksjons-oppsett valgte Nova det riktige verktøyet på 643-støttede forespørsler; 368 hadde også matchende argumenter. Feil verdier og manglende felt utgjorde for gapet.
• Testlevering etter instruksjonstype. Rollespill er et svakere område i flere løp. VoiceDesign pilot garanterer en større matchet sammenligning, i stedet for et krav om en ny total vinner.

Våre neste nyttige målinger er en større VoiceDesign kohort med matchet dømmende, flerspråklig sluttpunkt ved faste avskjæringshastigheter, og interaksjonstester som fører en rettelse gjennom til det endelige verktøysamtalen. Menneskelig gjennomgang av aksent, naturalitet og ytelsekontinuitet tilhører sammen med de automatiske scorene for produksjonsstemmearbeid.

Les om live resultater og protokoller Utforske speech-swift eller diskutere en Privat utplassering tabellene ovenfor beholder driftsstørrelsene og innstillingene fra det koblede øyeblikksbilde.