Måling af taleagenter: samtaleture, værktøjskald og udtryksfuld tale

Tre målinger for tre beslutninger

Vi måler disse tre evner separat. En assistent kan vente på, at du er færdig med at tale og stadig vælge det forkerte værktøj. Det kan også tale klart, mens du mangler de følelser eller stil, du bad om.

Vi kørte de lokale modeller på en Apple M5 Pro med 48 GiB hukommelse. For cloud-tjenester, vi testet modelversioner og indstillinger, der er anført i resultaterne.

Hvert afsnit forklarer, hvor mange optagelser vi brugte, hvilke sprog vi testede, og hvilke resultater der stadig bliver kontrolleret. Disse detaljer hjælper dig med at sammenligne pointene.

TurnBench: Når en pause er en drejeende

TurnBench skelner en højttaler fra en pause inde i en drejning. Den skelner også en afbrydelse fra en bagkanal såsom "mm- hmm". Vores tabel nedenfor fokuserer på end- of- turn detektering.

Vi brugte TurnBench offentlige udvikling optagelser og sin egen scoring kode. Tabellen viser køre størrelse for hver model. Den officielle leaderboard bruger en separat test sæt.

Genoptag er andelen af real turn ender modellen registrerer. FPR (falsk positiv rate) er andelen af mærkede pauser inden for en tur, som det fejlagtigt behandler som højttaleren efterbehandling.

Vores leaderboard bestiller modeller af Youdens J (J = tilbagekaldelse − FPR), vises som J × 100; højere er bedre. officielle test leaderboard rangerer modeller ved tilbagekaldelse, placere dem med en FPR over 15% under dem, der opfylder grænsen.

VAP har den højeste Youdens J i vores fem-samtale sammenligning: 88.2% tilbagekaldelse og 7.4% FPR. Mimi gør færre falske detektioner, på 2.0%, men fanger færre dreje ender og tager længere tid at beslutte.

VAP (fremskrivning af stemmeaktivitet) lytter til begge højttalere på separate lydkanaler og forudsiger deres kommende tale aktivitet. Det bruger den seneste samtale til at vurdere, om den nuværende højttaler vil fortsætte eller overdrage til den anden person. Forskning i VAP viser, at det lærer at bruge cues i stemmen, såsom pitch og rytme.

Den version, vi kørte, blev trænet yderligere på 104 timer af konversationel lyd fra otoSpeechVores fortolkning er, at denne uddannelse og dens opfattelse af begge talere er med til at forklare dens stærke resultat i vores sammenligning.

Vi har også testet den downloadede p99 CoreML model og både VAP eksport på to udviklingssamtaler: 148 turn endings og 94 pauser inde i en tur, ved hjælp af faste beslutningspolitikker. p99 fangede 134 slutninger med 15 falske detektorer; begge VAP eksporten fanget 124 med to falske detektioner. Hver eksport foretaget de samme begivenhed beslutninger som dens oprindelige checkpoint. valideringsprotokol registrerer input og cutoffs. VAP rækken bevarer den større fem-samtale køre.

Den p99 CoreML og VAP CoreML modeller har speech-swift Api 'er. VAP ONNX løber gennem C++ og Android - Det er altid det, der sker. Integrationsvejledning dækker downloads og lydindgange. Dit program sætter svarpolitikken.

SLURP: Vælg en handling fra talte kommandoer

SLURP indeholder talte hjemmeassisterende anmodninger med en kommenteret handling og argument værdier. I vores routing test, hver optagelse kommer med ti kandidater handlinger og en no- action option.

Vores 1,000- optagelse setup omfatter 810 anmodninger med den korrekte handling til rådighed og 190 med denne handling tilbageholdt. Vi forventer ingen handling på disse 190 forespørgsler. Dette kontrollerer, om modellen afslår en anmodning, når dens handling er utilgængelig.

De fleste systemer bruger 1,000 optagelser, herunder close- talk og far- felt lyd. Far- mic nøjagtighed måler korrekte valg på optagelser foretaget længere væk, når det ønskede værktøj er tilgængelig. Opkald på trods af et manglende værktøj tæller anmodninger, hvor systemet returnerede en handling, selvom det kommenterede værktøj var fraværende. Det puljer close- talk og far- felt optagelser, og måler ikke aktivering fra baggrundstale eller stilhed. Tabellen viser de nøjagtige tællinger.

Det lokale Parakeet → Gemma 4 E2B rørledningen når 75.2% far- misk nøjagtighed, tæt på Nova 's 75.9% og bag GPT Audio 's 83.0%Men på den 190 anmodninger, hvis korrekte værktøj ikke var tilgængeligt Gemma stadig valgte en handling 88 gange: dens 46.3% false- aktiveringshastighed. Et eksempel var "slet element": med liste fjernelse ikke tilgængelig, det valgte kalender fjernelse. 88 anmodninger, hvis korrekte værktøj var til rådighed og valgte det forkerte værktøj på en anden 69.

Jev og GLINER begge vælge det rigtige værktøj på 311 af 423 understøttede far- mic anmodninger, giver 73.5% nøjagtighed. Deres adfærd ændrer sig, når det korrekte værktøj mangler: Jev vælger stadig en handling på 22 af 190 anmodninger (11.6%), mens GLENER gør det på 74 (39.0%). For eksempel, GLiNER fortolket en anmodning om lavere højttaler volumen som dæmpning af et lys, når lydstyrken værktøj var fraværende. Disse eksempler valgte en anden handling end den ønskede. Mindre værktøj beskrivelser kan også overlappe: en opskrift anmodning kan sendes til en generel madlavning værktøj. Vores optælling følger den kommenterede hensigt, så det ikke fastslå, at hvert alternativ var semantisk urimeligt.

Nova har den højeste score for at matche både værktøjet og alle krævede argumentværdier: 45.4%, eller 368 af 810 understøttede anmodninger. Det valgte det korrekte værktøj på 643 anmodninger, men argumenterne mislykkedes kampen om 275 Jeg vil gerne have, at De siger, at jeg ikke er til stede. 147 tilfælde, hvor værdierne afviger fra referencen 128 udeladt mindst ét argument, undertiden sammen med værdiforskelle.

Den hyppigste værdi mismatch var en tid, vises i 34 i disse tilfælde. Vi så også manglende datoer og fejlnavngivne felter. For en alarm anmodning, der omfattede "denne uge", Nova returnerede tiden, men udelade datoen. Nogle fejl er formuleringer forskelle: "lasagne" ikke matcher referencens "lasagge" under denne strenge tekst sammenligning. Scoren tæller begge former for mismatch.

InstructTTSEval: levering har sine egne fejltilstande

For InstructTTSEval, vi holder det talte script fast og generere separate klip ved hjælp af tre typer instruktion:

• APS (Acoustic- Parameter Specification) giver detaljerede stemmeindstillinger, såsom pitch, tempo, volumen og vokal tekstur. For eksempel: "Lav pitche, langsom tempo, blød volumen og en let åndelig stemme".
• DSD (direktiv om deskriptive- stil) beskriver leveringen i naturligt sprog og lader nogle stemmetrin stå åbne. For eksempel: "Tal varmt og beroligende".
• RP (Role- Play) giver en karakter eller situation og beder modellen om at udlede, hvordan man lyder. For eksempel: "Du er en læge trøste en ængstelig patient".

Procentdelen for hver type viser, hvor ofte den genererede tale fulgte denne instruktion.

Den større kohorte indeholder 25 engelsk og 25 kinesiske kildelinjer, tre kontroller hver: 150 klip per system. Nova dækker 25 engelske linjer, med 75 kontroller. Samlet er total passerer divideret med samlede kontroller; med samme opgavestørrelser, er det gennemsnittet af APS, DSD og RP. En gemt Gemini Pro dommer leverer stil verdicts, mens transskription kontrollerer de talte ord separat.

Originale optagelser er benchmarkets menneskelige kilde lyd. Vi scorer dem med de samme instruktioner og dommer, der anvendes til 150- check kører for at give de syntetiserede stemmer et referencepunkt. Deres 73.3% betyder dommeren accepterede 110 af 150 instruktionscheck.

På den matchede 150- Check kohort, FireRedTTS3-Instruct scorer 65.3% og MOSS- VoiceGenerator scorer 56.0%. Googles TTS kørescore 67.3%. på 75 Engelsk check, FireRed scores 72.0%, MOSS 52.0% og Google 72.0%. VoxCPM2's BF16 køre rester på 59.3%; dens role- play resultat, 46.0%, er svagere end sin voice- beskrivelse og retning resultater. Jo større Qwen Score i brugerdefinerede stemmepunkter 52.7%, versus 48.0% for mindre eksperimental- input køre. Størrelse alene ikke bestemme score.

Vores ElevenLabs instruktion- to- tag konvertering droppet anmodede om sang og nogle følelser ændringer. CosyVoice3 mislykkedes ord- indhold check på 48 af 50 APS klip; dens generation opsætning også udeladt reference conditioning til stede i den officielle implementering. Disse spørgsmål stadig skal korrigeres - input validering. Fish 's korrigerede køre og flere andre rækker indeholder dommer svar, der hævdede, at lyd var utilgængelig; vi bevarer disse udtalelser og markere de berørte rækker foreløbige. Disse er resultater for vores porte, input adaptere og dommer, snarere end en konstatering af, at en opstrømmer model har de samme grænser i hver implementering.

De fleste fejl på de menneskelige optagelser er i role- play: 29 af 50 kontroller mislykkes, sammenlignet med otte for APS og tre for DSD. En reel optagelse kan passe en detaljeret stemmebeskrivelse, men ikke matche den rolle, der er tildelt det, og dommeren kan også gøre fejl. Referencerækken hjælper os med at fortolke instruktion scores; det ikke bedømme kvaliteten af menneskelig tale.

Stemmedesign kan være en syntesemotor

Qwen 's kontrolpunkt for VoiceDesign genererer en stemme fra en skriftlig beskrivelse. CustomVoice anvender i stedet anvisninger til en valgt forudindstillet stemme. Kontrolpunktet og kontrolkanalsagen: et felt kaldet "instruktion" giver ikke en model en evne, den aldrig blev trænet til at bruge.

Vi testede Qwen3-TTS 1.7B VoiceDesign og Breeze TTS 2 på samme fem engelske og fem kinesiske kilder, giver 30 fire kalibreringskontroller er uden for deres score. Vi beholdt alle udgange, herunder et spokenordflag pr. model.

VoiceDesign har bestået 23 / 30 kontroller og Breeze har passeret 20-30. Med ti kildeoptagelser delt på tværs af de tre opgaver, er dette en udviklingsskærm. Den parrede 10- punkt forskel har en bred kilde- klyngeinterval, der omfatter nul. Dommerindstillingen adskiller sig også fra den større kohort, så piloten ikke fastslå, at Voicedesign outpræsterer Googles 67.3% resultat.

FireRedTTS3-Instruct og MOSS- VoiceGenerator har nu hver 150 style checks i tabellen ovenfor. Den separate indholdscheck markeret 0/150 Brand- og tyverialarmer og -alarmer 12/150 MOSS klip for ordfejl ovenfor 30%Deres korte-script runtime prøver forbliver i rummet. Første tilgængelige PCM var omkring 4.50 s for FireRed og 0.47 s for MOSS på det varme engelske script; FireRed returnerer en komplet kurveform mens MOSS Disse timinger ikke etablere instruktion kvalitet eller en matchende kvalitet-hastighed ranking. Eksisterende-model latency og hukommelse certificering forbliver uafgørende.

Turn- tager forskning nu beder om mere end et endpoint

Forsknings øjebliksbillede: 30 Oktober 2026. officielle TurnBench held- out bord indeholder nyere indlæg ud over papirets oprindelige basislinjer. p99 's system write- up beskriver 6.1 millioner lærte parametre, ekstra klassificeringer hoveder og en tur politik, der bruger begge lydkanaler. Apache 2.0 download indeholder 5.3- millionparametermonomodel. Vores turn- take tabel inkluderer dette downloades checkpoint.

LiveKit 's eot- bænk supplerer dette med ægte human- to- agent drejes i 14 sprog. Det fejer endpointing politikker og sammenligner latency på en fast false- cutoff budget, herunder fuld tradeoff kurve. Det er et nyttigt næste skridt for et flersproget produkt, fordi en tærskel, der virker på engelsk behøver ikke passer til et andet sprog.

MultiParty TurnBench, indsendes i denne måned, udvider gulvkontrol til to til fem højttalere. Dens forfattere rapporterer stærk turn-entry ydeevne sammen med nærved-chance selektiv afbrydelse håndtering for de evaluerede agenter. Dens genererede samtaler giver kontrollerede tests, med real- audio kontrol nødvendige sammen med dem. Møder og fælles rum kræver mere end at udvide en tohøjttalers endpoint regel.

Full- Duplex- Bench v3 par reelle difluent tale med lænket værktøj opkald, udsætter selv- rettelser og multi-step svigt. DuplexAct, også indsendt i denne måned, evaluerer interaktionsaktioner, og om agenten følger igennem. Vi ser disse som komplementære tests for forskellen mellem detektering af en begivenhed og afslutning af en nyttig interaktion. Vi har ikke køre disse nyere benchmarks i dette indlæg.

Privat syntese, instrueret dubbing og engelsk stemme valg

Soniqo 'er privat runtime og on- device SDKs Vi arbejder med teams, der bygger ekspressiv syntese og følelsesmæssigt rettede dybserende rørledninger: bevarer de ønskede ord, vælger en stemme, leverer en leverance kort, derefter gennemgår vi resultatet i sammenhæng.

Du kan sætte en voice- design motor ind i syntesescenen og samtidig holde tur politik og værktøj udførelse adskilt. For en fortalt scene, kan programmet angive rolig beroligelse eller stigende uopsættelighed snarere end at udlede en følelse og ændre udførelsen uden en direktørs kontrol. En dubbing workflow også brug timing, højttaler kontinuitet og en lyttegennemgang; de tre benchmarks ovenfor bekræfter ikke, at komplet workflow.

Engelsk stemme valg omfatter Amerikanske og britiske forudindstillede stemmer I Kokoro kataloget. Style- bevidste backends tilføje natursprog stemme briefinger. Preset valg, stemme design og kloning er forskellige kontroller, og støtte varierer efter model. En ønsket regional accent har brug for evaluering med lyttere bekendt med denne sort; transskription nøjagtighed og højttaler lighed ikke fastslå ægthed.

Med en lokal backend og model aktiver afsat, syntesen kan bo i implementering miljø. Den nøjagtige implementering og model valg afhænger af målet hardware og modellens vilkår. Forsknings- kun benchmark data og begrænsede model vægte er ikke en generel kommerciel licens.

De valg, som disse målinger understøtter

• Vælg en drejepolitik ved sit driftspunkt. I vores dev skive, VAP og Mimi tilbyder forskellige tilbagekaldelse, falsealarm og forsinkelse tradeoffs. Nuværende held- out forskning har bevæget sig ud over de oprindelige basislinjer.
• Tæl komplette værktøjsanmodninger. I vores ten- action setup, Nova valgte det korrekte værktøj på 643 støttede anmodninger; 368 havde også matchende argumenter. Forkert værdier og manglende felter tegnede sig for hullet.
• Prøvning udført efter instruktionstype. Role- play er et svagere område i flere løb. VoiceDesign piloten kræver en større matchende sammenligning, snarere end en påstand om en ny samlet vinder.

Vores næste nyttige målinger er en større VoiceDesign-kohorte med matchende dømmende, flersproget endepunkt på faste cutoff-hastigheder, og interaktionstests, der udfører en korrektion igennem til det endelige værktøjskald. Menneskelig gennemgang af accent, naturlighed og performance kontinuitet hører sammen med de automatiske scorer for produktion af stemmearbejde.

Læs Liveresultater og protokoller, udforske speech-swift, eller diskutere en privat deployering. Tabellerne ovenfor bevarer de kørende størrelser og indstillinger fra det linkede øjebliksbillede.