Mätning av röstagenter: samtalsturer, verktygsanrop och uttrycksfullt tal

Tre mätningar för tre beslut

Vi mäter dessa tre förmågor separat. En assistent kan vänta på att du ska sluta tala och fortfarande välja fel verktyg. Det kan också tala tydligt samtidigt saknas känslor eller stil du bad om.

Vi körde de lokala modellerna på en Apple M5 Pro med 48 GiB minne. För molntjänster testade vi modellversionerna och inställningarna som anges i resultaten.

Varje avsnitt förklarar hur många inspelningar vi använde, vilka språk vi testade och eventuella resultat som fortfarande kontrolleras. Dessa uppgifter hjälper dig att jämföra poängen.

TurnBench: när en paus är en vänd ände

TurnBench skiljer en högtalare som slutar från en paus inuti en tur. Det skiljer också ett avbrott från en backchannel som "mm-hmm." Vårt bord nedan fokuserar på slut-of-turn detektering.

Vi använde TurnBench: s offentliga utvecklingsinspelningar och sin egen poängkod. Tabellen visar körstorleken för varje modell. Den officiella leaderboarden använder en separat testuppsättning.

Återkalla är andelen verkliga vändningar som modellen upptäcker. FPR (falskt positivt) är andelen märkta pauser inom en tur som den felaktigt behandlar som högtalaren slutar.

Våra leaderboard beställer modeller av Youden's J (J = återkalla − FPR), som visas som J × 100; högre är bättre. Officiell test leaderboard rankas modeller genom återkallelse, placera dem med en FPR ovanför 15% under dem som uppfyller gränsen.

VAP har den högsta Youden's J i vår fem-konversations jämförelse: 88.2% återkalla och 7.4% FPR. Mimi gör färre falska upptäckter, vid 2.0%, men fångar färre vändänder och tar längre tid att bestämma.

VAP (Voice Activity Projection) lyssnar på båda högtalarna på separata ljudkanaler och förutspår deras kommande talaktivitet. Det använder den senaste konversationen för att uppskatta om den nuvarande högtalaren kommer att fortsätta eller överlämnas till den andra personen. Forskning om VAP visar att det lär sig att använda ledtrådar i rösten, till exempel plan och rytm.

Den version vi körde tränades vidare på 104 timmar av konversationsljud från OtoSpeechVår tolkning är att denna utbildning och dess syn på båda talarna hjälper till att förklara dess starka resultat i vår jämförelse.

Vi testade också nedladdningsbara p99 CoreML modell och både VAP export på två utvecklingskonversationer: 148 vrida ändarna och 94 pauser inuti en tur, med hjälp av fast beslutspolicy. p99 Fångad 134 slutar med 15 falska upptäckter; båda VAP export fångad 124 med två falska upptäckter. Varje export fattade samma beslut som sin ursprungliga kontrollpunkt. valideringsprotokoll registrerar ingångar och cutoffs. VAP raden behåller den större fem-konversation körning.

Den som p99 CoreML och VAP CoreML modeller har speech-swift API:er. VAP ONNX springer genom C++ och Android runtimes. Integrationsguide täcker nedladdningar och ljudingångar. Din applikation sätter svarspolicyn.

SLURP: välja en åtgärd från talade kommandon

SLURP innehåller talade hemassistenta förfrågningar med en annoterad åtgärd och argumentvärden. I vårt routingtest kommer varje inspelning med tio kandidatåtgärder och ett alternativ utan åtgärd.

Vår 1,000-inspelningsinställning inkluderar 810 förfrågningar med rätt åtgärd tillgänglig och 190 med den åtgärden undanhållen. Vi förväntar oss ingen åtgärd på dessa 190 begäran. Detta kontrollerar om modellen avböjer en förfrågan när dess åtgärd är otillgänglig.

De flesta system använder 1,000-inspelningar, inklusive närbild och långtfältsljud. Far-mic noggrannhet mäter korrekta val på inspelningar som gjorts längre bort, när det begärda verktyget är tillgängligt. Ringar trots ett saknat verktyg räknar förfrågningar där systemet returnerade en åtgärd trots att det annoterade verktyget var frånvarande. Det pooler nära-talk och långt-fält inspelningar, och mäter inte aktivering från bakgrundstal eller tystnad. Tabellen visar exakta räkningar.

Den lokala Parakeet → Gemma 4 E2B Pipeline når 75.2% Mig noggrannhet, nära Novas 75.9% och bakom GPT Audio 83.0%Men på 190 förfrågningar vars korrekta verktyg inte fanns tillgängligt, Gemma valde fortfarande en handling 88 Tid: dess 46.3% falska aktiveringsgraden. Ett exempel var "ta bort objekt": med list borttagning otillgänglig, valde det kalenderborttagning. Det avvisades också. 88 förfrågningar vars korrekta verktyg var tillgängligt och valde fel verktyg på en annan 69.

Jev och GLiNER väljer båda rätt verktyg på 311 för 423 Stöd för långtgående förfrågningar, vilket ger 73.5% Deras beteende förändras när rätt verktyg saknas: Jev väljer fortfarande en åtgärd på 22 av 190 Förfrågningar (förfrågning)11.6%), medan GLiNER gör så vidare 74 (39.0%Till exempel, GLiNER tolkade en begäran om att sänka högtalarvolymen som dimming ett ljus när volymverktyget var frånvarande. Dessa exempel valde en annan åtgärd från den begärda. Bredare verktygsbeskrivningar kan också överlappa: en receptbegäran kan skickas till en allmän matlagningsverktyg. Vår räkning följer den annoterade avsikten, så det konstaterar inte att varje alternativ var semantiskt orimligt.

Nova har högsta poäng för att matcha både verktyget och alla nödvändiga argumentvärden: 45.4%eller 368 av 810 stödda förfrågningar. Det valde rätt verktyg på 643 Förfrågningar, men argumenten misslyckades matchen på 275 av dem. 147 fall värdena skilde sig från referensen; en annan 128 utelämnade minst ett argument, ibland tillsammans med värdeskillnader.

Den mest frekventa värde missmatch var en tid, som förekommer i 34 av dessa fall. Vi såg också saknade datum och felnamnfält. För en larmförfrågan som inkluderade "denna vecka", Nova återvände tiden men lämnade ut datumet. Vissa misslyckanden är lydelseskillnader: "sagne" matchar inte referensensens "lasagne" under denna strikta text jämförelse. poängen räknas båda typerna av missmatch.

InstructTTSEval: leverans har sina egna fellägen

För InstructTTSEvalVi håller det talade manuset fixerat och genererar separata klipp med hjälp av tre typer av instruktioner:

• APS (Acoustic-Parameter Specification) ger detaljerade röstinställningar, såsom plan, takt, vokal och sångtextur. Till exempel: "Låg höjd, långsam takt, mjuk volym och en något andningsfull röst."
• DSD (beskrivnings-stildirektiv) beskriver leveransen på naturligt språk, vilket gör att vissa röstdrag öppnas. Till exempel: "Speak varmt och lugnande."
• RP (Role-Play) ger en karaktär eller situation och ber modellen att dra slutsatsen hur man låter. Till exempel: "Du är en läkare som tröstar en orolig patient."

Andelen för varje typ visar hur ofta det genererade talet följde den instruktionen.

Den större kohorten innehåller 25 engelska och 25 kinesiska källlinjer, tre kontroller vardera: 150 klipp per system. Nova täcker 25 English linjer, med 75 kontroller. Sammantaget är totala passerar dividerat med totala kontroller; med lika aktivitet storlekar, är det medel för APS, DSD och RP. En sparad Gemini Pro domare levererar stilen domar, medan transkription kontrollerar de talade orden separat.

Original inspelningar är riktmärkets mänskliga ljud. Vi gör dem med samma instruktioner och domare som används för 150-check körs för att ge syntetiserade röster en referenspunkt. Deras 73.3% betyder att domaren accepterade 110 av 150 instruktionskontroller.

På matchen 150Check cohort, FireRedTTS3-Instruct poäng 65.3% och MOSS-VoiceGenerator poäng 56.0%Googles TTS spring scores 67.3%På den 75 Engelska kontroller, FireRed poäng 72.0%, MOSS 52.0% och Google 72.0%. VoxCPM2́s BF16 Kör kvar 59.3%; dess rollspel resultat, 46.0%är svagare än dess röstbeskrivning och riktningsresultat. Qwen CustomVoice checkpoint poäng 52.7%versus 48.0% för den mindre experimentella ingången kör. Enbart storleken bestämde inte poängen.

Vår ElevenLabs instruktion-till-tag-omvandling sjönk efterfrågad sång och vissa känslor förändringar. CosyVoice3 misslyckades med ordinnehållskontrollen på 48 av 50 APS-klipp; dess generationsinställning utelämnade också referenskonditionering i det officiella genomförandet. Dessa problem behöver fortfarande korrigerad ingångs validering. Fishs korrigerade körning och flera andra rader innehåller domare som hävdade ljud var otillgängliga; vi bevarar dessa domar och markerar de drabbade raderna.

De flesta misslyckanden på de mänskliga inspelningarna är i rollspel: 29 av 50 kontroller misslyckas, jämfört med åtta för APS och tre för DSD. En riktig inspelning kan passa en detaljerad röstbeskrivning men inte matcha den roll som tilldelats den, och domaren kan också göra misstag. Referensraden hjälper oss att tolka instruktionspoäng; det betygar inte kvaliteten på mänskligt tal.

Voice design kan vara en syntes backend

Qwens checkpoint för VoiceDesign genererar en röst från en skriftlig beskrivning. CustomVoice tillämpar istället anvisningar till en vald förinställd röst. Kontrollpunkten och kontrollkanalen ärendet: ett fält som heter "instruktion" ger inte en modell en kapacitet som den aldrig tränades att använda.

Vi testade Qwen3-TTS 1.7B VoiceDesign och Breeze TTS 2 på samma fem engelska och fem kinesiska källor, som 30 Kontroller per modell. Fyra kalibreringskontroller är utanför deras poäng. Vi behöll alla utgångar, inklusive en talad ordflagga per modell.

VoiceDesign passerade 23/30 kontroller och Breeze Förbipasserad 20/30Med tio källinspelningar som delas över de tre uppgifterna är detta en utvecklingsskärm. 10-punktskillnaden har ett brett källklusterintervall som inkluderar noll. Domarinställningen skiljer sig också från den större kohorten, så piloten konstaterar inte att VoiceDesign överträffar Googles 67.3% Resultatet.

FireRedTTS3-Instruct MOSS-VoiceGenerator har nu var och en 150 stilkontroller i tabellen ovan. Den separata innehållskontrollen flaggad 0/150 FireRed Clips och 12/150 MOSS clips för ordfel ovan 30%Deras kort-skript runtime prover kvar i Space. Första tillgängliga PCM handlade om 4.50 s för FireRed och 0.47 För MOSS på det varma engelska manuset; FireRed returnerar en komplett vågform medan MOSS strömmar. Dessa tidpunkter fastställer inte instruktionskvalitet eller en matchad kvalitetshastighet ranking. Befintlig-modell latens och minnescertifiering är fortfarande oavslutande.

Turn-taking forskning kräver nu mer än en slutpunkt

Forskning snapshot: 30 Oktober 2026.. . . Officiell TurnBench hålls ut innehåller nyare inlagor bortom papperets ursprungliga baslinjer. p99 Systemuppbyggnad beskriver 6.1 miljoner inlärda parametrar, extra klassificeringshuvuden och en vändningspolitik som använder båda ljudkanalerna. Apache 2.0 nedladdning innehåller 5.3-miljon-parameter mono modell. Vår tur-tabell innehåller den nedladdningsbara kontrollpunkten.

LiveKits eot-bench kompletterar detta med verkliga human-till-agent-svängningar i 14-språk. Det sveper utpekande politik och jämför latens vid en fast falsk avvägning budget, inklusive hela avvägning kurva. Det är ett användbart nästa steg för en flerspråkig produkt eftersom en tröskel som fungerar på engelska behöver inte passar ett annat språk.

MultiParty TurnBenchDen här månaden utökar golvkontrollen till två till fem högtalare. Dess författare rapporterar stark turn-entry-prestanda tillsammans med selektiv avbrottshantering för de utvärderade agenterna. De genererade konversationerna ger kontrollerade tester, med real-audio-kontroller som behövs tillsammans med dem. Möten och delade rum kräver mer än att förlänga en tvåhögtalare endpoint-regel.

Full-Duplex-Bench v3 par verkligt disfluent tal med kedjade verktygssamtal, exponera självkorrigeringar och flerstegsfel. DuplexAct, även lämnat in denna månad, utvärderar interaktionsåtgärder och om agenten följer igenom. Vi ser dessa som kompletterande tester för gapet mellan att upptäcka en händelse och slutföra en användbar interaktion. Vi har inte kört dessa nyare referensvärden i detta inlägg.

Privat syntes, regisserad dubbning och engelska röstval

Soniqo privat runtime och on-device SDKs ger byggstenar för talapplikationer i din egen miljö. Vi arbetar med team som bygger uttrycksfull syntes och känslomässigt riktade dubbningspipelines: behålla de avsedda orden, välj en röst, leverera en leverans kort, sedan granska resultatet i sammanhanget.

Du kan ansluta en röst-design backend i syntesstadiet samtidigt som du håller vänd policy och verktygsutförande separat. För en berättad scen kan programmet ange lugn återförsäkring eller stigande brådskande snarare än att dra slutsatsen av en känsla och ändra prestanda utan en regissörs kontroll. Ett dubbningsarbetsflöde behöver också timing, talarkontinuitet och en lyssnande översyn; de tre riktmärkena ovan certifierar inte det kompletta arbetsflödet.

Engelska röstval inkluderar Amerikanska och brittiska förinställda röster i Kokoro katalog. Style-medvetna backends lägger till naturspråkiga röstkort. Förinställt urval, röstdesign och kloning är distinkta kontroller och stöd varierar beroende på modell. En efterfrågad regional accent behöver utvärdering med lyssnare som är bekanta med den sorten; transkription noggrannhet och likhet gör inte äktighet.

Med en lokal backend och modelltillgångar som tillhandahålls kan syntesen stanna i distributionsmiljön. Den exakta utplaceringen och modellvalet beror på målhårdvaran och modellens villkor. Forsknings-bara referensdata och begränsade modellvikter är inte en filt kommersiell licens.

De val som dessa mätningar stöder

• Välj en vändningspolicy genom sin operativa punkt. I vår dev-skiva erbjuder VAP och Mimi olika återkallelse, falska larm och fördröjning av avvägningar. Nuvarande utsedda forskning har gått bortom de ursprungliga baslinjerna.
• Räkna fullständiga verktygsförfrågningar. I vår tio-action-inställning valde Nova rätt verktyg på 643-stödda förfrågningar; 368 hade också matchande argument. Felaktiga värden och saknade fält stod för klyftan.
• Testleverans genom instruktionstyp. Role-play är ett svagare område i flera körningar. The VoiceDesign pilot garanterar en större matchad jämförelse, snarare än ett påstående om en ny total vinnare.

Våra nästa användbara mätningar är en större VoiceDesign-kohort med matchad bedömning, flerspråkig slutpunktering vid fasta cutoff-hastigheter och interaktionstest som bär en korrigering till det slutliga verktyget. Mänsklig granskning av accent, naturlighet och prestanda kontinuitet hör tillsammans med de automatiska poängen för produktionsröst arbete.

Läsa läsa Levande resultat och protokoll, utforska speech-swifteller diskutera en privat utplaceringTabellerna ovan behåller körstorlekarna och inställningarna från den länkade ögonblicksbilden.