Spraakassistenten meten: gespreksbeurten, toolaanroepen en expressieve spraak

Drie metingen voor drie beslissingen

We meten deze drie vermogens afzonderlijk. Een assistent kan wachten tot je het spreken afmaakt en nog steeds het verkeerde gereedschap kiest. Het kan ook duidelijk spreken terwijl het ontbreekt aan de emotie of stijl waar je om vroeg.

We hebben de lokale modellen op een Apple M5 Pro uitgevoerd met 48 GiB geheugen. Voor clouddiensten hebben we de modelversies en instellingen getest die in de resultaten staan.

Elke sectie legt uit hoeveel opnames we gebruikten, welke talen we getest hebben en welke resultaten er nog gecontroleerd werden. Deze details helpen je de scores te vergelijken.

TurnBench: wanneer een pauze een turn-end is

TurnBench onderscheidt een speaker afwerking van een pauze in een bocht. Het onderscheidt ook een onderbreking van een backchannel zoals

We hebben gebruik gemaakt van TurnBench. publieke ontwikkelingsopnames en een eigen scorecode. De tabel toont de rungrootte voor elk model. Het officiële leaderboard maakt gebruik van een aparte testset.

Herinneren is het aandeel van echte draaieinden het model detecteert. FPR (valspositief percentage) het aandeel van gelabelde pauzes binnen een beurt dat het verkeerd behandelt als de spreker afwerking.

Ons leaderboard bestelt modellen door Youden. J. (J = terugroepen − FPR), weergegeven als J ×100; hoger is beter. officieel testleiderbord rangschikt modellen door terugroepen, het plaatsen van degenen met een FPR boven 15% onder degenen die aan de limiet voldoen.

VAP heeft de hoogste Youden. J in onze vijf-gespreksvergelijking: 88.2% recall en 7.4% FPR. Mimi maakt minder valse detecties, bij 2.0%, maar vangt minder turn ends en duurt langer om te beslissen.

VAP (Voice Activity Projection) luistert naar beide sprekers op aparte audiokanalen en voorspelt hun komende spraakactiviteit. Het gebruikt het recente gesprek om te schatten of de huidige spreker doorgaat of aan de andere persoon zal worden overgedragen. Onderzoek naar VAP toont aan dat het leert om signalen in de stem te gebruiken, zoals toonhoogte en ritme.

De versie die we liepen werd verder getraind op 104 uren conversatie audio van OtoSpeechCity in New Jersey USA. - Onze interpretatie is dat deze training en de visie van beide sprekers helpen om het sterke resultaat van onze vergelijking te verklaren.

We hebben ook getest de downloadbare p99 CoreML model en beide VAP export op twee ontwikkelingsgesprekken: 148 de einden draaien en 94 pauzeert binnen een bocht, met behulp van vaste beslissingsbeleid. p99 gevangen 134 eindigt op 15 valse detecties; beide VAP Uitvoer gevangen 124 met twee valse detecties. Elke export maakte dezelfde gebeurtenis beslissingen als zijn oorspronkelijke controlepunt. valideringsprotocol registreert de ingangen en cutoffs. De VAP rij behoudt de grotere vijf-gespreks run.

De p99 CoreML en VAP CoreML modellen hebben speech-swift API's. VAP ONNX loopt door de C++ en Android runtimes. integratiegids omvat downloads en audio-ingangen. Uw toepassing stelt het reactiebeleid.

SLURP: een actie kiezen uit gesproken opdrachten

SLURP bevat gesproken huisassistentverzoeken met een geannoteerde actie- en argumentwaarden. In onze routing-test wordt elke opname geleverd met tien kandidaat-acties en een no-action-optie.

Onze 1.000-recording setup bevat 810 verzoeken met de juiste actie beschikbaar en 190 met die actie niet weergegeven. We verwachten geen actie op die 190 verzoeken. Dit controleert of het model een verzoek afwijst wanneer zijn actie niet beschikbaar is.

De meeste systemen gebruiken 1.000 opnames, waaronder close-talk en verre-veld audio. Verre-maire nauwkeurigheid meet de juiste keuzes bij opnames die van veraf zijn gemaakt, wanneer het gevraagde hulpmiddel beschikbaar is. Kalt ondanks een ontbrekende tool telt verzoeken waar het systeem een actie terug heeft gegeven, ook al was het niet aanwezig.

De lokale Parakeet → Gemma 4 E2B pijpleiding bereikt 75.2% verre-mic nauwkeurigheid, dicht bij Nova 75.9% en achter GPT Audio 83.0%. Maar op de 190 verzoeken waarvan de juiste tool niet beschikbaar was; Gemma nog steeds een actie gekozen 88 tijden: het 46.3% false-activation rate. Een voorbeeld was ..delete item ..: met lijst verwijderen niet beschikbaar, het koos agenda verwijderen. Het ook afgewezen 88 verzoeken wiens juiste gereedschap beschikbaar was en het verkeerde gereedschap op een ander heeft geselecteerd 69.

Jev en Gliner kiezen beide het juiste gereedschap op 311 van de 423 ondersteund verre-mic verzoeken, geven 73.5% nauwkeurigheid. Hun gedrag verandert wanneer het juiste gereedschap ontbreekt: Jev kiest nog steeds een actie op 22 van 190 verzoeken (11.6%), terwijl GLINER dat doet 74 (39.0%) Bijvoorbeeld, GLINER interpreteerde een verzoek om een lager luidsprekervolume als dimmen van een licht wanneer het volume gereedschap was afwezig. Deze voorbeelden geselecteerd een andere actie dan de gevraagde. Bredere tool beschrijvingen kunnen ook overlappen: een recept verzoek kan worden verzonden naar een algemene kookgereedschap. Onze telling volgt de geannoteerde intentie, dus het niet bewijst dat elk alternatief semantisch onredelijk was.

Nova heeft de hoogste score voor het aanpassen van zowel de tool als alle vereiste argumentwaarden: 45.4%, of 368 van 810 ondersteunde verzoeken. Het koos voor de juiste tool op 643 verzoeken, maar de argumenten faalden de match op de 275 daarvan. In 147 gevallen verschilden de waarden van de referentie; een andere 128 liet ten minste één argument achterwege, soms naast waardeverschillen.

De meest voorkomende waarde mismatch was een tijd, verschijnen in 34 van die gevallen. We zagen ook ontbrekende datums en verkeerd aangeduide velden. Voor een alarm verzoek dat deze week inbegrepen,... Nova gaf de tijd terug, maar liet de datum. Sommige fouten zijn formulering verschillen: Lasagna .. komt niet overeen met de referentie ..lasagne ..onder deze strikte tekst vergelijking. De score telt beide soorten van mismatch.

InstructTTSEval: levering heeft zijn eigen foutmodi

Voor InstructTTSEval, we houden het gesproken script vast en genereren aparte clips met behulp van drie soorten instructie:

• APS (Acoustic-Parameter Specification) geeft gedetailleerde stem instellingen, zoals toonhoogte, tempo, volume en vocale textuur. Bijvoorbeeld: . .Low pitch, langzaam tempo, zacht volume en een licht ademende stem.
• DSD (descriptive-style-richtlijn) beschrijft de levering in natuurlijke taal, waardoor sommige stemeigenschappen open. Bijvoorbeeld: • Spreek hartelijk en geruststellend. •
• RP (Role-Play) geeft een karakter of situatie en vraagt het model om af te leiden hoe te klinken. Bijvoorbeeld:

Het percentage voor elk type toont hoe vaak de gegenereerde spraak die instructie volgde.

De grotere cohort bevat 25 Engels en 25 Chinese bronlijnen, drie controles elk: 150 clips per systeem. Nova bestrijkt de 25 Engelse lijnen, met 75 controles. Over het geheel genomen is totale passen gedeeld door totale controles; met gelijke taakgroottes, het is het gemiddelde van APS, DSD en RP. Een opgeslagen Gemini Pro rechter levert de stijl vonnissen, terwijl transcriptie controleert de gesproken woorden afzonderlijk.

Originele opnames We scoren ze met dezelfde instructies en rechter gebruikt voor de 150-check draait om de gesynthetiseerde stemmen een referentiepunt te geven. Hun 73.3% betekent dat de rechter geaccepteerd 110 van 150 instructie controles.

Op de match 150- controle cohort, FireRedTTS3-Instruct scores 65.3% en MOSS-VoiceGenerator scores 56.0%. Google TTS run scores 67.3%. Op de 75 Engelse cheques, FireRed scores 72.0%, MOSS 52.0% en Google 72.0%. VoxCPM2. BF16 run blijft op 59.3%; het resultaat van het rollenspel, 46.0%, is zwakker dan de stem-beschrijving en richting resultaten. Qwen AangepasteVoice checkpoint scores 52.7%, versus 48.0% voor de kleinere experimentele-input run. Grootte alleen niet bepaald de score.

Onze ElevenLabs Instructie-naar-tag conversie geschrapt gevraagd zingen en wat emotie veranderingen. CosyVoice3 fout bij het controleren van woordinhoud 48 van 50 APS clips; de generatie setup ook weggelaten referentie conditionering aanwezig in de officiële implementatie. Deze problemen moeten nog gecorrigeerd-input validatie. Vis gecorrigeerd run en een aantal andere rijen bevatten rechter antwoorden die beweerde audio niet beschikbaar was; we behouden die uitspraken en markeren de betreffende rijen voorlopig. Dit zijn resultaten voor onze poorten, input adapters en rechter, in plaats van een bevinding dat een upstream model heeft dezelfde grenzen in elke implementatie.

De meeste fouten op de menselijke opnames zijn in role-play: 29 van 50 controles falen, vergeleken met acht voor APS en drie voor DSD. Een echte opname kan passen bij een gedetailleerde stem beschrijving nog niet overeenkomen met de rol toegewezen aan het, en de rechter kan ook fouten maken. De referentie rij helpt ons instructiescores te interpreteren; het geeft geen waardering voor de kwaliteit van de menselijke spraak.

Spraakontwerp kan een synthese backend zijn

Qwen genereert een stem uit een schriftelijke beschrijving. CustomVoice in plaats daarvan past aanwijzingen toe op een geselecteerde vooraf ingestelde stem. Het controlepunt en controlekanaal materie: een veld genaamd .Instructie geeft geen model een mogelijkheid die het nooit is getraind om te gebruiken.

We hebben getest. Qwen3-TTS 1.7B VoiceDesign en Breeze TTS 2 op dezelfde vijf Engelse en vijf Chinese bronnen, geven 30 Vier kalibratie controles zijn buiten hun scores. We hebben alle outputs behouden, inclusief één gesproken-woord vlag per model.

VoiceDesign geslaagd 23/30 controles en Breeze goedgekeurd 20/30. Met tien bron opnames gedeeld over de drie taken, dit is een ontwikkelscherm. 10-point verschil heeft een brede bron-cluster interval dat nul bevat. De rechter instelling verschilt ook van de grotere cohort, zodat de piloot niet vaststelt dat VoiceDesign overtreft Google 67.3% resultaat.

FireRedTTS3-Instruct en MOSS-VoiceGenerator nu elk hebben 150 stijl controles in de tabel hierboven. De aparte inhoud controleren gemarkeerd 0/150 FireRed clips en 12/150 MOSS clips voor woordfout boven 30%. Hun korte-script runtime samples blijven in de ruimte. Eerste beschikbare PCM was ongeveer 4.50 s voor FireRed en 0.47 s voor MOSS op het warme Engelse script; FireRed geeft een complete golfvorm terug terwijl MOSS streams. Deze timings niet het vaststellen van instructie kwaliteit of een gematchte kwaliteit-snelheid rangschikking. Bestaande-model latency en geheugen certificering blijft niet overtuigend.

Draaiend onderzoek vraagt nu om meer dan een eindpunt

Onderzoekssnapshot: 30 oktober 2026. De officieel TurnBench-uitgehouden board bevat nieuwere inzendingen dan de oorspronkelijke basislijnen van het papier. p99 systeemopmaak beschrijft 6.1 miljoen geleerde parameters, extra classificatie hoofden en een draaibeleid dat beide audiokanalen gebruikt. Apache 2.0 download bevat het monomodel 5.3-miljoen-parameter. Onze draaitafel bevat dat downloadbare controlepunt.

LiveKits eot-bench Dit wordt aangevuld met echte mens-tegen-agent draait in 14 talen. Het veegt endpointing beleid en vergelijkt latency op een vaste false-cutoff budget, met inbegrip van de volledige tradeoff curve. Dat is een nuttige volgende stap voor een meertalig product omdat een drempel die werkt in het Engels niet hoeft te passen bij een andere taal.

MultiParty TurnBench, ingediend deze maand, breidt vloercontrole uit tot twee tot vijf sprekers. De auteurs melden sterke draai-entry prestaties naast bijna-kans selectieve onderbreking behandeling voor de geëvalueerde agenten. De gegenereerde gesprekken bieden gecontroleerde testen, met echte audio controles nodig naast hen. Vergaderingen en gedeelde kamers vereisen meer dan het verlengen van een twee-luidspreker eindpunt regel.

Full-Duplex-Bench v3 paren echte disfluent speech met geketende tool calls, blootleggen van zelfcorrecties en multi-stap mislukkingen. DuplexAct, ook ingediend deze maand, evalueert interactie acties en of de agent door. We zien deze als complementaire tests voor de kloof tussen het detecteren van een gebeurtenis en het voltooien van een nuttige interactie. We hebben deze nieuwere benchmarks niet uitgevoerd in deze post.

Private synthese, gerichte nasynchronisatie en Engelse stemkeuzes

Soniqo privé-runtime en on-device SDK's Wij werken samen met teams die expressieve synthese en emotioneel gerichte nasynchronisatie-pijpleidingen bouwen: behoud de beoogde woorden, kies een stem, lever een leveringsbriefje, bekijk het resultaat in context.

U kunt een voice-design backend aansluiten in de synthese fase terwijl het draaien beleid en de uitvoering van de tool gescheiden houden. Voor een verteld scene, kan de toepassing kalme geruststelling of stijgende urgentie in plaats van een emotie en veranderen van de prestaties zonder een regisseur . Een nasynchronisatie workflow moet ook timing, luidspreker continuïteit en een luisterverslag; de drie benchmarks hierboven niet verklaren dat volledige workflow.

De Engelse stemkeuzes omvatten Amerikaanse en Britse vooraf ingestelde stemmen in de Kokoro catalogus. Stijlbewuste backends voegen een natuurlijke taalstembrief toe. Voorinstellingsselectie, spraakontwerp en klonen zijn verschillende besturingselementen en ondersteuning varieert per model. Een gevraagd regionaal accent moet geëvalueerd worden bij luisteraars die die verscheidenheid kennen; transcriptienauwkeurigheid en luidsprekervergelijkbaarheid bevestigen geen authenticiteit.

Met een lokale backend en model activa voorzien, synthese kan blijven in de implementatie-omgeving. De exacte implementatie en modelkeuze zijn afhankelijk van de doel hardware en de modelvoorwaarden. Onderzoek-alleen benchmark gegevens en beperkte modelgewichten zijn geen algemene commerciële licentie.

De keuzes die deze metingen ondersteunen

• Kies een draaibeleid door het operationele punt. In onze dev-slice bieden VAP en Mimi verschillende recall, vals alarm en vertraging tradeoffs. Huidig hold-out onderzoek is verder gegaan dan die oorspronkelijke basislijnen.
• Tel complete gereedschapsverzoeken. In onze tien-actie setup koos Nova voor de juiste tool op 643 ondersteunde verzoeken; 368 had ook passende argumenten. Verkeerde waarden en ontbrekende velden zorgden voor de kloof.
• Testlevering per instructietype. Role-play is een zwakker gebied in meerdere runs. De VoiceDesign pilot garandeert een grotere gelijke vergelijking, in plaats van een claim van een nieuwe algemene winnaar.

Onze volgende nuttige metingen zijn een groter VoiceDesign cohort met gematchte oordelende, meertalige eindpunten bij vaste cutoff rates, en interactietests die een correctie dragen tot de uiteindelijke tool call. Menselijke beoordeling van accent, natuurlijkheid en performance continuïteit hoort naast de automatische scores voor productie stemwerk.

Lees het live resultaten en protocollen, verken speech-swift, of bespreken een particuliere inzet. De bovenstaande tabellen behouden de run groottes en instellingen van de gekoppelde snapshot.