Měření hlasových agentů: střídání replik, volání nástrojů a expresivní řeč

Tři měření pro tři rozhodnutí

Tyto tři schopnosti měříme odděleně. Asistent může počkat, až dokončíte mluvení a stále si vybrat špatný nástroj. To může také jasně mluvit, zatímco chybí emoce nebo styl, který jste chtěli.

Projeli jsme místní modely na Apple M5 Pro se 48 GiB paměti. Pro cloudové služby jsme testovali verze a nastavení modelu uvedené ve výsledcích.

Každá sekce vysvětluje, kolik nahrávek jsme použili, které jazyky jsme testovali a všechny výsledky jsou stále kontrolovány. Tyto detaily vám pomohou porovnat skóre.

TurnBench: když je pauza otočením

TurnBench rozlišuje reproduktor od pauzy uvnitř zatáčky. Rozlišuje také přerušení od backchannel jako je "mm- hmm". Níže uvedená tabulka se zaměřuje na detekci konce-of-turn.

Použili jsme veřejné developerské nahrávky TurnBench a jeho vlastní bodovací kód. Tabulka ukazuje rozběh pro každý model. Oficiální žebříček používá samostatnou testovací sadu.

Poučit je podíl reálných turn končí model detekuje. FPR (poměr epider- pozitivní) je podíl označených pauz v zatáčce, se kterou se špatně zachází jako s dokončováním reproduktoru.

Naše žebříček objednává modely od Youdenův J. (J = recovery − FPR), zobrazeno jako J × 100; vyšší je lepší. oficiální zkušební žebříček řadí modely podle stažení, umístění těch s FPR nad 15% pod ty, které splňují limit.

VAP má nejvyšší Youdenův J v našem srovnání pěti konverzací: 88.2% a 7.4% FPR. Mimi dělá méně falešných detekcí, na 2.0%, ale zachytí méně turn konce a trvá déle rozhodnout.

VAP (Projekce hlasové aktivity) Poslouchá oba reproduktory na oddělených audio kanálech a předpovídá jejich nadcházející činnost v řeči. Využívá nedávný rozhovor k odhadu, zda bude současný reproduktor pokračovat nebo předat druhé osobě. Výzkum VAP ukazuje, že se učí používat podněty v hlase, jako je nadhoz a rytmus.

Verze, kterou jsme spustili, byla dále vyškolena na 104 hodiny konverzačního zvuku od otoSpeech. Náš výklad je takový, že tento trénink a jeho pohled na oba řečníky pomáhají vysvětlit jeho silný výsledek v našem srovnání.

Také jsme testovali stahovatelné p99 CoreML model a oba VAP export na dvou vývojových rozhovorech: 148 turn endings a 94 pauzy uvnitř turn, pomocí pevných politik rozhodování. p99 zachytil 134 konce se 15 falešných detekcí; jak VAP exportů chytil 124 se dvěma falešných detekcích. Každý vývoz udělal stejná rozhodnutí o událostech jako jeho původní kontrolní bod. validační protokol Zaznamenává vstupy a knoflíky. Řádek VAP si ponechá větší pětikonverzační běh.

V p99 CoreML a VAP CoreML modely mají speech-swift API. VAP ONNX protéká C++ a Android Runy. integrační příručka pokrývá stahování a audio vstupy. Vaše aplikace nastavuje politiku odezvy.

SLURP: volba akce z mluvených příkazů

SLURP obsahuje promluvený home- asistent žádosti s anoted akce a hodnoty argumentů. V našem routingovém testu, každý záznam přichází s deseti kandidátských akcí a ne-akce možnost.

Naše 1,000-Nahrávání nastavení zahrnuje 810 žádosti se správnou dostupnou akcí a 190 Neočekáváme, že na to dojde. 190 požadavky. Tím se kontroluje, zda model nevyhovuje žádosti, když není k dispozici jeho činnost.

Většina systémů používá záznamy 1,000, včetně blízkého-talk a far- pole audio. Far- mic přesnost měří správné volby na nahrávky z vzdálenější, kdy je k dispozici požadovaný nástroj. Volání i přes chybějící nástroj počítá požadavky, kde systém vrátil akci, i když anotovaný nástroj nebyl přítomen. Shlukuje detailní-talk a far- pole nahrávky, a neměří aktivaci z pozadí řeči nebo mlčení. Tabulka ukazuje přesné počty.

Místní Parakeet → Gemma 4 E2B Potrubí dosahuje 75.2% farmická přesnost, blízko Nova 75.9% a za GPT Audio 83.0%Ale na... 190 žádosti, jejichž správný nástroj nebyl k dispozici, Gemma stále zvolil akci 88 časy: its 46.3% Jeden příklad byl "smazat položku": s odstraněním seznamu není k dispozici, zvolil odstranění kalendáře. 88 požadavky, jejichž správný nástroj byl k dispozici, a zvolil špatný nástroj na jiném 69.

Jev a GLiNER oba vybrat správný nástroj na 311 ze dne 423 podporované farmic požadavky, giving 73.5% přesnost. Jejich chování se mění, když chybí správný nástroj: Jev stále vybere akci na 22 z 190 žádosti (11.6%), zatímco GLiNER tak činí 74 (39.0%). Například, GLiNER interpretoval požadavek na snížení hlasitosti reproduktoru jako stmívání světla, když objem nástroj nebyl přítomen. Tyto příklady zvolily jinou akci od jednoho požadovaného. Široší popisy nástrojů mohou také překrývat: žádost o recept může být zaslán na obecný vařící nástroj. Náš počet následuje anoted záměr, takže se neprokáže, že každá alternativa byla sémanticky nepřiměřená.

Nova má nejvyšší skóre pro srovnání jak nástroj a všechny požadované hodnoty argumentů: 45.4%nebo 368 z 810 podporované požadavky. Zvolila správný nástroj na 643 požadavky, ale argumenty selhaly zápas na 275 V 147 případy, kdy se hodnoty liší od referenční hodnoty; jiný 128 vynechal alespoň jeden argument, někdy spolu s rozdíly v hodnotě.

Nejčastější nesoulad hodnot byl čas, který se objevil v 34 těchto případů. Také jsme viděli chybějící data a špatně pojmenovaná pole. Pro požadavek na alarm, který zahrnoval "tento týden", Nova vrátil čas, ale vynechal datum. Některé poruchy jsou textové rozdíly: "lasagne" neodpovídá reference "lasagně" pod tímto přísným textovým srovnáním. Skóre počítá oba druhy nesouladu.

InstructTTSEval: dodávka má své vlastní poruchové režimy

Pro InstructTTSEval, Držíme mluvené skripty pevné a generovat samostatné klipy pomocí tří typů instrukcí:

• APS (Specifikace akustického parametru) poskytuje podrobné nastavení hlasu, jako je rozteč, tempo, hlasitost a hlasitost. Například: "Nízká rozteč, pomalé tempo, měkký objem a mírně dýchající hlas."
• DSD (směrnice o popisech) popisuje dodání v přirozeném jazyce, nechává otevřené některé hlasové znaky. Například: "Mluv vřele a svědomitě."
• RP (Rolery-Play) dává charakter nebo situaci a žádá model, aby odhadl, jak zní. Například: "Jste lékař uklidňující úzkostlivý pacient."

Procento pro každý typ ukazuje, jak často generovaná řeč následovala tento pokyn.

Větší kohorta obsahuje 25 English a 25 čínské zdrojové linky, po třech kontrolách: 150 klipy na systém. Nova pokrývá 25 anglické linky, se 75 kontroly. Celkově je celkový průsmyky vydělené celkovou kontrolou; se stejnou velikostí úloh, je to průměr APS, DSD a RP. Uložené Gemini Pro soudce dodává styl verdicts, zatímco transkripce kontroluje řečená slova samostatně.

Původní nahrávky jsou lidské zdroje audio. Skórujeme je se stejnými pokyny a soudce používá pro 150-check běží dát syntetizované hlasy referenční bod. Jejich 73.3% znamená, že soudce přijal 110 z 150 instrukčních kontrol.

Na sobě shodné 150-zkontrolovat kohortu, FireRedTTS3-Instruct skóre 65.3% a MOSS- VoiceGeneGeneGenerator skóre 56.0%. Google je TTS Skóre běžící 67.3%Na... 75 Anglické šeky, FireRed skóre 72.0%, MOSS 52.0% a Google 72.0%. VoxCPM2Je to tak? BF16 Běh zůstává na 59.3%; jeho role-play výsledek, 46.0%, je slabší než jeho hlas-popis a výsledky směru. Qwen Skóre uživatelského hlasového bodu 52.7%, versus 48.0% pro menší experimentální-vstupní běh. Velikost sama neurčila skóre.

Naše ElevenLabs instrution-to-tag konverze klesl požadovaný zpěv a některé změny emocí. CosyVoice3 selhaly kontrola obsahu slov na 48 z klipů 50 APS; jeho generace nastavení také vynechal referenční kondicionování přítomné v oficiální implementaci. Tyto problémy stále potřebují korekt- vstup validace. Ryba je korigovaný běh a několik dalších řádků obsahují soudce odpovědi, které tvrdily, že zvuk byl nedostupný; my zachovat tyto verdikty a označit ovlivněné řádky prozatímní. To jsou výsledky pro naše porty, vstupní adaptéry a soudce, spíše než zjištění, že model proti proudu má stejné limity v každé realizaci.

Většina selhání na lidských nahrávkách jsou v roleplay: 29 50 kontroly selže, ve srovnání s osmi pro APS a tři pro DSD. Skutečný záznam může odpovídat podrobný popis hlasu, ale neodpovídá roli, která mu byla přidělena, a soudce může také dělat chyby. Referenční řádek nám pomáhá interpretovat skóre pokynů, nehodnotí kvalitu lidské řeči.

Hlasová konstrukce může být syntetický backend

Qwen 's VoiceDesign checkpoint generuje hlas z písemného popisu. CustomVoice místo toho používá pokyny k zvolenému přednastavenému hlasu. Záležitost kontrolního bodu a ovládacího kanálu: pole s názvem "instrukce" nedává modelu schopnost, kterou nikdy nebyl vyškolen k použití.

Testovali jsme Qwen3-TTS 1.7B VoiceDesign a Breeze TTS 2 na stejných pěti anglických a pěti čínských zdrojů, přičemž 30 kontroly na model. Čtyři kalibrační kontroly jsou mimo jejich skóre. Udrželi jsme všechny výstupy, včetně jednoho spoken- slovo vlajky na model.

VoiceDesign prošel 23/30 kontroly a Breeze prošel 20/30. S deseti zdrojovými nahrávkami sdílených na všech třech úkolech, je to vývojová obrazovka. 10-bodový rozdíl má široký interval source- cluster, který obsahuje nulu. Nastavení soudce se také liší od větší kohorty, takže pilot neprokáže, že VoiceDesign předčí Google 67.3% výsledek.

FireRedTTS3-Instruct a MOSS- VoiceGeneGenerator nyní každý má 150 kontrola stylu v tabulce výše. Samostatná kontrola obsahu označená 0/150 Ohnivzdorné spony a 12/150 MOSS klipy pro slovní chybu nad 30%. Jejich krátké-script runtime vzorky zůstávají v prostoru. První k dispozici PCM bylo o 4.50 s pro FireRed a 0.47 s pro MOSS na teplém anglickém skriptu; FireRed vrací kompletní vlnovou formu, zatímco MOSS proudy. Tyto časové rozvrhy nestanovují kvalitu návodu ani odpovídající kvality- rychlostní pořadí. Stávající model latence a certifikace paměti zůstává neprůkazné.

Výzkum, který se zabývá Turn- taking nyní žádá o více než jeden cílový parametr

Výzkumný snímek: 30 říjen 2026. oficiální desce TurnBench held- out zahrnuje novější podání za původní základní linie papíru. p99 systém- up popisuje 6.1 miliony učených parametrů, extra klasifikační hlavy a politika otáčení, která používá oba audio kanály. Apache 2.0 stáhnout obsahuje model 5.3-million-parametr mono. Naše turn-taking tabulka obsahuje, že ke stažení kontrolní bod.

LiveKit 's eot- lavice Doplňuje to s reálnými lidskými-to-agent otáčí v jazycích 14. Smetá koncové politiky a porovnává latenci na pevném promlčení rozpočtu, včetně celé křivky obchodování. To je užitečný další krok pro mnohojazyčný produkt, protože práh, který funguje v angličtině nemusí vyhovovat jinému jazyku.

MultiParty TurnBench, Předloženo tento měsíc, rozšiřuje ovládání podlahy na dva až pět řečníků. Jeho autoři hlásí silný turn-entry výkon spolu s nepatrným výběrovým přerušením manipulaci hodnocených agentů. Jeho generované konverzace poskytují řízené testy, s real-audio kontroly potřebné vedle nich. Setkání a sdílené místnosti vyžadují více než rozšíření dvoureprodukčního koncového pravidla.

Full- Duplex- Bench v3 páruje skutečně nesouvislý projev s řetězovými telefonáty, odhaluje sebekorekce a multikrokové poruchy. DuplexActTento měsíc také předkládá hodnocení interakčních akcí a toho, zda agent pokračuje. Vidíme je jako doplňkové testy pro rozdíl mezi odhalením události a dokončením užitečné interakce.

Soukromá syntéza, režírování dabingu a anglická volba hlasu

Soniqo soukromé runtime a on-device SDKs poskytovat stavební bloky pro aplikace řeči ve vašem vlastním prostředí. Pracujeme s týmy budování expresivní syntézy a emocionálně řízených dabing potrubí: zachovat zamýšlená slova, vybrat hlas, dodat doručovací stručný dokument, pak přezkoumat výsledek v kontextu.

Můžete připojit hlasový-design backend do fáze syntézy při zachování turn politiky a provádění nástroje odděleně. Pro vyprávěné scény, aplikace může specifikovat klidné ujištění nebo rostoucí naléhavost spíše než infer emoce a změnit výkon bez řízení režiséra. Dublování pracovní postup také potřebuje načasování, reproduktor kontinuity a hodnocení poslechu; tři referenční hodnoty výše nepotvrzují, že kompletní pracovní postup.

English voice volbations include Americké a britské přednastavené hlasy v katalogu Kokoro. Styleaware backends add natural- language hlasové slipy. Preset výběr, hlasový design a klonování jsou odlišné kontroly, a podpora se liší podle modelu. Požadovaný regionální přízvuk potřebuje hodnocení s posluchači obeznámeni s touto odrůdou; přesnost přepisu a reproduktor podobnost nestanovují pravost.

S lokálním backendem a zajištěným modelovým majetkem může syntéza zůstat v prostředí nasazení. Přesné nasazení a volba modelu závisí na cílovém hardwaru a podmínkách modelu. Výzkumné referenční údaje a omezené hmotnosti modelu nejsou dekou obchodní licence.

Volby, které tato měření podporují

• Vyberte si turn politiku podle svého provozního bodu. V našem dev plátku, VAP a Mimi nabízejí různé recovery, equi- alarm a zpoždění obchodování. Současný held- out výzkum se přesunul za tyto původní základní linie.
• Spočítejte kompletní požadavky na nástroje. V našem nastavení ten- action, Nova zvolila správný nástroj na 643 podporované požadavky; 368 také měl odpovídající argumenty. Špatné hodnoty a chybějící pole započítávají mezeru.
• Zkušební dodávka podle typu pokynu. Rolery-play je slabší oblast v několika bězích. VoiceDesign pilot vyžaduje větší odpovídající srovnání, spíše než tvrzení o novém celkovém vítěze.

Naše další užitečná měření jsou větší VoiceDesign cohort s odpovídající hodnocení, vícejazyčné koncové ukazující na pevné cutoff sazby, a interakční testy, které nesou korekci přes konečné nástrojové volání. Lidské hodnocení přízvuku, přirozenost a kontinuity výkonu patří vedle automatické skóre pro výrobu hlasové práce.

Přečtěte si živé výsledky a protokoly, objevovat speech-swift, nebo diskutovat o soukromé nasazení. Tabulky výše si uchovají velikost a nastavení chodu z připojeného snímku.