Pagsukat sa mga voice agent: salitan sa pagsasalita, pagtawag sa mga tool at ekspresibong pananalita

Tatlong sukat para sa tatlong pasiya

Maaari ka ring maghintay ng isang katulong para matapos mo ang pagsasalita at pumili pa rin ng maling kasangkapan.

Pinatakbo namin ang lokal na mga modelo sa isang Apple M5 Pro na may 48 GiB ng alaala. para sa mga serbisyo ng ulap, sinubok namin ang mga modelong bersyon at setting na nakatala sa mga resulta.

Ipinaliliwanag ng bawat seksiyon kung gaano karaming rekording ang ginagamit namin, kung aling wika ang sinusuri namin at kung anumang resulta ang sinusuri pa.

TurnBench: kapag ang paghinto ay isang baligtad na wakas

TurnBench Ang isang speaker na nagtatapos mula sa isang sandaling paghinto sa loob ng isang pag-ikot ay nagpapakita rin ng isang pagkagambala mula sa isang back channel tulad ng ifm-hmm.[T] Ang ating mesa sa ibaba ay nakatuon sa end-of-turn detection.

Gumamit kami ng TurnBench ifics public development recordings at ng sarili nitong stack code.Ang table ay nagpapakita ng running sukat para sa bawat modelo. Ang opisyal na leaderboard ay gumagamit ng hiwalay na test set.

Alalahanin ay ang bahagi ng tunay na pag-ikot na nagtatapos sa modelong sensables. FPR (maling-positive rate) ay ang bahagi ng tinatawag na mga sandaling paghinto sa loob ng isang pagkakataon na maling pinakikitunguhan nito habang natatapos ang tagapagsalita.

Nag - uutos ang aming leaderboard ng mga modelo sa pamamagitan ng Ang mga Mang - uusig na J (J = gunitain − FPR), na tinanghal bilang J ×100; mas mainam ang mas mataas. opisyal na standingboard Maghahanay ng mga modelo sa pamamagitan ng pag-aalala, paglalagay sa mga may FPR na mas mataas sa 15% na mas mababa sa mga nakaaabot sa limitasyon.

Ang VAP ay may pinakamataas na Youdenites J sa ating limang-konversasyong paghahambing: 88.2% recalle at 7.4% FPR. Mimi ang gumagawa ng mas kaunting maling pag-aanalisa, sa 2.0%, ngunit nakakuha ng mas kaunting pag-ikot na pagtatapos at mas matagal na kailangan upang magpasiya.

Proyektong VAP (Voice Activity Projection) makinig sa dalawang tagapagsalita sa magkahiwalay na mga audio channel at hulaan ang kanilang nalalapit na gawain sa pagsasalita. Ginagamit nito ang pag - uusap kamakailan upang tantiyahin kung ang kasalukuyang tagapagsalita ay magpapatuloy o ibibigay sa ibang tao. Pananaliksik sa VAP ay nagpapakita na natututuhan nitong gumamit ng mga hudyat sa tinig, gaya ng tono at ritmo.

Ang bersyon na aming nitakbo ay sinanay pa sa 104 na oras ng pag - uusap mula sa audio otospeech. Ang aming interpretasyon ay na ang pagsasanay na ito at ang pananaw nito sa kapwa tagapagsalita ay tumutulong sa pagpapaliwanag ng malakas na resulta nito sa ating paghahambing.

Sinubukan din namin ang makukuhang download p99 CoreML modelo at kapuwa VAP Transportasyon sa dalawang pag - uusap: 148 lumipat ng dulo at 94 Huminto sandali sa loob ng isang ikot, na ginagamit ang nakapirmeng mga patakaran sa pagpapasiya. p99 nahuli 134 katapusan 15 bulaang mga pagtutop; kapuwa VAP Nahuli ang iniluluwas na mga kalakal 124 Bawat produkto ay may dalawang maling pahiwatig na pareho ang naging desisyon ng orihinal na checkpoint. protocol ng Proteksyon ay nagtatala ng mga input at cutffs. Ang VAP row ay nagpapanatili ng mas malaking limang-conversation run.

Ang p99 CoreML at VAP CoreML may mga modelo speech-swift API. VAP ONNX tumatakbo sa pamamagitan ng C++ at Android Ang mga oras ng pagtakbo. Tulong sa pagsasama - sama Ang inyong aplikasyon ay nagtatakda ng patakaran sa pagtugon.

SLURP: Pagpili ng aksiyon mula sa mga binibigkas na utos

SLURP ay naglalaman ng mga binibigkas na home-asistant na mga kahilingan na may isang annored na aksiyon at mga halaga ng argumento. Sa ating nananaig na pagsubok, ang bawat recording ay dumarating na may sampung kandidatong aksiyon at isang no-action opsiyon.

Ang ating 1,000-recording setup ay kinabibilangan ng 810 requests na may tamang aksiyon na makukuha at 190 na may di-umano'y hindi natuloy ang aksiyong iyon.Hindi tayo umaasa ng aksiyon sa mga hinihinging 190. Ito ay sumusuri kung ang modelo ay tumatanggi sa isang kahilingan kapag ang aksiyon nito ay hindi na makuha.

Karamihan sa mga sistema ay gumagamit ng 1,000 recordings, kabilang ang close-talk at long-field audio. remote-mic perspektibo ay sumusukat ng tamang pagpili sa mga recording na ginawa mula sa mas malayo, kapag ang hiniling na kasangkapan ay makukuha. Tawag sa kabila ng nawawalang kagamitan ang mga kahilingan kung saan ibinalik ng sistema ang isang aksiyon kahit na wala ang kasangkapang analitiko.Ito ay nagrereresulta sa close-talk at malayong-field recordings, at hindi sinusukat ang aksesyon mula sa background na pagsasalita o katahimikan.Ang mesa ay nagpapakita ng eksaktong mga halaga.

Ang lokal Parakeet → Gemma 4 E2B Umaabot ang tubo 75.2% Di-mikroskopikong katumpakan, malapit sa Novaimen 75.9% at sa likod ng GPT Audioiers 83.0%. Ngunit sa mga 190 Na ang kaniyang kagamitan ay hindi magagamit, Gemma pinili pa rin niya ang isang pagkilos 88 ng panahong: ng kaniyang 46.3% Maling-aktibsyon rate. Ang isang halimbawa ay ang icondelete temilerison: na may listahan na nag-aalis ng hindi magagamit, pinili nito ang pagtanggal ng kalendaryo.Ito rin ay tumanggi sa pag-alis. 88 na may tamang kagamitan at pinili ang maling kagamitan sa iba 69.

Sina Jev at GLiNER ay parehong pumipili ng tamang kasangkapan sa 311 ng 423 suportadong mga kahilingan, pagbibigay 73.5% Ang kanilang pag-uugali ay nagbabago kapag ang tamang kasangkapan ay nawawala: si Jev ay pumipili pa rin ng isang aksiyon sa 22 ng 190 mga kahilingan (11.6%), samantalang ginagawa ito ng GLINER 74 (39.0% Halimbawa, binigyang - kahulugan ng GLiNER ang isang kahilingan upang pababain ang tomo ng tagapagsalita bilang pagsisindi ng isang liwanag kapag wala ang kasangkapan sa tomo.Ang mga halimbawang ito ay pumili ng ibang pagkilos mula sa hiniling.Ang mga paglalarawan sa mas malawak na kasangkapan ay maaari ring magkasanib: ang isang kahilingan sa resipe ay maaaring ipadala sa isang panlahat na gamit sa pagluluto.

Ang Nova ang may pinakamataas na iskor sa pagtutugma kapuwa ng kagamitan at ng lahat ng kinakailangang mga pamantayan sa argumento: 45.4%, o 368 ng 810 Tamang kasangkapan ang ginamit dito. 643 ang mga kahilingan, subalit nabigo ang mga argumento sa pagtutugma 275 Sa mga iyon. 147 ang mga pamantayan ay iba sa reperensiya; ang isa naman ay 128 Inalis ang kahit isang pagtatalo, kung minsan ay may kasamang pagkakaiba sa halaga.

Ang pinakamadalas na halaga na mismatch ay isang panahon, na lumilitaw sa 34 ng mga kasong iyon. Nakita rin natin ang nawawalang mga petsa at maling napangalanang mga field. para sa isang alarm request kabilang ang ift this week, ang EX Nova ay bumalik ng oras ngunit iniwan ang petsa. Ang ilang mga kabiguan ay mga pagkakaiba sa pananalita: ang iVelagnaić ay hindi tumutugma sa reference na iflassagneisensiya sa ilalim ng mahigpit na paghahambing na ito ng teksto.Ang iskor ay parehong bumubuo ng dalawang uri ng mismatch.

InstructTTSEval: Ang paghahatid ay may sarili nitong bigong mga paraan

Sapagkat InstructTTSEval, pinananatili naming nakapirme ang binibigkas na script at lumilikha ng hiwalay na mga clip gamit ang tatlong uri ng instruksiyon:

• EKSPE (Acoustic-Parameter speciation) ay nagbibigay ng detalyadong voice setting, gaya ng pitch, bilis, lakas ng boses at tono ng boses. Halimbawa: tono ng boses, mabagal na takbo, mahinang lakas at bahagyang paghinga.
• DSD (Descriptive-Style Directive) Halimbawa: magsalita nang magiliw at nagbibigay ng katiyakan.
• RP (Role-Play) ay nagbibigay ng isang karakter o sitwasyon at humihiling sa modelo na i-infer kung paano mag tunog. Halimbawa: i-i-iberfee ang isang doktor na nakaaaliw sa isang nababalisang pasyente.if.ixi.

Ipinakikita ng persentahe sa bawat uri kung gaano kadalas sinunod ng nalilikhang pananalita ang tagubiling iyan.

Ang mas malaking pangkat ay naglalaman ng 25 Ingles at 25 Mga linyang Tsino na pinagkunan ng impormasyon, tatlong tseke ang bawat isa: 150 Sinasaklaw ng Nova ang bawat sistema 25 Mga taludtod sa Ingles, na may kasamang 75 Sa kabuuan, ang mga ito ay may kabuuang mga daanan na hinati - hati ng kabuuang mga tseke; na may pare - parehong laki ng trabaho, ito ang kahulugan ng malamang, DSD at RP. Isang naligtas Gemini Ang hukom na Pro ay nagbibigay ng mga hatol sa istilo, samantalang ang mga salita ay hiwalay na sinusuri ng transcription.

Orihinal na mga rekording Ang mga ito ay ini-record ng legkmark role ng tao audio.[update namin ang mga ito na may parehong instruksiyon at hukom na ginagamit para sa 150-check run upang bigyan ang synthesisd voices ng isang puntong reperensiya. Ang kanilang 73.3% ay nangangahulugang tinanggap ng hukom ang 110 ng 150 instrucation checkes.

Sa magkatapat na sukat 150- Check scam, FireRedTTS3-Instruct marami 65.3% at mga iskor ng MOS-VoiceGenerator 56.0%. Googleić TTS sabi ng maraming 67.3%. Sa loob ng 75 Mga Pagsusuri sa Ingles, Napakaraming Sunog 72.0%, MOSS 52.0% at ang Google 72.0%. VoxCPM2 Mga pang - aabuso BF16 run pa rin 59.3%; ang resulta nitong papel-play, 46.0%, ay mas mahina kaysa sa boses-description at direksiyon nito resulta. Ang mas malaki ay ang mas malaking bilang ng mga resulta. Qwen Maraming Bilang ng mga Tseke ng ExtituteVoice 52.7%, Laban sa 48.0% para sa mas maliit na eksperimental na-input run. Size lamang ay hindi natukoy ang iskor.

Ang ating ElevenLabs lection-to-tagation ay bumaba ng hiniling na pag-awit at ilang pagbabago sa emosyon. CosyVoice3 ay nabigo sa salitang-content check sa 48 ng 50 CANC clips; inalis din ng henerasyon nito ang reference conditioning na nasa opisyal na pagpapatupad. Ang mga isyung ito ay nangangailangan pa rin ng naituwid na-inputfirmation. Ang mga fishifics ay tumatakbo at ang ilang iba pang mga sanggunian ay na naglalaman ng mga tugon na ang audio ay hindi maaaring makuha; ang mga hatol na nag-iingat at ang mga kondisyon ay nakaapekto sa mga hanay ay nagbibigay ng mga probisyon sa mga resulta sa halip na ang mga predibidwal na ang mga sanggunian.

Karamihan sa mga kabiguan sa mga rekording ng tao ay nasa papel-play: 29 ng 50 tseke ay nabibigo, kung ihahambing sa walo para sa mga maaaring mangyari at tatlo para sa DSD. Ang isang tunay na pagtatala ay maaaring umangkop sa detalyadong paglalarawan ng boses ngunit hindi tumutugma sa papel na iniatas dito, at ang hukom ay maaari ring magkamali. Ang reference row ay tumutulong sa atin na bigyang kahulugan ang mga iskor sa pagtuturo; hindi nito tinuturing ang kalidad ng pagsasalita ng tao.

Ang disenyo ng boses ay maaaring maging isang synthesis backend

Qwenibis VoiceDesign checkpoint Sa halip, ang mga tagubilin ay ikinakapit ng mga pelikula sa piniling preset voice. Ang field na tinatawag na citationificity ay hindi kailanman nasasanay na gamitin.

Sinubok namin Qwen3-TTS 1.7 Ang Boses at ang Breeze TTS 2 sa parehong limang Ingles at limang mga source ng Tsino, pagbibigay 30 Ang mga tseke kada modelo. Apat na mga tseke ng calibration ay nasa labas ng kanilang mga iskor. Aming pinanatili ang lahat ng mga output, kabilang ang isang binibigkas-salitang bandila kada modelo.

Lumipas ang Tinig 23/30 at Breeze palipas 20/30. Sa pamamagitan ng sampung rekording ng mga reperensiya na ginamit sa tatlong gawain, ito ay isang screen ng pagbuo. 10-point pagkakaiba ay may malawak na source-cluster interval na kinabibilangan ng sero. Ang hukom setting ay iba rin sa mas malaking comput, kaya hindi naitatatag ng piloto na ang VoiceDesign out experiences Googleiers 67.3% ang resulta.

FireRedTTS3-Instruct at ang MOSS-VoiceGenerator ngayon ay mayroon na ang bawat isa 150 Tiningnan ang istilo sa mesa sa itaas. 0/150 Mga Klip at mga Paputok 12/150 MOSS Mga clip para sa pagkakamali ng salita sa itaas 30%. Ang kanilang mga maikling-script runtime na sampol ay nananatili sa Kalawakan.Ang unang makukuhang PCM ay tungkol na sa 4.50 Mga S para sa Sunog at 0.47 s para sa MOSS sa mainit na sulat Ingles; ang FireRed ay nagbabalik ng isang kumpletong waveform habang MOSS Ang mga orasang iyon ay hindi nagtatakda ng katangiang panturo o isang katernong quality-speed ranking.Ang umiiral na-model latency at memory standities ay nananatiling hindi tiyak.

Ang pananaliksik na turn-coming ay humihiling ngayon ng higit pa sa isang endpoint

Larawan sa Pananaliksik: 30 Oktubre 2026. Ang opisyal na TurnBench na ginanap-out board ay kinabibilangan ng mas bagong mga pagsumite na lampas pa sa mga paper feiler na orihinal na baselines. p99ift system write-up Inilalarawan ang 6.1 milyon ay nag-aaral ng mga parameter, ekstrang mga klasipikasyong ulo at isang patakarang pang-ikot na gumagamit ng parehong mga audio channel. Apache 2.0 download ay naglalaman ng 5.3-million-parameter mono model. Ang ating turn-coating table ay kinabibilangan ng naka-download na checkpoint.

MabuhayKitisensiyas eot-bench Kalakip dito ang mga tunay na human-to-agent na mga turn sa mga wikang 14. Pinapalis nito ang mga patakarang pang-edukasyon at inihahambing ang latency sa isang nakapirmeng di-nakapag-putol na badyet, kabilang ang buong kurbang tradeoff. Iyan ay isang kapaki-pakinabang na susunod na hakbang para sa isang produktong may iba't ibang wika dahil ang isang stage na gumagana sa wikang Ingles ay hindi kinakailangang umangkop sa ibang wika.

Nagbabalik ang MultiParty, isinumite sa buwang ito, palawakin ang kontrol ng sahig sa dalawa hanggang limang tagapagsalita. Ang mga may akda nito ay nag-uulat ng malakas na pag-ikot-entry performance sa tabi ng halos-chance selective leave na pangangasiwa para sa mga sinuring ahente. Ang mga pag-uusap nito ay nagbibigay ng mga kontroladong pagsubok, na may real-audio check na kailangan sa tabi nila. Ang mga pulong at mga magkasamang silid ay nangangailangan ng higit pa sa pagpapalawig ng dalawang-spender endpointpoint.

Full-Duplex-Bench v3 pares ng tunay na disfluential na pagsasalita na may mga nakadenang mga gamit na tawag, na naglalantad ng mga self-iflision at multi-steep fails. DuplexAct, isinumite rin sa buwang ito, sinusuri ang mga kilos ng interaksiyon at kung ang ahente ay sumusubaybay sa pamamagitan ng pag-eeeksperimento.Ang mga ito ay nakikita natin bilang komplementaryong mga pagsubok para sa agwat sa pagitan ng pagpansin ng isang pangyayari at pagkumpleto ng isang kapakipakinabang na interaksiyon. hindi pa natin pinapatakbo ang mga mas bagong bentmark na ito sa post na ito.

Pribadong synthesis, nakadirektang dubbing at Ingles na mga pagpipilian ng boses

Soniqoiphers Pampribadong runtime at on-device SDKs Kami'y gumagawa ng mga building blocks para sa mga aplikasyon sa pagsasalita sa inyong sariling kapaligiran, kami'y gumagawa sa mga pangkat ng nagpapahayag na mga synthesis at mga tubong ginagamitan ng mga dubbing sa emosyon: pinananatili ang nilalayong mga salita, pumipili ng isang tinig, nagbibigay ng maikling pahayag, pagkatapos ay nirerepaso ang resulta sa konteksto.

Maaari mong i-publish ang isang voice-design backend sa yugto ng synthesis habang pinananatiling hiwalay ang patakaran at kagamitang pambitay. para sa isang isinasalaysay na eksena, ang aplikasyon ay maaaring magtakda ng mahinahong katiyakan o tumataas na pagkaapurahan sa halip na bigyan ng inferment ang isang damdamin at baguhin ang pagganap nang walang kontrol ng direktor na ekwasyon.Ang isang dubbing work flows ay nangangailangan din ng tiyempo, speaker regression at isang nakikinig na review; ang tatlong bentmark na nasa itaas ay hindi nagresultang ang kumpletong work running runniflow.

Kabilang sa mga pagpipilian ng boses sa Ingles ang Mga tinig na patiunang itinakda ng mga Amerikano at Britano Sa katalogong Kokoro. Ang Style-aware backends ay nagdadagdag ng natural-wikang voice legends. preset selection, ang disenyo ng boses at cloning ay mga natatanging kontrol, at ang suporta ay iba-iba sa pamamagitan ng modelo. Ang isang hiniling na panrehiyon na tuldik ay nangangailangan ng pagtatasa sa mga tagapakinig na pamilyar sa gayong pagkakaiba; ang transcription performation at speaker pagkakatulad ay hindi nagtatatag ng pagiging totoo.

Sa pamamagitan ng lokal na backend at model assets probisyoned, ang synthesis ay maaaring manatili sa kapaligiran ng depostment. Ang eksaktong pag-play at pagpili ng modelo ay depende sa target na hardware at ang mga model compilations termino. Research-lamang benchmark data at ang limitadong modelong mga pabigat ay hindi isang blanket commercial lisency.

Ang mga pagpiling ito ay sumusuporta sa mga sukat

• Pumili ng patakaran sa pag-ikot sa pamamagitan ng kanyang operating point. Sa aming dev crease, VAP at Mimi ay nag-aalok ng iba't ibang pag-aalala, falmarm at pagkaantala ng tradeoffs. Ang kasalukuyang ginanap-out na pananaliksik ay lumipat na lampas pa sa mga orihinal na baseline na iyon.
• Isaalang - alang ang kumpletong mga kahilingan sa kagamitan. Sa aming sampung-action setup, pinili ng Nova ang tamang kagamitan sa 643 na sinuportahan ang mga kahilingan; ang 368 ay nagkaroon din ng mga tugmang argumento. ang mga maling halaga at nawawalang fields na nabibilang sa puwang.
• Subukin ang paghahatid sa pamamagitan ng pagtuturo. Ang Role-play ay isang mas mahinang lugar sa ilang mga run. Ang piloto ng VoiceDesign ay nag-aanunsyo ng isang mas malaking magkatumbas na paghahambing, sa halip na isang pag-aangkin ng isang bagong pangkalahatang panalo.

Ang aming susunod na kapaki - pakinabang na mga sukat ay ang mas malaking grupo ng VoiceDesign na may katugmang paghatol, multilingual standing sa takdang bilis ng paghinto, at mga pagsubok sa interaksiyon na naghahatid ng pagtutuwid sa pangwakas na tawag sa kagamitan.

Basahin ang aktuwal na mga resulta at mga protocol, galugarin speech-swift, o talakayin ang isang pribadong paglalagay. Ang mga mesa sa itaas ay nagpapanatili ng mga sukat at mga setting mula sa kaugnay na larawan.