Puheagenttien mittaus: puheenvuorot, työkalukutsut ja ilmeikäs puhe

Kolme mittausta kolmesta päätöksestä

Mittaamme nämä kolme kyvyt erikseen. Assistentti voi odottaa, että lopetat puhumisen ja silti valita väärän työkalun. Se voi myös puhua selvästi, kun puuttuu tunnetta tai tyyliä pyysit.

Ajoimme paikallisia malleja Apple M5 Pro -sovelluksella muistin 48 GiB:llä. Pilvipalveluiden osalta testasimme tuloksissa luetellut malliversiot ja asetukset.

Jokaisessa osiossa kerrotaan, kuinka monta levyä käytimme, mitä kieliä testasimme ja mitä tuloksia vielä tarkistetaan. Nämä tiedot auttavat vertailemaan tuloksia.

TurnBench: kun tauko on kääntöpää

TurnBench erottaa kaiutin viimeistely tauon sisällä käännöksen. Se erottaa myös keskeytyksen takakanavasta, kuten ...mm-hmm...

Käytimme TurnBench.-levyjä ja sen omaa pisteytyskoodia. Taulukossa esitetään kunkin mallin ajokoko. Virallisessa tulostaulussa käytetään erillistä testisarjaa.

Palauta on se osuus todellinen käännösten lopussa malli havaitsee. FPR (väärä positiivinen) on merkkien taukojen osuus käännöksessä, jota se virheellisesti pitää puhujan viimeistelynä.

Meidän leaderboard tilauksia malleja Youden... J (J = takaisinkutsu − FPR), näytetään nimellä J × 100; korkeampi on parempi. virallinen testi leaderboard rivejä malleja muistuttamalla, asettaen ne, joilla on FPR 15%:n yläpuolella niiden, jotka täyttävät rajan.

VAP:llä on korkein Youden.J:llä on viiden vertailun vertailussa: 88.2% reback ja 7.4% FPR. Mimi tekee vähemmän vääriä havaintoja, 2.0%, mutta saalista vähemmän kääntöpäätteitä ja kestää kauemmin päättää.

VAP (äänitoimintaprojektio) Kuuntelee molempia puhujia erillisillä äänikanavilla ja ennustaa heidän tulevaa puhetoimintaaan. Se käyttää äskettäistä keskustelua arvioidakseen, jatkaako nykyinen puhuja vai luovuttaako hän toiselle henkilölle. VAP:n tutkimus osoittaa, että se oppii käyttämään vihjeitä äänessä, kuten piki ja rytmi.

Versiota harjoiteltiin edelleen 104 tuntia keskusteluääni otoSpeech Tulkintamme on, että tämä koulutus ja sen näkemys molemmista puhujista auttavat selittämään sen vahvaa tulosta vertailussamme.

Testasimme myös ladattavan p99 CoreML malli ja molemmat VAP vienti kahdessa kehityskeskustelussa: 148 kääntöpäätteet ja 94 taukoaa käänteen sisällä, käyttäen kiinteä päätös politiikka. p99 koppi 134 Päätteet, joiden 15 väärät löydökset; molemmat VAP saaliiksi saadut vientituotteet 124 Jokainen vienti teki samat päätökset kuin alkuperäinen tarkastuspiste. validointiprotokolla VAP-rivillä säilytetään suurempi viiden keskustelun juoksu.

• p99 CoreML sekä VAP CoreML malleja speech-swift API:t. VAP ONNX läpi C++ sekä Android Runtimes. kotoutumisopas kattaa lataukset ja audio syötteet. Sovelluksesi asettaa vastauskäytäntö.

SLURP: toiminnon valitseminen puhutuista komennoista

SLURP sisältää puhutut kotiapulaisen pyynnöt, joissa on selitettyjä toiminta- ja argumenttiarvoja. Reittitestissämme jokaisella nauhoituksella on kymmenen ehdokasta ja ei-toimiva vaihtoehto.

1,000-tallennusasetuksemme sisältää 810:n pyynnöt ja oikeat toiminnot ja 190, joiden toiminta on kielletty. Odotamme, ettei 190 -pyynnöissä tapahdu mitään. Tämä tarkistaa, kieltäytyykö malli pyynnöstä, kun sen toiminta ei ole käytettävissä.

Useimmat järjestelmät käyttävät 1,000-tallennuksia, kuten lähipuheita ja kaukokenttäääntä. Kaukainen tarkkuus mittaa, miten kauempana tehdyt tallenteet ovat oikeita, kun pyydetty työkalu on käytettävissä. Puhelut huolimatta puuttuvasta työkalusta laskee pyyntöjä, joissa järjestelmä palautti toimen, vaikka selitetty työkalu ei ollut olemassa. Se yhdistää lähipuhe- ja kaukokenttätallenteet, eikä mittaa aktivointia taustapuheesta tai hiljaisuudesta. Taulukossa näkyy tarkat arvot.

Paikalliset Parakeet → Gemma 4 E2B Putken pituus 75.2% far-mic tarkkuus, lähellä Novaa 75.9% ja takana GPT Audio. 83.0% Mutta... 190 pyynnöt, joiden oikea työkalu ei ollut käytettävissä, Gemma Valitsit silti toimen 88 ajat: sen 46.3% Väärä aktivointi. Yksi esimerkki oli ...poistaa kohta...: kun luettelo poistaa ei ole saatavilla, se valitsi kalenterin poisto. 88 pyytää, jonka oikea työkalu oli käytettävissä ja valitsi väärä työkalu toisessa 69.

Jev ja GLINER molemmat valita oikean työkalun 311 toukokuuta 2008 423 tukee farmisia pyyntöjä, antaa 73.5% tarkkuus. Heidän käyttäytymisensä muuttuu, kun oikea työkalu puuttuu: Jev edelleen valitsee toiminnan 22 / 190 esitykset (11.6%), kun taas GLINER tekee niin 74 (39.0%) Esimerkiksi, GLINER tulkitsi pyynnön alentaa kaiuttajan äänenvoimakkuutta kuin himmentämällä valoa, kun äänenvoimakkuus työkalu oli poissa. Nämä esimerkit valitsivat eri toimintaa kuin pyydetty. Laajemmat työkalu kuvaukset voivat myös päällekkäisyyttä: reseptipyyntö voidaan lähettää yleiseen ruoanlaittotyökalu. Meidän kreivi seuraa selitetty tarkoitus, joten se ei vahvista, että jokainen vaihtoehto oli semanttisesti kohtuuton.

Novalla on korkein pisteet sekä työkalun että kaikkien vaadittujen argumenttiarvojen täsmäyttämiseen: 45.4% tai 368 / 810 tukee pyyntöjä. Se valitsi oikean työkalun 643 pyynnöt, mutta argumentit epäonnistuivat ottelu 275 ja niistä. 147 tapaukset, joissa arvot poikkeavat viitearvosta; toinen 128 ei ole otettu huomioon vähintään yhtä väitettä, joskus arvoerojen rinnalla.

Tavallisin arvoero oli aika, joka näkyi 34:ssä. Näimme myös puuttuvat päivämäärät ja väärät kentät. Hälytyspyynnöstä, joka sisälsi .Tällä viikolla Nova palautti ajan, mutta jätti pois päivämäärän. Jotkut puutteet ovat sanamuotoeroja: ....

InstructTTSEval: toimituksessa on omat vikatilansa

For InstructTTSEval, Pidämme puhuttu skripti kiinteä ja luoda erillisiä leikkeet käyttäen kolmenlaisia ohjeita:

• APS (Acoustic-Parameter Specification) antaa yksityiskohtaiset ääniasetukset, kuten piki, vauhti, äänenvoimakkuus ja laulun rakenne. Esimerkiksi: Matala pitkä, hidas vauhti, pehmeä näyttö ja hieman hengittävä ääni.
• DSD (Descriptive-Tyylikäs direktiivi) kuvataan toimitusta luonnollisella kielellä, jättäen joitakin ääniominaisuudet auki. Esimerkiksi: ...Puhu lämpimästi ja rauhoittavasti.
• RP (pelattava) antaa merkin tai tilanteen ja pyytää mallia päättelemään, miten kuulostaa. Esimerkiksi: Olet lääkäri lohduttaa ahdistunut potilas.

Kunkin tyypin prosenttiosuus osoittaa, kuinka usein syntynyt puhe noudatti tätä ohjetta.

Suurempi kohortti sisältää 25 Englanti ja 25 Kiinan lähdelinjat, kolme tarkistusta kutakin kohti: 150-leikkeet per järjestelmä. Nova kattaa 25 englantilaiset viivat, 75 -tarkistukset. Kokonaispassit jaetaan kokonaistarkastuksilla; yhtä suurilla tehtäväkoolla se on APS:n, DSD:n ja RP:n keskiarvo. Tallennettu Gemini Pro -tuomari toimittaa tyylivalinnat, kun taas transkriptio tarkistaa puhutut sanat erikseen.

Alkuperäiset tallenteet ovat benchmark. Me pisteet ne samoilla ohjeilla ja tuomari käytetään 150-check juoksut antaa syntetisoitu ääniä viitepiste. Heidän 73.3% tarkoittaa tuomari hyväksytty 110 150 ohjetarkastusta.

Täsmennetty 150- tarkistuskohortti, FireRedTTS3-Instruct pistemäärä 65.3% ja MOSS-VoiceGenerator-pisteet 56.0%. Google. TTS Suorita pisteet 67.3%. 75 Englanti shekit, FireRed tulokset 72.0%, MOSS 52.0% ja Google 72.0%. VoxCPM2. BF16 juoksu jää 59.3%; sen roolipelitulos, 46.0%, on heikompi kuin sen ääni-kuvaus ja suunta tuloksia. Qwen CustomVoice-tarkastuspistepisteet 52.7%, vastaan 48.0% Pienempi koe-syöte ajaa. Koko yksin ei määrittele pisteet.

Meidän ElevenLabs Ohje-to-tag muuntaminen putosi pyydetty laulua ja joitakin emotional muutoksia. CosyVoice3 epäonnistui sanan sisällön tarkistamisessa 48 / 50 APS leikkeet; sen sukupolven asetukset myös jätetty pois referenssi ehdollistaminen läsnä virallisessa täytäntöönpanossa. Nämä kysymykset vielä tarvitsevat korjattu-syöte validointi. Fish. Korjatut ajaa ja useat muut rivit sisältävät tuomarin vastauksia, jotka väittivät ääni ei ollut saatavilla; säilytämme nämä tuomiot ja merkitsemme vaikuttaneet rivit väliaikainen. Nämä ovat tuloksia meidän satamille, syötesovittimet ja tuomari, eikä havainto, että alkupää malli on samat rajat kaikissa täytäntöönpanossa.

Suurin osa ihmisen tallennuksissa esiintyvistä virheistä on roolipelissä: 29 50:n tarkistukset epäonnistuvat, kun taas APS:n ja DSD:n kohdalla kahdeksan. Todellinen tallennus voi sopia yksityiskohtaiseen äänikuvaukseen, mutta ei vastaa sille annettua roolia, ja tuomari voi myös tehdä virheitä. Referenssirivi auttaa meitä tulkitsemaan ohjetuloksia; se ei arvioi ihmisen puheen laatua.

Äänisuunnittelu voi olla synteesitaustaosa

Qwen Luo äänen kirjallisesta kuvauksesta. CustomVoice sen sijaan soveltaa ohjeita valittuun ennalta ääni. Tarkastuspiste ja ohjauskanava asia: kenttä nimeltä ...ohje...ei anna mallille kykyä, jota se ei ole koskaan koulutettu käyttämään.

Me testasimme. Qwen3-TTS 1.7B VoiceDesign ja Breeze TTS 2 samoista viidestä Englanti ja viisi kiinan lähteistä, antaa 30 Neljä kalibrointitarkistusta on tuloksettomissa.

Äänimerkki läpäisi 23/30 tarkastukset ja Breeze ohi 20/30. Kun kymmenen lähdekoodi tallenteita jaettu kolme tehtävää, tämä on kehitysnäyttö. 10-point ero on laaja lähde-klusteri intervalli, joka sisältää nolla. Tuomarin asetus eroaa myös suurempi kohortti, joten pilotti ei vahvista, että VoiceDesign outperforms Google 67.3% Lopputulos.

FireRedTTS3-Instruct ja MOSS-VoiceGenerator nyt jokainen on 150 tyylitarkistukset yllä olevassa taulukossa. Erillinen sisällön tarkistus merkitty 0/150 Tulipunaiset leikkeet ja 12/150 MOSS liittimet edellä olevasta sanavirheestä 30%. Heidän lyhyen skripti runtime näytteitä edelleen Space. Ensimmäinen käytettävissä PCM oli noin 4.50 s FireRed ja 0.47 ää MOSS on lämmin Englanti script; FireRed palauttaa täydellisen aaltomuodon MOSS streams. Nämä ajoitukset eivät määritä opetuksen laatua tai sovitettua laatu-nopeus ranking. Olemassa olevan mallin latenssi ja muistin sertifiointi edelleen epäselvä.

Turn-ocing tutkimus nyt pyytää enemmän kuin päätepiste

Tutkimuskatsaus: 30 Lokakuu 2026. Virallinen TurnBench:n osasto sisältää uudempia huomautuksia kuin paperin alkuperäiset perusviivat. p99 Järjestelmän kirjoittaminen kuvaa 6.1 miljoonaa oppinut parametreja, ylimääräisiä luokituspäät ja kääntymiskäytäntö, joka käyttää molempia äänikanavia. Apache 2.0:n lataus sisältää 5.3-million-parametri mono malli. Turn-take-taulukkomme sisältää ladattavan tarkistuspisteen.

LiveKit... Täydentää tätä todellinen ihmisen-agentti kääntyy 14 kielillä. Se lakaistaan päätepisteisiin politiikkaa ja vertaa latenssia kiinteän väärän cutoff budjetti, mukaan lukien täysi vaihtokauppakäyrä. Se on hyödyllinen seuraava askel monikielinen tuote, koska kynnys, joka toimii Englanti ei tarvitse sopia toiselle kielelle.

MultiParty TurnBench, toimitetaan tässä kuussa, laajentaa kerroksen ohjaus 2-5 kaiuttimet. Sen kirjoittajat raportoivat vahva kääntymis-entry suorituskykyä rinnalla lähes mahdollisuus valikoiva keskeytys käsittely arvioidut agentit. Sen luotu keskustelut tarjoavat valvottuja testejä, todellinen-audio tarkastuksia tarvitaan niiden rinnalla. Kokoukset ja jaettu huoneet vaativat enemmän kuin laajentaa kaksi-kaiutin päätepiste sääntö.

Täysi-Duplex-penkki v3 Pari todellinen epäsopiva puhe ketjutetut työkalupuhelut, paljastamalla itsekorjauksia ja monivaiheinen epäonnistumisia. DuplexAct, myös toimitetaan tässä kuussa, arvioi vuorovaikutustoimia ja onko agentti seuraa läpi. Näemme nämä toisiaan täydentävinä testejä kuilu havaita tapahtuma ja loppuun hyödyllinen vuorovaikutus. Emme ole suorittaneet näitä uudempia vertailuarvoja tässä viestissä.

Yksityinen synteesi, ohjattu dubbing ja englanninkieliset äänivalinnat

Soniqo yksityinen ajoaika ja päällä -laite SDK Tarjoamme rakennuspalikoita puhesovelluksiin omassa ympäristössäsi. Teemme yhteistyötä tiimien kanssa, jotka rakentavat ilmekkäitä synteesiä ja emotionaalisesti suunnattuja dubbing putkistoja: säilytät suunnitellut sanat, valitset äänen, toimitat toimituskirjeen, sitten tarkistat tuloksen kontekstissa.

Voit liittää äänisuunnittelun taustaosan synteesivaiheeseen samalla kun pidät käännöksen toimintaperiaatteet ja työkalun suorituksen erillään toisistaan. Kerrottua kohtausta varten sovellus voi määritellä rauhallisen rauhoituksen tai nousevan kiireellisyyden sen sijaan, että se johtaisi tunteeseen ja muuttaisi suorituskykyä ilman ohjaajaa. Työnkulkuun tarvitaan myös ajoitusta, puhujien jatkuvuutta ja kuuntelun tarkastelua; edellä mainitut kolme viitearvoa eivät todista täydellistä työnkulkua.

Englanninkieliset äänivalinnat sisältävät amerikkalaiset ja brittiläiset esiasetetut äänet Kokoro -luettelossa. Tyylitietoinen taustaosa lisää luonnonkielisiä ääniloisia. Esiasetukset, äänisuunnittelu ja kloonaaminen ovat erillisiä ohjauslaitteita, ja tuki vaihtelee mallin mukaan. Pyydetty alueellinen korostus tarvitsee arviointia, jossa kuulijat tuntevat tämän lajikkeen; transkription tarkkuus ja kaiuttimen samankaltaisuus eivät osoita aitoutta.

Kun käytössä on paikallinen taustaosa ja käytössä olevat mallivarat, synteesi voi säilyä käyttöönottoympäristössä. Tarkka käyttöönotto ja mallin valinta riippuu kohdelaitteistosta ja malli-ehdoista. Tutkimusta koskevat vertailutiedot ja rajoitetut mallipainot eivät ole yleinen kaupallinen lisenssi.

Valinnat nämä mittaukset tukevat

• Valitse kääntötapa sen toimintapiste. Dev-viipaleessamme VAP ja Mimi tarjoavat erilaisia palautuksia, vääriä hälytyksiä ja viivästytä vaihtokauppoja. Nykyinen jälkitutkimus on siirtynyt näiden alkuperäisten perusviivojen yli.
• Laske kaikki työkalupyynnöt. Kymmentoiminnoissamme Nova valitsi oikean työkalun 643-tukipyynnöissä; 368:llä oli myös vastaavat argumentit. Väärät arvot ja puuttuvat kentät vastasivat aukkoa.
• Testin suoritus ohjetyypin mukaan. Roolipeli on heikompi alue useissa juoksuissa. VoiceDesign-pilotti ansaitsee paremman vertailun eikä väitä uutta yleistä voittajaa.

Seuraavat hyödylliset mittamme ovat suurempi ÄäniDesign-kohortti, jossa on sovitettu arvostelu, monikielinen päätepistemäärä kiinteillä raja-arvoilla ja vuorovaikutustestit, jotka vievät korjausten loppuun asti. Aksentin, luonnonmukaisuuden ja suorituskyvyn jatkuvuuden inhimillinen arviointi kuuluu samaan aikaan kuin automaattiset äänityöpisteet.

Lue live tulokset ja protokollat, tutkia speech-swift, tai keskustella yksityinen käyttöönotto. Yllä olevat taulukot säilyttävät ajokoot ja asetukset linkitetyn tilannekuvan perusteella.