Konekäännös · Englanninkielinen alkuperäinen
Sortformer: Nemotron 3
Nemotron 3 MLX ja CoreML liittyvät aiempiin diarisointijärjestelmiin samalla 132:n tallennuksen sisäisellä sarjalla kahdeksalla kielellä. Jokainen järjestelmä vastaanottaa äänen ilman viitekaiutinta. Nemotron 3 ajaa kattaa 12,82 tuntia ääntä ilman epäonnistuneita tiedostoja.
Jokainen solu on DER (diarisaatiovirhetaso), viite-kaiutin-aika painotettu 0,25 s:n kauluksella. Alempi on parempi. Reaalikeskustelu ja synteettiset kiskot ovat erilaisia näyttötasoja, eikä niitä saa lukea yli.
Nemotron 3 INT8 vienti
Lähetetty Apple Silicon runtimes use the final NVIDIA Nemotron 3 Diarization checkpoint. Molemmat ajot käytetty automaattinen kaiutinmäärä ja paketin oletuskäsittely. DER yhdistetään viitekaiutinajan mukaan kunkin tallenteen arviointikartassa, mukaan lukien päällekkäisyydet. Tarkka kaiutinlaskentasopimus oli 85,6% MLX ja 84,8% CoreML.
| Kieli | Tiedostot | Nemotron 3 MLX | Nemotron 3 CoreML | Lajittelulähde |
|---|---|---|---|---|
| arabia | 12 | 16.54% | 18.16% | 22.32% |
| Saksa | 12 | 7.32% | 7.21% | 8.38% |
| Finnish | 48 | 10.31% | 10.24% | 13.81% |
| espanja | 12 | 12.56% | 13.19% | 16.33% |
| mandariini | 12 | 10.00% | 9.68% | 9.95% |
| Azerbaidžani | 12 | 2.53% | 2.55% | 5.25% |
| Sveitsin saksa | 12 | 15.72% | 15.69% | 21.59% |
| Venäjä | 12 | 4.47% | 4.44% | 5.35% |
| Kaikki | 132 | 10.98% | 11.20% | — |
Aiemmat lähdemallin tulokset kielen mukaan
Todellinen keskustelu
Broadcast, puhelin ja kokous. 96 tallennusta, 12,63 tuntia.
| Järjestelmä | arabia | Saksa | Finnish | espanja | mandariini |
|---|---|---|---|---|---|
| DER, alempi on parempi. | |||||
| Puhepilvi API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Lajittelijan suoratoisto | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Lajittelija offline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Synteettiset kiskot
Tiivistetty lukupuhe, jossa otetaan näyte CallHome-viipaleilla mitatuista jakeista. Nämä havaitsevat gross domain-virheet eikä muuta. Älä vertaa näitä numeroita yllä olevaan taulukkoon.
| Järjestelmä | Azerbaidžani | Sveitsin saksa | Venäjä |
|---|---|---|---|
| DER, alempi on parempi. | |||
| Puhepilvi API | 4.74% | 19.33% | 8.15% |
| Lajittelijan suoratoisto | 5.25% | 21.59% | 5.35% |
| Lajittelija offline | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Menetelmät ja rajoitukset
- Yksi maalintekijä, yksi kohde asetettu. Jokainen solu tulee samasta valjaasta ja samoista kiinnitetyistä ilmaisuista, joten kahta järjestelmää ei koskaan verrata kahteen eri hallitsijaan.
- Kaiutinluku ei ole saatavilla mihin tahansa taustaosaan.
- Nimettömän puhujan aikajanat vain. Nämä ovat diarisaatiotuloksia, joita ei ole nimetty puhujaksi.
- Yhteyskisat eivät ole todellisia keskusteluja.
az,gswjaru-kisat rakennettiin uudelleen CallHomesta mitatuilla kääntöjakeilla. Aiemmissa kiskoissa käytettiin kiinteää rakokuviota, joka tuotti 100%:n kaiutinten vaihtonopeuden, jossa todellinen keskustelu toistaa puhujan noin 16%:n verran ajasta. Tämä palkitsi minkä tahansa porrastimen, joka yksinkertaisesti sijaitsi, ja se määräsi kentän väärin kahdella kielellä. - Lajittelijan liput neljällä kaiuttimella ; alkuperäisistä 96 tiedostosta 22 ylittää tämän kapasiteetin.
Tietojen lähtöisyys
Saksan, Espanjan ja mandariinien viipaleet tulevat talkbank/Callhome versiosta 17c8a153 kohdasta CC BY-NC-SA 4.0. Viitekäännökset ovat corpusin omia aikaleikkeitä: ei VAD, klusterointia tai upotusperäistä identiteettiä, ja päällekkäisyydet säilyvät sellaisina kuin ne on julkaistu. Koska lisenssi kieltää kaupallisen käytön, nämä viipaleet ovat arviointitodisteita eivätkä ne ole koulutushyväksyttyjä.
Aja se itse.
Tulokset käyttävät samaa vertailutietokantaa ja tulostinta. Ks. kaiuttimen diarisointiopas moottorin valinnan, DER-pisteytyksen ja RTTM-tuoton osalta Apple Silicon tai täysi vertailuindeksi ASR ja TTS -rivit, jotka on mitattu samalla tavalla.