Pomiar agentów głosowych: tury wypowiedzi, wywołania narzędzi i ekspresyjna mowa

Trzy pomiary dla trzech decyzji

Mierzymy te trzy umiejętności oddzielnie. Asystent może poczekać, aż skończysz mówić i nadal wybrać niewłaściwe narzędzie. Może również mówić wyraźnie, a brakuje emocji lub stylu, o które prosiłeś.

Uruchomiliśmy lokalne modele na Apple M5 Pro z 48 GiB pamięci. W przypadku usług w chmurze testowaliśmy wersje modeli i ustawienia wymienione w wynikach.

Każda sekcja wyjaśnia, ile nagrań użyliśmy, które języki testowaliśmy i wszelkie wyniki są nadal sprawdzane. Te szczegóły pomagają porównać wyniki.

TurnBench: kiedy pauza jest końcem obrotu

TurnBench wyróżnia głośnik kończący od pauzy wewnątrz zakrętu. Odróżnia on także przerwę od kanału wstecznego, takiego jak "mm- hmm". Nasza tabela poniżej koncentruje się na wykrywaniu końca obrotu.

Użyliśmy publicznych nagrań rozwoju TurnBench i własnego kodu punktowego. Tabela pokazuje rozmiar każdego modelu. Oficjalna tablica zawiera osobny zestaw testowy.

Odwołaj jest to udział prawdziwych zakończeń zakrętu, które wykrywa model. FPR (wskaźnik fałszywie dodatni) jest to udział pauz etykietowanych w skręcie, który błędnie traktuje jako wykończenie głośnika.

Nasze modele zamówień liderów przez Youdena J (J = przypomnienie − FPR), wyświetlany jako J × 100; wyższy jest lepszy. oficjalna tablica z testami ranking modeli poprzez przypomnienie, umieszczając te z FPR powyżej 15% poniżej tych, które spełniają limit.

VAP ma najwyższy J Youden w naszym pięcioosobowym porównaniu rozmowy: 88.2% recalling i 7.4% FPR. Mimi sprawia, że mniej fałszywych wykrywalności, w 2.0%, ale łapie mniej zakrętów zakończeń i trwa dłużej, aby zdecydować.

VAP (Projekcja aktywności głosu) Słucha obu głośników na odrębnych kanałach audio i przewiduje ich nadchodzącą aktywność mowy. Wykorzystuje on ostatnią rozmowę do oszacowania, czy obecny głośnik będzie kontynuował lub przekazywał drugą osobę. Badania nad VAP pokazuje, że uczy się używać sygnałów w głosie, takich jak pit i rytm.

Wersja, którą uruchomiliśmy, była dalej szkolona na 104 godzin konwersacji audio z otoSpeechNasza interpretacja jest taka, że to szkolenie i jego pogląd na obu mówców pomagają wyjaśnić jego silny wynik w naszym porównaniu.

Przetestowaliśmy również możliwość pobrania modelu p99 CoreML i zarówno VAP na dwóch rozmowach o rozwoju: 148 turn endings i 94 pauses inside a turn, przy użyciu ustalonych zasad decyzji. p99 happed 134 endings with 15 false detections; VAP export caught 124 with two false detection. Każdy wywóz dokonał tych samych decyzji co jego pierwotny punkt kontrolny. protokół zatwierdzający rejestruje wejścia i mankiety. Wiersz VAP zachowuje większą liczbę pięciu rozmów.

W p99 CoreML oraz VAP CoreML modele mają speech-swift API. VAP ONNX działa przez C++ oraz Android runtimes. przewodnik integracji Pokrywa pliki do pobrania i wejścia audio. Aplikacja ustawia politykę odpowiedzi.

SLURP: wybór akcji z komend mówionych

SLURP zawiera mówione home-assistant żądania z notowane działania i wartości argumentu. W naszym teście routingu, każde nagranie pochodzi z dziesięciu działań kandydujących i opcji nie-działania.

Nasza konfiguracja nagrywania 1,000- zawiera żądania 810 z poprawną dostępną akcją i 190 bez tej akcji. Nie oczekujemy żadnych działań na tych żądaniach 190. Sprawdza to, czy model odpada z żądaniem, gdy jego działanie jest niedostępne.

Większość systemów używa nagrań 1,000, w tym close- talk i forefield audio. Farmic dokładność mierzy prawidłowe wybory na nagraniach wykonane z dala od siebie, gdy wymagane narzędzie jest dostępne. Rozmowy pomimo brakującego narzędzia liczenie żądań, gdzie system zwrócił akcję, mimo że nie było zanotowane narzędzie. Pola blis- talk i Far- field nagrań, i nie mierzy aktywacji z tła mowy lub ciszy. Tabela pokazuje dokładną liczbę.

Lokalne Parakeet → Gemma 4 E2B zasięg rurociągu 75.2% Far- mic dokładność, blisko Nova 's 75.9% i za GPT Audio 's 83.0%Ale na 190 wnioski, których prawidłowe narzędzie było niedostępne, Gemma nadal wybrano działanie 88 czasy: jego 46.3% Fałszywy wskaźnik aktywacji. Przykładem było "delete item": z usunięciem listy niedostępny, wybrano usunięcie kalendarza. 88 żądania, których poprawne narzędzie było dostępne i wybrano błędne narzędzie na innym 69.

Jev i GLINER zarówno wybrać właściwe narzędzie na 311 z 423 obsługiwane prośby far- mic, dając 73.5% dokładność. Ich zachowanie zmienia się, gdy brakuje odpowiedniego narzędzia: Jev nadal wybiera działanie na 22 z 190 wnioski (11.6%), podczas gdy GLINER robi tak na 74 (39.0%). Na przykład GLINER interpretował żądanie niższego głośności głośnika jako przyciemnianie światła, gdy narzędzie głośności było nieobecne. Przykłady te wybrały inną akcję niż ta, o którą się zwrócono. Opisy narzędzi mogą się nakładać na siebie: wniosek o przepis może być wysłany do ogólnego narzędzia do gotowania. Nasz hrabia postępuje zgodnie z zapowiedzią, więc nie stwierdza, że każda alternatywa była semantycznie nierozsądna.

Nova ma najwyższy wynik dla dopasowania zarówno narzędzia, jak i wszystkich wymaganych wartości argumentów: 45.4%lub 368 z 810 obsługiwane żądania. Wybrał odpowiednie narzędzie na 643 żądania, ale argumenty zawiodły mecz na 275 z tych. W 147 jeżeli wartości różniły się od wartości odniesienia; 128 pominięto co najmniej jeden argument, czasami obok różnic wartości.

Najczęstszym niedopasowaniem wartości był czas, pojawiający się w 34 z tych przypadków. Widzieliśmy również brakujące daty i błędnie nazwane pola. Na żądanie alarmu, który zawierał "w tym tygodniu", Nova zwrócił czas, ale pominięto datę. Niektóre niepowodzenia to różnice słowne: "lasagna" nie pasuje do odniesienia "lazagne" w tym ścisłym porównaniu tekstu. Wynik liczy się oba rodzaje niedopasowania.

InstructTTSEval: dostawa ma własne tryby awarii

Dla InstructTTSEval, utrzymujemy skrypt mówiony stały i generuje oddzielne klipy za pomocą trzech typów instrukcji:

• APS (Specyfikacja parametrów akustycznych) daje szczegółowe ustawienia głosowe, takie jak pit, tempo, głośność i tekstura głosowa. Na przykład: "Niski skok, wolne tempo, miękka głośność i lekko oddychający głos".
• DSD (dyrektywa w sprawie opisu stylu) opisuje dostawy w języku naturalnym, pozostawiając niektóre cechy głosu otwarte. Na przykład: "Mów ciepło i nagannie".
• RP (Role- Play) daje charakter lub sytuację i prosi model, aby wywnioskować, jak dźwięk. Na przykład: "Jesteś lekarzem pocieszającym niespokojnego pacjenta".

Procent dla każdego typu pokazuje, jak często generowana mowa postępuje zgodnie z tą instrukcją.

Większa kohorta zawiera 25 angielski i 25 chińskie linie źródłowe, trzy kontrole każdy: 150 klipy na system. Nova obejmuje 25 angielskich linii, z 75 kontrole. Ogólnie jest całkowite przejścia podzielone przez całkowite kontrole; z równym rozmiarem zadań, jest to średnia APS, DSD i RP. Zapisany sędzia Gemini Pro dostarcza słowniki stylu, podczas gdy transkrypcja sprawdza słowa mówione oddzielnie.

Oryginalne nagrania są to ludzkie źródło dźwięku wzorca. Zaliczamy je tymi samymi instrukcjami i sędziami, których używa się do sprawdzania 150- aby dać zsyntetyzowanym głosom punkt odniesienia. Ich 73.3% oznacza, że sędzia zaakceptował 110 z kontroli instrukcji 150.

Na dopasowane 150-sprawdź kohortę, FireRedTTS3-Instruct wyniki 65.3% i wyniki MOSS- VoiceGenerator 56.0%Google 's TTS wyniki 67.3%Na temat 75 Czeki angielskie, wyniki FireRed 72.0%, MOSS 52.0% i Google 72.0%. VoxCPM2jest BF16 Run pozostaje w 59.3%; jego wynik gry roleplay, 46.0%, jest słabszy niż jego opis głosu i wyniki kierunkowskaz. Qwen Punkty kontrolne CustomVoice 52.7%, versus 48.0% dla mniejszych experimental- input run. Rozmiar sam nie określił wyniku.

Nasze instrukcje ElevenLabs-to- tag konwersji zaniechane wokalne i pewne zmiany emocji. CosyVoice3 nie powiodło się sprawdzanie słów na 48 z klipów 50 APS; jego konfiguracja generacyjna pomija również kondycjonowanie referencyjne obecne w oficjalnej implementacji. Te kwestie nadal wymagają skorygowanej walidacji wejściowej. Skorygowany bieg ryb i kilka innych wierszy zawiera odpowiedzi sędziego, który twierdził, że audio był niedostępny; zachowujemy te werdykty i zaznaczyć zaznaczone wiersze tymczasowe. Są to wyniki dla naszych portów, adapterów wejściowych i sędziego, a nie jest to stwierdzenie, że model wstępny ma takie same ograniczenia w każdym implementacji

Większość awarii na nagraniach ludzkich jest w grze role- play: 29 z kontroli 50 nie powiodło się, w porównaniu z ośmiu dla APS i trzech dla DSD. Prawdziwe nagranie może pasować do szczegółowego opisu głosu, ale nie pasuje do przypisanej mu roli, a sędzia może również popełnić błędy. Wiersz odniesienia pomaga nam interpretować wyniki nauczania; nie ocenia jakości mowy człowieka.

Projektowanie głosu może być oparciem syntezy

Punkt kontrolny VoiceDesign Qwen generuje głos z pisemnego opisu. CustomVoice zamiast tego stosuje kierunki do wybranego ustawionego głosu. Materia punktu kontrolnego i kanału sterowania: pole o nazwie "instrukcja" nie daje modelowi możliwości, której nigdy nie był szkolony do używania.

Testowaliśmy. Qwen3-TTS 1.7B VoiceDesign i Breeze TTS 2 w sprawie tych samych pięciu angielskich i pięciu chińskich źródeł, dając 30 Czterech testów kalibracyjnych nie ma na nich wyników. Wszystkie wyniki zachowywaliśmy, w tym jedną flagę słów na jeden model.

VoiceDesign zdał 23 / 30 i Breeze przeszedł 20, 30. Dzięki dziesięciu nagraniom źródłowym udostępnianym w ramach trzech zadań, jest to ekran rozwoju. Parowa różnica punktów 10- ma szeroki przedział między źródłami, który zawiera zero. Ustawienie sędziego również różni się od większej kohorty, więc pilot nie stwierdza, że VoiceProject wykona wynik Google 67.3% 's.

FireRedTTS3-Instruct i MOSS- VoiceGenerator teraz każdy ma 150 sprawdzanie stylu w tabeli powyżej. Oddzielna kontrola treści oznaczona 0/150 Zaciski FireRed i 12/150 MOSS klipy na błąd słowny powyżej 30%. Ich krótkie-skrypt próbki runtime pozostają w przestrzeni. Pierwszy dostępny PCM był o 4.50 s dla FireRed i 0.47 do MOSS na ciepłym angielskim skrypcie; FireRed zwraca kompletny formularz podczas MOSS strumienie. Te terminy nie określają jakości instrukcji ani dopasowanego rankingu prędkości. Istniejące opóźnienia modelu i certyfikacja pamięci pozostają nierozstrzygające.

Badania nad przenoszeniem się na turn wymagają teraz więcej niż jednego punktu końcowego.

Migawka badań: 30 październik 2026. oficjalna tablica pomocnicza TurnBench obejmuje nowsze zgłoszenia wykraczające poza pierwotne linie bazowe dokumentu. p99jest system write- up opisuje parametry zdobyte w milionach 6.1, dodatkowe głowice klasyfikacyjne oraz politykę skrętu, która wykorzystuje oba kanały audio. Apache 2.0 pobierz zawiera model mono parametru 5.3- million. Nasza tabela do odbioru obrotów zawiera punkt kontrolny do pobrania.

LiveKit eot- ławka Uzupełnia to prawdziwym ludzkim agentem, który obraca się w językach 14. Przeszukuje politykę punktową i porównuje opóźnienia w stałym budżecie fałszywego cięcia, w tym w pełnej krzywej handlu. Jest to przydatny następny krok dla wielojęzycznego produktu, ponieważ próg, który działa w języku angielskim nie musi odpowiadać innemu językowi.

MultiParty TurnBench, złożone w tym miesiącu, rozszerza kontrolę podłogi do dwóch do pięciu głośników. Jego autorzy raportują silne wyniki frekwencyjne obok selektywnej manipulacji przerw dla ocenianych agentów. Jego generowane rozmowy zapewniają kontrolowane testy, z real- audio kontroli potrzebne obok nich. Spotkania i wspólne pokoje wymagają więcej niż rozszerzenie dwugłośnikowej zasady punktu końcowego.

Full- Duplex- Bench v3 Pary prawdziwe niepłynnej mowy z przykutych połączeń narzędzi, narażając samokorekty i wielostopniowych awarii. DuplexAct, również przedstawione w tym miesiącu, ocenia działania interakcji i czy agent następuje. Widzimy je jako uzupełniające testy dla luki między wykrywaniem zdarzenia i zakończenia użytecznej interakcji. Nie uruchomiliśmy tych nowszych wzorców w tym poście.

Prywatna synteza, bezpośrednie dubbing i angielski głos wyboru

Soniqo prywatny runtime i on-device SDK Zapewniamy bloki dla aplikacji mowy w swoim własnym środowisku. Pracujemy z zespołami budującymi ekspresową syntezę i emocjonalnie kierowane dubbingowe rurociągi: zachować zamierzone słowa, wybrać głos, dostarczyć sprawozdanie z dostawy, a następnie dokonać przeglądu wyników w kontekście.

Można podłączyć backend-design głosu do etapu syntezy, zachowując oddzielną politykę skrętu i wykonanie narzędzia. Dla narracyjnej sceny, aplikacja może określić spokojne zapewnienie lub rosnący pilny charakter, a nie wywnioskować emocje i zmienić wydajność bez kontroli reżysera. Dubbing workflow wymaga również czasu, ciągłości głośnika i przeglądu słuchania; trzy kryteria powyżej nie poświadcza, że pełny przepływ pracy.

Angielskie wybory głosowe obejmują Amerykański i brytyjski preset voices W katalogu Kokoro. Style- świadome backends dodają naturalne-językowe slogany głosowe. Wybór presetu, projektowanie głosu i klonowanie są odrębne kontrole, a wsparcie różni się według modelu. Wymagany regionalny akcent wymaga oceny z słuchaczami znanymi z tej odmiany; dokładność transkrypcji i podobieństwo głośnika nie potwierdzają autentyczności.

Z lokalnego oparcia i modelu aktywów zapewnione, synteza może pozostać w środowisku wdrożeniowym. Dokładne wdrożenie i model wyboru zależy od sprzętu docelowego i warunków modelu. Badania - tylko dane referencyjne i ograniczone wagi modelu nie są kocem licencji handlowej.

Wybór tych pomiarów wspiera

• Wybierz politykę skrętu po jego punkcie operacyjnym. W naszym dev plasterze, VAP i Mimi oferują różne wycofania, fałszywego alarmu i opóźnienia tradeoff. Aktualne badania held- out przeniósł się poza te oryginalne linie bazowe.
• Licz kompletne prośby o narzędzia. W naszym ustawieniu 10-działania Nova wybrała odpowiednie narzędzie na obsługiwanych przez 643 próbach; 368 również miał dopasowane argumenty.
• Dostawa testowa według rodzaju instrukcji. Role- play jest słabszy obszar w kilku rundach. Pilot VoiceDesign gwarantuje większe dopasowane porównanie, a nie roszczenie nowego zwycięzcy.

Nasze kolejne użyteczne pomiary to większa kohorta VoiceDesign z dopasowanym osądzaniem, wielojęzycznym punktem końcowym przy stałych prędkościach odcięcia oraz testami interakcji, które prowadzą korektę do końcowego połączenia narzędzi. Ludzka ocena akcentu, naturalności i ciągłości wydajności należy do automatycznych wyników dla produkcji głosowej.

Przeczytaj wyniki na żywo i protokoły, explorer speech-swiftlub omówić rozmieszczenie prywatne. Powyższe tabele zachowują rozmiary i ustawienia przebiegu z powiązanego migawki.