Mengukur agen suara: pergantian giliran bicara, pemanggilan alat, dan ucapan ekspresif

Tiga pengukuran untuk tiga keputusan

Kami mengukur tiga kemampuan ini secara terpisah, seorang asisten dapat menunggu Anda untuk menyelesaikan berbicara dan masih memilih alat yang salah, juga dapat berbicara dengan jelas ketika kehilangan emosi atau gaya yang Anda minta.

Kami berlari model lokal di Apple M5 Pro dengan 48 GiB memori. Untuk layanan awan, kami menguji versi model dan pengaturan yang terdaftar dalam hasil.

Setiap bagian menjelaskan berapa banyak rekaman yang kita gunakan, bahasa yang kita uji dan hasil apapun masih diperiksa.

TurnBench: ketika jeda adalah sebuah turn end

TurnBench Membedakan seorang pembicara menyelesaikan dari jeda di dalam sebuah putaran. Hal ini juga membedakan gangguan dari suatu saluran belakang seperti "mm-hmm". Meja kami di bawah fokus pada deteksi end of-turn.

Kami menggunakan TurnBench rekaman pengembangan publik dan kode sendiri scoring meja menunjukkan ukuran untuk setiap model papan peringkat resmi menggunakan set tes terpisah

Recall adalah bagian dari akhir gilirannya nyata Model mendeteksi. FPR (nilai positif) fs-type adalah bagian dari jeda berlabel dalam sebuah putaran yang tidak benar memperlakukan sebagai pembicara finishing.

Pemimpin kami memesan model oleh Youden J (J = recall mechanFPR), ditampilkan sebagai J × 100; lebih tinggi lebih baik. papan ujian resmi ranking model dengan mengingat, menempatkan mereka dengan FPR di atas 15% di bawah mereka yang memenuhi batas.

VAP memiliki tertinggi Youden 's J dalam perbandingan lima percakapan kami: 88.2% ingat dan 7.4% FPR. Mimi membuat sedikit deteksi palsu, di 2.0%, tapi menangkap lebih sedikit akhir gilirannya dan membutuhkan waktu lebih lama untuk memutuskan.

VAP (Proyeksi Aktivitas Suara) mendengarkan kedua pembicara pada saluran audio terpisah dan memprediksi aktivitas bicara mereka yang akan datang. Menggunakan percakapan baru-baru ini untuk memperkirakan apakah pembicara saat ini akan melanjutkan atau menyerahkan kepada orang lain. Penelitian di VAP menunjukkan bahwa ia belajar untuk menggunakan isyarat dalam suara, seperti pitch dan irama.

Versi yang kami jalankan dilatih lebih lanjut pada 104 jam audio percakapan dari ospeechInterpretasi kami adalah bahwa pelatihan dan pandangan dari kedua pembicara membantu menjelaskan hasilnya yang kuat dalam perbandingan kita.

Kami juga menguji download p99 CoreML model dan keduanya VAP ekspor pada dua percakapan pengembangan: 148 mengubah akhir dan 94 Jeda di dalam putaran, menggunakan kebijakan keputusan tetap. p99 tertangkap 134 akhiran dengan 15 Deteksi palsu; keduanya VAP ekspor tertangkap 124 Setiap ekspor membuat keputusan peristiwa yang sama seperti pos pemeriksaan aslinya. protokol validasi catatan masukan dan cutoffs, deretan VAP mempertahankan lebih besar lima percakapan.

The p99 CoreML dan VAP CoreML model telah speech-swift APIs. VAP ONNX berjalan melalui C++ dan Android runtimes. Panduan integrasi meliputi pengunduhan dan masukan audio. Aplikasi anda menentukan kebijakan respon.

SLURP: memilih aksi dari perintah yang diucapkan

SLURP berisi permintaan rumah-asisten yang diucapkan dengan aksi dan nilai argumen yang dibotolkan. Dalam tes routing kami, setiap rekaman datang dengan sepuluh kandidat aksi dan pilihan bukan aksi.

Kami 1,000Pengaturan -rekaman termasuk 810 permintaan dengan aksi yang benar tersedia dan 190 Kami tidak mengharapkan ada tindakan pada mereka 190 permintaan. Pemeriksaan ini apakah model menurun permintaan ketika aksi tidak tersedia.

Kebanyakan sistem menggunakan 1,000 Rekaman, termasuk audio jarak dekat dan jarak jauh. Ukuran akurasi Far-mic pada pilihan yang tepat yang dibuat dari jauh, ketika alat yang diminta tersedia. Panggilan selain alat yang hilang jumlah permintaan dimana sistem mengembalikan sebuah aksi walaupun alat yang disorot tidak hadir. Tabung kolam tersebut menutup - bicara dan rekaman lapangan jauh, dan tidak mengukur aktivasi dari bahasa latar belakang atau keheningan. Tabel menunjukkan jumlah yang tepat.

Lokal Parakeet → Gemma 4 E2B pipeline dicapai 75.2% akurasi far-mic, dekat dengan Nova 75.9% dan dibelakang GPT Audio 83.0%Tapi pada 190 permintaan yang alat yang benar tidak tersedia, Gemma masih memilih sebuah aksi 88 kali: ini 46.3% Laju aktivasi. Salah satu contoh adalah "hapus butir": dengan penghapusan daftar tidak tersedia, itu memilih penghapusan kalender. Juga ditolak. 88 permintaan yang alat yang benar tersedia dan dipilih alat yang salah pada yang lain 69.

Jev dan GLiNER keduanya memilih alat yang benar pada 311 dari 423 permintaan far-mic yang didukung, memberikan 73.5% akurasi. Perilaku mereka berubah ketika alat yang benar hilang: Jev masih memilih sebuah aksi pada 22 dari 190 permintaan (11.6%), sementara GLINER tidak demikian 74 (39.0%Misalnya, GLiNER menafsirkan permintaan volume speaker lebih rendah sebagai meredup cahaya ketika alat volume tidak hadir. Contoh-contoh ini memilih tindakan yang berbeda dari yang diminta. perangkat yang lebih luas juga dapat tumpang tindih: permintaan resep dapat dikirim ke alat memasak umum. Jumlah kami mengikuti tujuan terganggu, sehingga tidak dapat menetapkan bahwa setiap alternatif secara semantik tidak masuk akal.

Nova memiliki skor tertinggi untuk pencocokan baik alat dan semua nilai argumen yang diperlukan: 45.4%, atau 368 dari 810 permintaan yang didukung. Ini memilih alat yang benar pada 643 permintaan, tapi argumen gagal pertandingan pada 275 Dari itu. 147 case the values different from the reference; another 128 diabaikan setidaknya satu argumen, kadang-kadang bersama perbedaan nilai.

Nilai yang paling sering tidak cocok adalah waktu, muncul di 34 dari kasus tersebut. Kami juga melihat tanggal yang hilang dan salah nama bidang. Untuk permintaan alarm yang termasuk "minggu ini", Nova mengembalikan waktu tapi meninggalkan tanggal. Beberapa kegagalan memperparah perbedaan: "lasagna" tidak cocok dengan referensi "lasavne" di bawah perbandingan teks yang ketat. Nilai menghitung kedua jenis ketidakcocokan.

InstructTTSEval: pengiriman memiliki mode kegagalan sendiri

Untuk InstructTTSEval, kita tetap membuat script tetap dan menghasilkan klip terpisah menggunakan tiga tipe instruksi:

• Aps (Spesifikasi Parameter Akustik-) memberikan pengaturan suara yang rinci, seperti nada, kecepatan, tekstur volume dan vokal sebagai contoh: "Pitch rendah, kecepatan lambat, volume lembut dan suara sedikit bernafas".
• DSD (Deskriptive- Gaya Direktif) Gambarkan pengiriman dalam bahasa alam, meninggalkan ciri-ciri suara terbuka. contohnya: "Bicara hangat dan meyakinkan kembali".
• RP (Role-Play) Memberikan karakter atau situasi dan meminta model untuk menyimpulkan bagaimana cara bersuara. sebagai contoh: "Anda adalah seorang dokter menghibur pasien yang cemas".

Persentase untuk setiap tipe menunjukkan seberapa sering pidato yang dihasilkan mengikuti instruksi itu.

Kelompok yang lebih besar berisi 25 Inggris dan 25 Saluran sumber Cina, tiga cek masing-masing: 150 Jepitan per sistem. Nova mencakup 25 Bahasa Inggris, dengan 75 pemeriksaan. Overall adalah total yang dibagi dengan pemeriksaan total; dengan ukuran tugas yang sama, itu adalah rata-rata APS, DSD dan RP. Sebuah disimpan Gemini Hakim Pro memberikan putusan gaya, sementara transkripsi memeriksa kata-kata yang diucapkan secara terpisah.

Rekaman asli Kami mencetak mereka dengan instruksi yang sama dan hakim yang digunakan untuk 150-check menjalankan untuk memberikan titik referensi suara buatan. 73.3% mereka berarti hakim menerima 110 dari instruksi cek 150.

Pada pertandingan 150- Periksa pasukan, FireRedTTS3-Instruct skor 65.3% dan MoSS- Pembuat Suara skor 56.0%Google TTS run score 67.3%Di 75 Inggris cek, FireRed skor 72.0%, MOSS 52.0% dan Google 72.0%. VoxCPM2's BF16 jalankan tetap di 59.3%; rolenya-bermain hasil, 46.0%, lebih lemah daripada suara-deskripsi dan hasil arah. Qwen Nilai checkpoint CustomVoice 52.7%, versus 48.0% untuk percobaan kecil - input run. Ukuran saja tidak menentukan skor.

Kami ElevenLabs instruksi - to-tag konversi menjatuhkan diminta bernyanyi dan beberapa perubahan emosi. CosyVoice3 gagal memeriksa kata-isi pada 48 dari 50 Video-video APS; penataan generasinya juga tidak memberikan referensi yang hadir dalam implementasi resmi. Masalah-masalah ini masih perlu dikoreksi - validasi masukan ikan. Dikoreksi dan beberapa baris lain berisi tanggapan hakim yang mengklaim audio tidak tersedia; kita melestarikan kata-kata tersebut dan menandai baris-baris yang terpengaruh secara sementara. Ini adalah hasil bagi port kita, masukan adaptor dan hakim, daripada menemukan bahwa sebuah model upstream memiliki batas yang sama dalam setiap implementasi.

Kebanyakan kegagalan pada rekaman manusia dalam permainan-putar: 29 dari 50 gagal dibandingkan dengan delapan untuk APS dan tiga untuk DSD. Rekaman nyata dapat sesuai dengan deskripsi suara rinci belum cocok dengan peran yang diberikan kepadanya, dan hakim juga dapat membuat kesalahan. Baris referensi membantu kami menafsirkan nilai instruksi; ini tidak menilai kualitas dari pidato manusia.

Desain suara dapat menjadi backend sintesis

QwenCheckpoint Desain Suara menghasilkan suara dari deskripsi tertulis. Lebih baik menerapkan arah ke suara yang telah dipilih. Checkpoint dan kontrol materi: sebuah daerah bernama "instruksi" tidak memberikan sebuah model kemampuan yang tidak pernah dilatih untuk digunakan.

Kami sudah diuji. Qwen3-TTS 1.7Desain Suara B dan Breeze TTS 2 pada lima yang sama Inggris dan lima sumber Cina, memberikan 30 cek per model empat kalibrasi diluar dari nilai mereka kita mempertahankan semua hasil, termasuk satu spoken-word flag per model.

Tanda suara disahkan 23/30 cek dan Breeze dilewati 20/30Dengan sepuluh rekaman sumber yang sama di seluruh tiga tugas, ini adalah layar pengembangan. 10-point perbedaan memiliki interval luas source- cluster yang termasuk nol. Pengaturan hakim juga berbeda dari rekan-rekan yang lebih besar, sehingga pilot tidak menetapkan bahwa VoiceDesign outculds Google 67.3% hasilnya.

FireRedTTS3-Instruct dan MOSS- Pembuat Suara sekarang masing-masing telah 150 pemeriksaan gaya di tabel di atas. Pemeriksaan isi terpisah ditandai 0/150 Klip FireRed dan 12/150 MOSS klip untuk kata error di atas 30%Contoh waktu-singkat mereka tetap berada di ruang angkasa. 4.50 s untuk FireRed dan 0.47 s untuk MOSS pada skrip Inggris yang hangat; FireRed mengembalikan sebuah bentuk gelombang lengkap saat MOSS aliran-aliran waktu itu tidak menetapkan kualitas instruksi atau peringkat kualifikasi-kecepatan yang cocok. Latensi model dan sertifikasi memori tetap tidak meyakinkan.

Turn- mengambil penelitian sekarang meminta lebih dari titik akhir

Penelitian snapshot: 30 Oktober 2026. resmi TurnBench membantu-keluar papan termasuk pengiriman baru di luar baselin asli koran. p99 sistem write- up deskripsikan 6.1 juta parameter belajar, ekstra kepala klasifikasi dan kebijakan gilirannya yang menggunakan kedua saluran audio. Its Apache 2.0 download berisi 5.3-million -parameter model mono. Tabel yang mengambil alih termasuk pos pemeriksaan yang dapat diunduh.

Eot- bangku LiveKit melengkapi hal ini dengan manusia-ke-agen yang sebenarnya berubah dalam bahasa 14. Ini menyapu kebijakan dan perbandingan latensi pada anggaran tetap-cutoff, termasuk kurva tradeoff lengkap.

MultiParty TurnBench, diterapkan bulan ini, memperluas kontrol lantai ke dua sampai lima pembicara. Penulisnya melaporkan perubahan yang kuat di samping penanganan interview-selektif untuk agen yang dievaluasi. Percakapan yang dihasilkan memberikan tes yang dikendalikan, dengan pemeriksaan audio yang dibutuhkan bersama mereka. Pertemuan dan ruang berbagi memerlukan lebih dari memperluas aturan dua pembicara titik akhir.

Full--Duplex-Bench v3 pasangan bicara yang tidak fasih dengan panggilan alat dirantai, mengekspos diri - koreksi dan multi- langkah kegagalan. Undang-Undang DuplexActKami melihat ini sebagai tes komplement untuk kesenjangan antara mendeteksi dan menyelesaikan interaksi yang berguna.

Sintesis swasta, directed dubbing dan pilihan suara Inggris

Soniqo private runtime and on-device SDK menyediakan blok pembangunan untuk aplikasi bicara di lingkungan anda sendiri. Kami bekerja dengan tim membangun sintesis ekspresif dan jaringan pipa yang diarahkan secara emosional: mempertahankan kata-kata yang dimaksudkan, memilih suara, memasok singkat pengiriman, kemudian meninjau hasil dalam konteks.

Anda dapat memasang backend desain suara ke dalam panggung sintesis ketika menjaga pergantian kebijakan dan alat eksekusi terpisah. Untuk adegan yang digambarkan, aplikasi dapat menyatakan jaminan tenang atau meningkatkan urgensi daripada menyimpulkan sebuah emosi dan mengubah kinerja tanpa kendali sutradara. Aliran kerja dubbing juga membutuhkan waktu, continuitas pembicara dan tinjauan mendengarkan; tiga benchmark di atas jangan mengesahkan aliran kerja yang lengkap.

Pilihan suara Inggris termasuk Amerika dan Inggris sebelumnya suara Backends Kokoro. Gaya-sadar tambahkan susunan suara natural- bahasa. Mencegah seleksi, desain suara dan kloning adalah kontrol yang berbeda, dan berbagai dukungan bervariasi dengan model. Aksen regional yang diminta membutuhkan evaluasi dengan pendengar akrab dengan berbagai macam itu; akurasi transkripsi dan kesamaan speaker tidak membangun keaslian.

Dengan backend lokal dan model aset yang disediakan, sintesis dapat tetap berada di lingkungan penyebaran. Pemindahan dan model pilihan yang tepat tergantung pada perangkat keras target dan istilah model. Hanya data benchmark dan bobot model terbatas bukanlah lisensi selimut komersial.

Pilihan dukungan pengukuran ini

• Pilih kebijakan gilirannya dengan titik operasi. VAP dan Mimi menawarkan penarikan berbeda, alarm dan delay tradeoffs.
• Permintaan alat lengkap hitungan. Dalam pengaturan sepuluh aksi kami, Nova memilih alat yang benar di 643 didukung permintaan; 368 juga memiliki pencocokan argumen. Nilai yang salah dan bagian yang hilang yang dipertanggungjawabkan untuk kesenjangan.
• Uji pengiriman dengan tipe instruksi. Role- bermain adalah daerah yang lebih lemah dalam beberapa larian. Pilot VoiceDesign menjamin perbandingan yang lebih besar cocok, daripada klaim pemenang keseluruhan baru.

Pengukuran berguna kami berikutnya adalah koalisi VoiceDesign yang lebih besar dengan pencocokan yang cocok, multibahasa menunjuk pada tingkat cutoff tetap, dan tes interaksi yang membawa koreksi melalui panggilan alat akhir. tinjauan manusia aksen, alam dan kontinuitas kinerja termasuk bersama skor otomatis untuk kerja suara.

Baca hasil dan protokol hidup, explore speech-swift, atau mendiskusikan penempatan privatTabel di atas mempertahankan ukuran dan pengaturan dari snapshot terkait.