מדידת סוכנים קוליים: חילופי תורות בדיבור, קריאות לכלים ודיבור הבעתי

שלוש המדידות לשלוש החלטות

אנו מודדים את שלוש היכולות הללו בנפרד, עוזר יכול לחכות שתסיימו לדבר ועדיין לבחור את הכלי הלא נכון.זה יכול גם לדבר בבהירות תוך התעלמות מהרגשות או מהסגנון שביקשתם.

רצנו את המודלים המקומיים על Apple M5 Pro עם 48 GiB של זיכרון.עבור שירותי ענן, בדקנו את הגרסאות וההגדרות המפורטות בתוצאות.

כל חלק מסביר כמה הקלטות השתמשנו, אילו שפות בדקנו וכל תוצאות עדיין נבדקות.פרטים אלה עוזרים לך להשוות את הציונים.

TurnBench: כאשר הפסקה היא סוף סוף

TurnBench הוא גם מבחין בדובר שסיים מהפסקה בתוך תורו.הוא גם מבחין בהפרעה מערוץ אחורי כגון "mm-hmm".השולחן שלנו מתחתיו מתמקד בגילויי סוף.

השתמשנו בהקלטות הפיתוח הציבוריות של TurnBench ובקוד הניקוד שלה.השולחן מראה את גודל הריצה עבור כל מודל.המנהיג הרשמי משתמש במערך בדיקה נפרד.

Recall הוא החלק של תפנית אמיתית מסיים את המודל מזהה. FPR (False- Positive rate) הוא החלק של הפסקה מועתעתעת בתורה שהוא מתייחס באופן שגוי כדובר סיום.

ראשי תיבות של The Leaderboard Orders Youden's J (ג'יי=זוכר − FPR), מוצג כ- J ×100; גבוה יותר הוא טוב יותר. ראשי התיבות הרשמי של Testboard מדורגת מודלים על ידי זיכרון, הצבת אלה עם FPR מעל 15% מתחת לאלה שעומדים על הגבול.

VAP יש את ה-J של Youden בהשוואה של חמשת הצדדים שלנו: 88.2% זוכר 7.4% FPR. Mimi עושה פחות גילויים כוזבים, ב 2.0%, אך קולט פחות נקודות תור ו לוקח יותר זמן להחליט.

VAP (Voice Activity Projection) להאזין לשני הדוברים על ערוצי אודיו נפרדים ומנבאים את פעילות הדיבור הקרובה שלהם.הוא משתמש בשיחה האחרונה כדי להעריך האם הדובר הנוכחי ימשיך או יעביר לאדם האחר. מחקר על VAP מראה כי הוא לומד להשתמש רמזים בקול, כגון מגרש וקצב.

הגירסה שרצנו הוכשרה עוד על 104 שעות של אודיו שיחה מתוך תגית: otoSpeechהפרשנות שלנו היא שאימון זה ותפיסתו של שני הדוברים עוזרים להסביר את התוצאה החזקה שלו בהשוואה שלנו.

גם בדקנו את ההורדה p99 CoreML מודל ושניהם VAP יצוא בשתי שיחות פיתוח: 148 תורות וסופים 94 נעצר בתוך תור, תוך שימוש במדיניות החלטה קבועה. p99 נתפס 134 סיום עם 15 גילויים כוזבים; שניהם VAP יצוא שנתפס 124 עם שני גילויים כוזבים, כל יצוא קיבל את אותן החלטות אירוע כמחסום המקורי שלו. פרוטוקול אימות רשומות הקלטות והחתכים.שורה VAP שומרת על התפוקה הגדולה של חמשת הניצחונות.

The The The p99 CoreML ו VAP CoreML מודלים speech-swift APIs VAP ONNX עובר דרך C++ ו Android שעות ריצה מדריך כיסויי הורדות וקלטי אודיו.הבקשה שלך קובעת את מדיניות התגובה.

SLURP: בחירת פעולה מפקודות המדוברות

SLURP מכיל בקשות בעלות אישור ביתי עם פעולות וערכי טיעון לא מאוישים.במבחן ההמראה שלנו, כל הקלטה מגיעה עם עשר פעולות מועמדות ואופציה ללא פעולה.

ה- 1,000 שלנו כולל 810 בקשות לפעולה הנכונה זמין ו 190 עם פעולה זו נשמרת.We expect no Action on those 190.זה בודק אם המודל מקטין בקשה כאשר הפעולה שלו אינה זמינה.

רוב המערכות משתמשות בהקלטות 1,000, כולל אודיו קרוב ומחוץ לשדה אודיו.צעדי דיוק פארמיים מדויקים על הקלטות שנעשו מרחוק, כאשר הכלי המבוקש זמין. שיחות למרות כלי חסר נחשב בקשות שבו המערכת החזירה פעולה, למרות שהמכשיר המוזנח נעדר.הוא מאגד הקלטות דו-שיח ושדות רחוקים, ואינו מודד הפעלה מדיבור רקע או שתיקה.השולחן מראה את הסעיפים המדויקים.

המקומי Parakeet → Gemma 4 E2B צינורות מגיע 75.2% דיוק רחוק, קרוב ל-Nobe's 75.9% עקבו אחרי GPT Audio 83.0%אבל על 190 בקשות שהמכשיר הנכון לא היה זמין, Gemma עדיין בחר פעולה 88 זמנים: 46.3% שיעור הפעלה כוזב.דוגמה אחת הייתה "פריט פריט": עם הסרת רשימה לא זמינה, היא בחרה הסרת לוח שנה. 88 בקשות שהמכשיר הנכון שלו היה זמין ובחרו את הכלי הלא נכון על כלי אחר. 69.

ג'ייב וג'ינר בוחרים את הכלי הנכון על 311 של 423 תמיכה בבקשות עשירות, נתינה 73.5% הדיוק של התנהגותם משתנה כאשר הכלי הנכון חסר: ג'יב עדיין בוחר פעולה 22 של 190 בקשות (11.6%בעוד GLiER עושה זאת על 74 (39.0%לדוגמה, GLiNER פרש בקשה לנפח רמקולים נמוך כמו לגוון אור כאשר כלי נפח היה נעדר.דוגמאות אלה בחרו פעולה שונה מזו המבוקשת.תיאורי כלי ברטר יכולים גם לחפוף: בקשת מתכון עשויה להיות נשלחת לכלי בישול כללי.ספירתנו באה בעקבות הכוונה שלא ניתן לנסח כי כל חלופה הייתה בלתי סבירה.

לנובה יש את הציון הגבוה ביותר עבור התאמת הכלי ואת כל ערכי הטיעון הדרושים: 45.4%או 368 של 810 היא בחרה את הכלי הנכון על 643 בקשות, אבל הטיעונים לא הצליחו. 275 על אלה. 147 מקרים שהערכים שונים מההתייחסות; עוד 128 לפחות טיעון אחד, לפעמים לצד הבדלים בעלי ערך.

הערך הנפוץ ביותר היה זמן, המופיע ב- 34 של המקרים האלה.ראינו גם תאריכים חסרים ושדות לא ידועים.עבור בקשה אזעקה שכללה את "השבוע הזה", נובה החזירה את הזמן אבל עזב את התאריך. חלק מהכישלונות הם הבדלים: "לסנן" אינו תואם את "השול" של ההתייחסות תחת ההשוואה הקפדנית זו.

InstructTTSEval: למשלוח יש מצבי כישלונ משלו

For For InstructTTSEvalאנו שומרים על התסריט המדובר קבוע ומייצרים קליפים נפרדים באמצעות שלושה סוגים של הוראה:

• APS (Acoustic-Parameter Specification) מספק הגדרות קוליות מפורטות, כגון המגרש, קצב, נפח ומרקם קולי.לדוגמה: "לואו, קצב איטי, נפח רך וקול נשי במקצת".
• DSD (Descriptive-Style Directive) הוא מתאר את המסירה בשפה טבעית, מה שהופך כמה תכונות קוליות פתוחות: "דבר חם ומרגיע".
• RP (Role-Play) נותן אופי או מצב ושואל את המודל כדי להסיק איך להישמע: "אתה רופא מנחם מטופל חרדה".

השיעור לכל סוג מראה באיזו תדירות הנאום שנוצר עקב אחר ההוראה.

הקבוצה הגדולה יותר מכילה 25 אנגלית ו 25 קווי מקור סיניים, שלושה בדיקות כל אחד: 150 קליפים למערכת 25 קווים אנגליים, 75 בדיקות בסך הכל עוברות מחולקות על ידי בדיקות הכוללות; עם גודל משימה שווה, זה אומר של APS, DSD ו RP. A הצילו. Gemini השופט מספק את פסקי הדין בסגנון, בעוד שהתיקור בודק את המילים המדוברות בנפרד.

הקלטות מקוריות הם אודיו של המקור האנושי של האינדקס.We ציון אותם עם אותם הוראות ושופט המשמש 150-check רץ לתת את הקולות מסונתז נקודה ההתייחסות שלהם 73.3% אומר השופט קיבל 110 של 150.

על התאומה 150עקבו אחרי , FireRedTTS3-Instruct עשרות 65.3% תוצאות של MOSS-VoiceGenerator 56.0%Google's TTS עשרות 67.3%On The 75 אנגלית: Fire Red Score 72.0%, MOSS 52.0% Google 72.0%. VoxCPM2« BF16 לרוץ נשאר 59.3%התוצאה של המשחק שלה, 46.0%הוא חלש יותר מהתיאור הקולי שלו ותוצאות הכיוון. Qwen תוצאות חיפוש CustomVoice 52.7%מול 48.0% עבור לוח ניסיוני הקטן יותר, גודל לבד לא קבע את הציון.

שלנו ElevenLabs המרה של הוראה-ל-תאג ביקשה שירה וכמה שינויים רגשניים. CosyVoice3 לא הצליח לבדוק את המילה 48 של 50 APS קליפים; הקמת הדור שלה גם ניתוק הפניה הנוכחי ביישום הרשמי. נושאים אלה עדיין צריכים אימות תיקוני.הטווח המתוקן של דגים וכמה שורות אחרות מכילים תשובות שופטות שטען כי אודיו אינו זמין; אנו משמרים את פסקי הדין הללו ומסמן את הזמנית המושפעת.אלה הם תוצאות עבור הנמלים שלנו, המחטיפים והשופטים שלנו, במקום למצוא מודל במעלה הזרם יש את אותם גבולות בכל יישום.

רוב הכישלונות בהקלטות האדם הם במשחק תפקידים: 29 של 50 בדיקות להיכשל, בהשוואה לשמונה עבור APS ושלושה עבור DSD. הקלטה אמיתית יכולה להתאים לתיאור קול מפורט אך לא להתאים את התפקיד שהוקצה לו, והשופט יכול גם לעשות טעויות.השורה ההתייחסות עוזרת לנו לפרש ציוני הוראה; זה לא משקף את איכות הדיבור האנושי.

עיצוב קולי יכול להיות סינתזה בחזרה

Qwen's VoiceDesign יוצר קול מהתיאור בכתב. CustomVoice במקום זאת מתייחס להנחיות לקול מוקדם שנבחר.עניין ערוץ המחסומים והשליטה: שדה בשם "הרסה" אינו נותן מודל ליכולת שמעולם לא הוכשר לשימוש.

בדקנו Qwen3-TTS 1.7B VoiceDesign ו Breeze TTS 2 על אותו 5 מקורות אנגלים ו-5 סינים, שנותנים 30 בדיקות במודל.ארבעה בדיקות קליברציה הן מחוץ להישגים שלהם.ישמרנו את כל התפוקה, כולל דגל אחד שמדבר לכל מודל.

VoiceDesign חלף 23/30 בדיקות ו Breeze עבר 20/30עם עשרה הקלטות מקור משותפות בשלוש המשימות, זהו מסך פיתוח. 10ההבדל בין נקודות יש מרווח מקור-קלוסטר רחב הכולל אפס. הגדרת השופטת שונה גם מן הקבוצה הגדולה יותר, כך שהטייס אינו קובע כי VoiceDesign Outperforms של גוגל. 67.3% התוצאה.

FireRedTTS3-Instruct ועכשיו כל אחד מהם יש 150 בדיקות בסגנון בטבלה לעיל.הבדיקה של התוכן הנפרדת מרופדת 0/150 Fire Red קליפים 12/150 MOSS קליפים לשגיאה מילה מעל 30%הדגימות הקצרות של לוח הזמנים נשארות בחלל.ה- PCM הראשון זמין היה על אודות 4.50 אש אדומה ו 0.47 s for MOSS על התסריט האנגלי החם; Fire Red מחזירה גל שלם בזמן שחלף MOSS זרמים אלה אינם מקימים איכות הוראה או דירוג מהיר בהתאמה.

מחקר שמושך עכשיו מבקש יותר מנקודות קצה

מחקר צילום: 30 באוקטובר 2026The TurnBench החזיק בדירקטוריון כולל הצעות חדשות מעבר לקווי הבסיס המקוריים של הנייר. p99 מערכת כתיבה מתאר 6.1 מיליון פרמטרים שנלמדו, ראשי סיווג נוספים ופוליסת תור המשתמשת בשני ערוצי אודיו. Apache 2.0 להורדה מכיל את דגם ה- 5.3- Millions-parameter שלנו, כולל את המחסומים הניתנים להורדה.

LiveKit's eot-bench משלים זאת עם תפנית אנושית אמיתית ב- 14 שפות.It גורפת מדיניות מקצה קצה ומשווה שקיפות בתקציב קבוע של רדיפה כוזבת, כולל עקומת הסחר מלאה.זהו צעד שימושי עבור מוצר רב לשוני כי סף שעובד באנגלית לא מתאים שפה אחרת.

MultiParty TurnBenchהגשת החודש, מרחיבה את השליטה על הרצפה לשני עד חמישה דוברים. המחברים שלה מדווחים על ביצועים חזקים של תפנית לצד הפרעה סלקטיבית ליד ה-chance עבור סוכני ההערכה.שיחות שנוצרו שלה מספקות בדיקות מבוקרות, עם בדיקות קוליות אמיתיות הדרושות לצדם.פגישות וחדרים משותפים דורשות יותר מאשר להרחיב את כלל נקודת קצה דו-קולרית.

מלא דופלקס - Bench v3 זוגות דיבור באמת בלתי נמנע עם שיחות כלי שרשראות, חשיפת תיקונים עצמיים וכשלונות רב-שלביים. המונחים:כמו כן, הוגש החודש, מעריך פעולות אינטראקציה והאם הסוכן עוקב אחר כך.אנו רואים את אלה כמבחנים משלימים עבור הפער בין גילוי אירוע והשלמת אינטראקציה מועילה.לא הפעלנו את האינדקסים החדשים יותר בפוסט זה.

סינתזה פרטית, מכוונת כינונה והבחירות הקוליות האנגליות

Soniqo זמן ריצה פרטי ו- On-device SDKs לספק אבני בניין עבור יישומי דיבור בסביבה שלך.אנחנו עובדים עם צוותים בונים סינתזזה אקספרסיבית ומכוונים רגשית בשם צינורות: לשמור את המילים המיועדות, לבחור קול, לספק קצר משלוח, ולאחר מכן לבדוק את התוצאה בהקשר.

אתה יכול לתקע חזרה קול לתוך שלב הסינתזה תוך שמירה על מדיניות והוצאה להורג כלי בנפרד. עבור סצנה נרתמת, היישום יכול לציין רגיעה רגועה או דחיפות עולה במקום להפריע לרגש ולשנות את הביצועים ללא שליטה של הבמאי. a כי הנקראת זרימת עבודה זקוקה גם תזמון, רצף וסקירה; שלושת הקריטריונים לעיל לא לאשר את העבודה השלמה.

אפשרויות הקול האנגליות כוללות אמריקאי ובריטיות preset קולות בקטלוג Kokoro. Style-aware backends להוסיף קטעי קול בשפה טבעית. בחירה מוקדמת, עיצוב הקול ו-Selcasting הם בקרה ייחודית, ותמיכה משתנה על ידי מודל. A ביקש מבטא אזורי צריך הערכה עם מאזינים מוכרים עם מגוון זה; דיוק ודמיון דומה לא לקבוע אותנטיות.

עם החזר מקומי ומודל נכסים הניתנים, סינתזה יכולה להישאר בסביבת הפריסה.הפריסה המדויקת ומודל בחירה תלויה בחומרה המטרה ובמונחי המודל.נתוני מדד המחקר בלבד ועלויות המודל המוגבלות אינן רישיון מסחרי שמיכה.

אפשרויות אלה תמיכה

• בחרו מדיניות של תפנית לפי נקודת התפעול שלה. ב פרוסת אדונו, VAP ו- Mimi מציעים זיכרון שונה, נשק כוזב ועיכוב התנגשויות.מחקר שנערך הנוכחי עבר מעבר לקווי הבסיס המקוריים האלה.
• ספירת בקשות כלי שלמות. במערך עשר הפעולות שלנו, נובה בחרה את הכלי הנכון ב- 643 נתמך בבקשות; 368 גם תואמים טיעונים.ערכים לא נכונים ושדות חסרים היוו את הפער.
• מבחן משלוח על ידי סוג הוראה. משחק תפקידים הוא אזור חלש יותר במספר ריצות.הטייס VoiceDesign קובע השוואה גדולה יותר, ולא תביעה של מנצח כללי חדש.

המדידות השימושיות הבאות הן קבוצת VoiceDesign גדולה יותר עם שיפוט תואמים, נקודות קצה רב לשוניות בשיעורי חיתוך קבועים, ובדיקות אינטראקציה הנושאות תיקון דרך שיחת הכלי הסופי.סקירה אנושית של מבטא, טבעיות ורציפות ביצועים שייכים לצד הציונים האוטומטיים לעבודה קולית הייצור.

קרא את תוצאות חיים ופרוטוקולים, לחקור speech-swiftאו לדבר על פריסה פרטיתהטבלאות לעיל לשמור על גדלים והגדרות לרוץ מן התמונה המקושרת.