תרגום מכונה · המקור באנגלית
מבחני ביצועים
RTF (גורם בזמן אמת) מתחת ל- 1.0 פירושו מהר יותר מאשר בזמן אמת.
Apple Silicon (MLX + CoreML)
כל המדדים ב Apple M5 Pro, 48 GB, macOS 25.5 עם שחרור מצטבר ומאגד מתכת.כל מנוע פועל בתהליך ילדים נפרד (asr-bench --isolated
ASR - Word Error Rate
מבוסס על LibriSpeech Test-cleanקודם, 200 מילים (~)30 נאום קריאה באנגלית). WER מוצג באמצעות סטנדרט בסגנון Whisper + Levenshtein over whitespace אסימונים. Qwen3-ASR 5-bit שורות נמדדו על תת-קבוצה של 100-utterance של אותו תיקון על M-series (התקבלה כאשר ה- 5®-bit נחת); אותה נורמטיבית, אותה נקודת נתונים.
| מנוע מנוע מנוע | המונחים | WER% | RTF | xRT | שיא RSS |
|---|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 36.4× | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8 סיביות | 1.52 | 0.033 | 30.5× | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 8 סיביות | 1.82 | 0.015 | 66.0× | 1.3 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 70.5× | 1.03 GB |
| WhisperKit Large-v3 טורבו | FP16 | 1.71 | 0.084 | 11.9× | 0.4 GB |
| WhisperASR Native CoreML | FP16 | 1.40 | 0.089 | 14.0× | 384 MB |
| Qwen3-ASR 0.6B MLX | 4bit | 2.20 | 0.012 | 85.6× | 1.0 GB |
| Parakeet TDT v3 | INT8 | 2.37 | 0.009 | 117.4× | 0.9 GB |
| Qwen3-ASR 0.6B CoreML | INT8 | 3.02 | 0.098 | 10.2× | 1.4 GB |
| Omnilingual CTC 300M MLX | 4bit | 4.26 | 0.005 | 222.1× | 0.4 GB |
| Omnilingual CTC 300M CoreML | INT8 | 5.67 | 0.128 | 7.8× | 0.5 GB |
| Nemotron הזרמת | INT8 | 2.82 | 0.058 | 17.1× | 961 MB |
בחירת כותרת: Qwen3-ASR MLX 1.7B B 5-bit הוא מנהיג הדיוק החדש 1.32% WER מנצח את WhisperKit Large-v3 טורבו ( Turbo)1.71%(ושלנו) 1.7B B 8-bit (1.52%(עם שימוש)600 MB פחות שיא RSS מאשר 8-bit וריצה 23% מהר יותר. Parakeet TDT v3 הוא המהיר ביותר עבור אנגלית בלבד (117× בזמן אמת 25 שפות אירופיות ( Omnilingual CTC) 300M MLX 4-bit הוא המנהיג המולטי-לשוני: 222× בזמן אמת 384 שיא MB, 1 672 שפות.
Qwen3-ASR 0.6B CoreML משקף את קוד ה-block-attention המשולב (מחדש)Aufklarer / Qwen3-ASR-CoreML(היצוא הקודם רץ ללא כוונה עצמית גלובלית על פני אבטיחים מאוישים אפס ונפלט <|im_end|> מיד לאחר תקופת המשפט הראשונה (האחרונה)24.88% WER על אותו תיקון לפני הבנייה מחדש.
צריך מדריך החלטה ממוקד? Qwen3-ASR לעומת Whisper: דיוק, מהירות וזיכרון.
דיאריזציה נמדדת בנפרד בשמונה שפות: ראה המונחים diarization Measures הסכם DER ורמקולים על פני pyannote Community-1, NVIDIA מכנה, MOSS וענן הדיבור API.
יציבות לטווח ארוך (מצטבר Neural Engine העומס)
200 LibriSpeechאמירות מעובדות באופן משמעותי (-30 Min Audio, M5 Pro) בדיקות אם WER או latency degrade תחת תמליל מתמשך.
| מסובך | 25% ראשונים | 25% אחרונים | כללי |
|---|---|---|---|
| WER% | 1.30 | 1.23 | 2.43 |
| RTF | 0.672 | 0.400 | 0.539 |
שום השפלה לא מזוהה. WER הוא יציב במהלך הפגישה. RTF למעשה משתפר כמו CoreML מחמם את תוכנית ההוצאה להורג שלו cache. No תרמי crottling לאחר 42 דקות של Neural Engine מתמשך Parakeet מעבדים כל אחד באופן עצמאי - לא מצב הצטברות בין-chunk.
תוצאות מרובות לשוניות (FLEURS)
CER המשמש את שפות CJK (ללא גבולות מילה) Parakeet תומך - 25 שפות אירופיות (לא CJK).
| שפה | מסובך | Qwen3 4bit | Qwen3 8 סיביות | Parakeet INT8 |
|---|---|---|---|---|
| ספרדית | WER | 6.44 | 5.06 | 5.18 |
| אנגלית אנגלית | WER | 6.57 | 5.64 | 9.30 |
| סין הסינית | CER | 8.41 | 7.71 | — |
| גרמניה גרמנית | WER | 9.45 | 6.81 | 12.33 |
| צרפתית צרפתית צרפתית | WER | 11.42 | 8.50 | 13.02 |
| יפן יפנית | CER | 16.11 | 8.64 | — |
| רוסיה רוסיה | WER | 16.35 | 10.52 | 11.49 |
| קוריאה הקוריאנית | WER | 19.95 | 6.89 | — |
| הינד | WER | 25.93 | 18.57 | — |
| ערבית ערבית | WER | 33.47 | 20.31 | — |
דיכוי דלטה
אובדן דיוק מכמת עד לספירות קטנות נמוכות יותר.
| משתנה | WER% | החלפת | המונחים | מחיקת | שגיאות מוחלטות | גודל |
|---|---|---|---|---|---|---|
| Qwen3 0.6B 8 סיביות | 2.80 | 1111 | 92 | 268 | 1471 | 960 MB |
| Qwen3 0.6B 4bit | 3.34 | 1323 | 123 | 308 | 1754 | 675 MB |
| Delta | +0.54 | +212 | +31 | +40 | +283 | -30% |
| Parakeet TDT INT8 | 2.74 | 990 | 125 | 308 | 1423 | 634 MB |
Qwen3-ASR 1.7B MLX 1.32% WER at at 5-bit (1.52% at at 8המונחים: WhisperKit Large-v3 טורבו ( Turbo)1.71%(בזמן ריצה) 30-36× בזמן אמת Apple Silicon.
TTS - Round-Trip Intelligibility
טקסט בגודל סינת', ולאחר מכן תסביר את השמע בחזרה עם Qwen3-ASR 0.6B ו-compute WER נגד הטקסט המקורי. העריך ב-30 משפטים בשפה האנגלית.
| מנוע מנוע מנוע | מודל מודל | Params | גודל | WER% | RTF |
|---|---|---|---|---|---|
| CosyVoice3 | 0.5Bbit 4 | 500 מיליון | -1.9 GB | 3.25 | 0.59 |
| Qwen3-TTS | 1.7Bbit 4 | 1.7B | 2.3 GB | 3.47 | 0.79 |
| Qwen3-TTS | 1.7B 8-bit | 1.7B | 3.5 GB | 3.66 | 0.85 |
| Kokoro-82M | CoreML | 82M | 170 MB | 3.90 | 0.17 |
| Qwen3-TTS | 0.6B 8-bit | 600M | 960 MB | 9.74 | 0.76 |
| Qwen3-TTS | 0.6Bbit 4 | 600M | 675 MB | 15.58 | 0.76 |
צילום קולי (zero-shot)
קול Zero-shot משובץ מאותו 12 s Reference קליפ; עגול = Qwen3-ASRתיעת הפלט בהשוואה לטקסט קלט.Apple M5 Pro, 48 GB; RTF הוא זמן קידוד שניות (נמוך יותר).
| מנוע מנוע מנוע | WER% | שיא RSS | אודיו Audio | סינת | RTF | Roundtrip |
|---|---|---|---|---|---|---|
| Higgs TTS 3 (clone) | 4B bf16 | 8.6 GB | 6.04 | 4.73 | 0.78 | מדויק |
| F5-TTS (16 שלבים) | 336M fp16 | 0.8 GB | 5.09 | 2.91 | 0.57 | 1-word sub |
| F5-TTS (32 שלבים) | 336M fp16 | 0.8 GB | 5.09 | 5.75 | 1.13 | 1-word sub |
| IndexTTS2 (clone) | 1.5B-class fp16 | 3.0 GB | 5.80 | 5.8 | 1.0 | מדויק |
התפלגות לב (Qwen3-TTS)
| שלב השלב | הזמן | אחוז מוחלט | תיאור תיאור |
|---|---|---|---|
| Embed | 1-3 ms | <1% | קידוד (TTFT) |
| ייצור | 2-6 | ~92% | קידוד קוד אגרסיבי |
| Decode | 244-457 מ"ס | ~8% | Codec decoder to waveform |
הכל TTS המנועים מהירים יותר מאשר בזמן אמת (RTF < 1.0). CosyVoice3 תוצאות Intelligibility3.25% WER). Kokoro הוא המהיר ביותר (RTF 0.17(רק) 170 MB.
VAD - זיהוי
FLEURS הערכה (10 שפות, 250 קבצים)
מבוסס על Python Fire RedVAD מתייחסת לאמת הקרקעית באותו סף.
| מנוע מנוע מנוע | Params | חזרה | F1% | % | % | RTF |
|---|---|---|---|---|---|---|
| אש אדומה | 588K | CoreML (ANE) | 99.12 | 2.52 | 0.47 | 0.007 |
| Silero v5 | 309K | CoreML (ANE) | 95.13 | 15.76 | 1.89 | 0.022 |
| Silero v5 | 309K | MLX (GPU) | 95.11 | 15.85 | 1.89 | 0.027 |
| Pyannote | 1.5M | MLX (GPU) | 94.86 | 14.71 | 2.92 | 0.358 |
VoxConverse Assessment (multi-רמקולer)
5 קבצי שיחה רב-רמקולים שהוערכו ברזולוציה של 10 מ"מ.
| מנוע מנוע מנוע | Params | חזרה | F1% | % | % | RTF |
|---|---|---|---|---|---|---|
| Pyannote | 1.5M | MLX (GPU) | 98.22 | 50.09 | 0.19 | 0.358 |
| Silero v5 | 309K | CoreML (ANE) | 97.52 | 33.29 | 2.69 | 0.022 |
| Silero v5 | 309K | MLX (GPU) | 95.98 | 21.02 | 5.88 | 0.027 |
| אש אדומה | 588K | CoreML (ANE) | 94.21 | 40.12 | 5.05 | 0.007 |
השוואה עם מספרים שפורסמו
| מודל מודל | F1% | % | % | Params | Dataset |
|---|---|---|---|---|---|
| Pyannote (שלנו) | 98.22 | 50.09 | 0.19 | 1.5M | VoxConverse |
| Fire RedVAD (paper) | 97.57 | 2.69 | 3.62 | 588K | FLEURS-VAD-102 |
| Silero (שלנו) | 95.98 | 21.02 | 5.88 | 309K | VoxConverse |
| Silero-VAD (paper) | 95.95 | 9.41 | 3.95 | 309K | FLEURS-VAD-102 |
| Fire RedVAD (שלנו) | 94.21 | 69.33 | 5.05 | 588K | VoxConverse |
Fire RedVAD מגיע 99.12% F1 על FLEURS עם שיעור האזעקה הנמוך ביותר (2.52%(והוא רץ) 135x בזמן אמת Silero v5 מספק את האפשרות הזרמה הטובה ביותר ב 32 ms per. Share
זיהוי מילות הפעלה / מילות מפתח
KWS Zipformer (gigaspeech Fine-tune)
הזרמת הזרמתסטרימינג Zipformer2 טרנספורטר (Transducer3.49M params, Apache-2.0(עם) INT8 שיתוק על CoreMLתבוסה נגד 12 מילות מפתח על LibriSpeech Test-clean158 ביטויים חיוביים, 60 שלילי ( Thresholds tuned: acThreshold = 0.15, contextScore = 0.5, numTrailingBlanks = 1.
| מסובך | ערך | הערות הערות |
|---|---|---|
| RTF (CPU + Neural Engine) | 0.04 | 26× בזמן אמת על M-Series |
| Recall (12 מילות מפתח) | 88% | LibriSpeech Test-clean, 158 הצהרות חיוביות |
| חיובי כוזב / ביטוי | 0.27 | 60 ביטויים שליליים |
| CoreML INT8 לעומת PyTorch FP32 | 99% | הסכם הרשאות |
| גודל המודל | 4 MB | קידוד 3.3 MB +coder 525 KB + joiner 160 KB |
| זיכרון ריצה | 6 MB | משקל + מצב הרוח |
ברירת מחדל מותאמות השתפרה 62% to to 88% (ומצטרפים FP/utt 0.43 to to 0.27(הופנה מהדף Upstream Icefall ברירת מחדל)acThreshold = 0.25, contextScore = 2.0(ראה) תגית: Wake-Word Guide עבור תבנית מילת מפתח-file ו- Per-Words סף כוונון.
ייצוגי דוברים
המונחים: latency
20 שניות אודיו קליפ, 10 היציאות לאחר חימום.
| מודל מודל | דיאם | חזרה | חוסר יציבות |
|---|---|---|---|
| CAM + (3D-Talker) | 192 | CoreML (ANE) | 12 ms |
| WeSpeaker ResNet34-LM | 256 | MLX (GPU) | 64 ms |
| WeSpeaker ResNet34-LM | 256 | CoreML (ANE) | 143 ms |
איכות Embedding (VoxConverse)
דמיון קוסטין בין שכבות ברמת פלח מתוך 5 הקלטות מרובות-רמקולים. הפרדה גבוהה יותר = אפליה טובה יותר לרמקול.
| מודל מודל | חזרה | Intra-Talker | דיבור בין-מדבר | הפרדה |
|---|---|---|---|---|
| WeSpeaker | MLX | 0.726 | 0.142 | 0.584 |
| WeSpeaker | CoreML | 0.726 | 0.143 | 0.582 |
| CAM + | CoreML | 0.723 | 0.395 | 0.328 |
שלושת המנועים מתאימים Python המונחים:0.577 הפרדה, דמיון משותף >0.96). WeSpeaker הישגים 0.584 הפרדה MLX ו CoreML. CAM + רץ 5x מהיר יותר (12 ms vs 65 (ב) עם הפרדה טובה (0.328).
הפרדה - SDR
Signal-to-Distortion Ratio (SDR) על MUSDB18-HQ (50 מסלולי בדיקה באורך מלא, stereo 44.1kHz) גבוה יותר הוא טוב יותר. 2 דגמים גדלים: מטה (8.9M params/stem) ו- L (28.3M params /stm).
| Target Target | UMX-HQ (MLX) | UMX-L (MLX) | UMX-HQ (פורסם) |
|---|---|---|---|
| שירים | 6.23 dB | 10.5 dB | 6.32 dB |
| תופים | 6.44 dB | -7.0 dB | 5.73 dB |
| באס באס | 4.56 dB | -5.5 dB | 5.23 dB |
| אחרים | 3.41 dB | -4.5 dB | 4.02 dB |
| מודל מודל | תגית/stem | גודל | RTF | מהירות המהירות |
|---|---|---|---|---|
| Open-Unmix | 8.9M | 136 MB | 0.23 | 4.3x בזמן אמת |
| פתוח-Unmix L | 28.3M | 432 MB | 0.21 | 4.8x בזמן אמת |
UMX-HQ משחקים שפורסמו SDR על שירה ותופים עם מודל 8.9M קל משקל. UMXL מספק +2-4 dB שיפור בגודל של 3x את גודל המודל. שניהם כוללים multichannel Wiener EM לאחר סינון ו לרוץ מהר יותר מאשר בזמן אמת על Apple Silicon
Android - על-יד (Galaxy S23)
נמדד על Samsung Galaxy S23 (SM-S918B), arm64, CPU רק רק רק, INT8 איפה צוין. RTF קיר סמן אודיו (lower הוא מהיר יותר מהזמן האמיתי; <1.0 זה זמן אמיתי; Peak RSS הוא קבוצת תושב של מודל הריצה. 20 s קליפ; TTS דוחות RTF או זמן ל- First-audio (TTFA).
| מודל מודל | משימות | Runtime | מהירות המהירות | שיא RSS |
|---|---|---|---|---|
| Parakeet-EOU 120M | סטרימינג STT + EOU | ONNX INT8 | 0.21 RTF | 232 MB |
| Omnilingual CTC 300M | Multilingual STT | LiteRT | 0.15 RTF | 831 MB |
| Nemotron הזרמת 0.6B | סטרימינג STT | LiteRT | 0.67 RTF | 1.30 GB |
| Parakeet-TDT 0.6B | STT (batch) | ONNX INT8 | 0.082 RTF | 1.15 GB |
| Supertonic-3 99M | TTS (קול מוקדם) | LiteRT | 0.34 RTF · ~1.1 s TTFA | 832 MB |
| Kokoro-82M | TTS (קול מוקדם) | ONNX FP32 | 0.53 RTF | 640 MB |
כותרת: Parakeet-EOU-120M הוא STT הקל ביותר כאן 232 MB רב לשוני ( Multilingual)25 אירופה), הזרמה, עם גילוי סוף-סוף, בערך 5–6× בהיר יותר מאשר 0.6B B Parakeetאכזב את ONNX CPU זירת זיכרון (כיום ברירת המחדל) לחתוך את Parakeet-TDT מ-1.34 GB to -1.15 GB.
Reproduction
# ASR benchmarks (LibriSpeech test-clean)
make build
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B-8bit
python scripts/benchmark_asr.py --batch --engine parakeet
python scripts/benchmark_asr.py --batch --engine parakeet --model int8
# ASR multilingual (FLEURS, auto-download)
python scripts/benchmark_asr.py --dataset fleurs --language en_us --batch
# TTS round-trip
python scripts/benchmark_tts.py --compare
# VAD comparison
python scripts/benchmark_vad.py --compare
# Speaker embeddings comparison
python scripts/benchmark_speaker.py --compare
# Source separation (MUSDB18-HQ, download from Zenodo)
python scripts/benchmark_separation.py --data-dir benchmarks/data/musdb18-hq