Terjemahan mesin · Versi asli bahasa Inggris

Tolok ukur

RTF (Faktor waktu sebenarnya) dibawah 1.0 berarti lebih cepat dari waktu asli.

Apple Silicon (MLX + CoreML)

Semua benchmarks pada Apple M5 Pro, 48 GB, macOS 25.5 dengan rilis membangun dan dikompilasi metaplib. Setiap mesin berjalan dalam proses anak terpisah (asr-bench --isolated) sehingga kolom Peak RSS adalah biaya per- nyata mesin, bukan sekuensial tinggi tanda air.

ASR - Laju Galat Kata

Dievaluasi pada Tes bahasa - bersih, pertama 200 Kata (~30 min dari bahasa Inggris membaca pidato). WER Dihitung melalui Normalizer gaya Whisper- + Levenshtein melalui token whitespace. Qwen3-ASR 5- bit baris diukur pada 100-vertance subset dari fixture yang sama pada seri M- (ditambahkan ketika 5-bit varian mendarat); normal sama, dataset sama.

Headline picks: Qwen3-ASR MLX 1.7B 5- bit Adalah pemimpin baru akurasi di 1.32% WER - mengalahkan WhisperKit Large-v3 Turbo (1.71%) dan kita sendiri 1.7B 8-bit (1.52%) ketika menggunakan ~600 MB kurang puncak RSS dari 8-bit dan berjalan 23% lebih cepat. Parakeet TDT v3 adalah yang tercepat untuk Inggris - saja (117× real-time, 25 Bahasa Eropa). Omnibahasa CTC 300M MLX 4-bit adalah pemimpin multibahasa melalui: 222× real-time, 384 Puncak MB, 1 672 Bahasa.

Qwen3-ASR 0.6B CoreML row mencerminkan pembengkokan blok yang terpotong (aufklarer / Qwen3-ASR-CoreML) - ekspor sebelumnya dijalankan uncrypt global perhatian atas zero- padded mel dan dipancarkan <|im_end|> tepat setelah hukuman pertama - periode akhir (24.88% WER pada fixture yang sama sebelum pembangunan kembali).

Butuh panduan keputusan yang fokus? Qwen3-ASR vs Whisper: akurasi, kecepatan, dan memori.

Diarisasi diukur secara terpisah di delapan bahasa: lihat Speaker diarization benchmarks untuk DER dan berbicara-jumlah kesepakatan di plannote Community-1, NVIDIA Sortformer, MOSS dan Speech Cloud API.

Stabilitas bentuk panjang (beban Neural Engine yang berkelanjutan)

200 LibriSpeech vertations diproses secara berurutan (~30 min audio, M5 Pro). tes apakah WER atau degrade latensi dibawah transkripsi yang berkelanjutan.

Tidak ada degradasi terdeteksi. WER stabil di seluruh sesi. RTF benar-benar meningkatkan sebagai CoreML menghangatkan cache rencana eksekusinya. Tidak ada throtling termal setelah 42 menit dari kontinyu Neural Engine Kesimpulan. Parakeet proses setiap potongan secara independen - tidak ada keadaan saling berbenturan akumulasi.

Hasil multibahasa (FLEURS)

CER digunakan untuk bahasa CJK (tidak ada batasan kata). Parakeet mendukung ~ 25 Bahasa Eropa (tidak ada CJK).

undo-type

Keakuratan kehilangan dari kuantisasi ke widget bit lebih rendah.

TTS - Round- Trip Intelligibility

Teks Synthesize, lalu translate audio kembali dengan Qwen3-ASR 0.6B dan kompute WER Terhadap teks asli, yang dievaluasi pada 30 built-in English conversation senses.

Kloning suara (zero-shot)

Zero-shot cloning suara dari yang sama 12 referensi klip; round trip = Qwen3-ASR transcription dari keluaran dibandingkan dengan teks masukan. Apple M5 Pro, 48 GB; RTF adalah waktu dinding meragukan detik (lebih cepat).

Gangguan latensi (Qwen3-TTS)

VAD - Keakuratan Deteksi

FLEURS evaluasi (10 bahasa, 250 berkas)

Dievaluasi terhadap Python FireRedVAD referensi kebenaran tanah di ambang yang sama.

Evaluasi VoxConverse (multi- speaker)

5 multi- speaker berkas percakapan dievaluasi pada 10 ms frame resolusi.

Perbandingan dengan nomor yang diterbitkan

Deteksi kata pemicu / kata kunci

KWS Zipformer (gigaspeech fine- tune)

Streaming Zipformer2 transducer (3.49M params, Apache-2.0) dengan INT8 palettization on CoreMLDievaluasi terhadap 12 kata kunci pada tes librispeks-bersih (158 (Yang demikian itu) hal yang telah disebutkan itu (adalah perkataan yang benar) yang tidak diragukan lagi. 60 negatif). thresholds disetel: acThreshold = 0.15, contextScore = 0.5, numTrailingBlanks = 1.

Penanggalan baku tuned ditingkatkan dari 62% ke 88% (dan memotong FP / utt dari 0.43 ke 0.27) vs. the upstream icefall default (acThreshold = 0.25, contextScore = 2.0Lihat wake- word guide untuk format keyword- file dan per-frase threshold tuning.

Embedding pembicara

Penjemputan latensi

20-detik klip audio, 10 iterasi setelah pemanasan.

Kualitas embedding (VoxConverse)

Kemiripan kosinus antara tingkat penyeludupan tingkat segmenter dari 5 banyak rekaman speaker pemisahan yang lebih tinggi = diskriminasi pembicara yang lebih baik.

Pemisahan Sumber - SDR

Signall-to- Distortion Rasio (SDR) on MUSDB18-HQ (50 trek uji full-length, stereo 44.1KHz) Lebih tinggi lebih baik dua ukuran model:8.9M params / stem) dan L (28.3M params / stem).

Android - on- perangkat (Galaxy S23)

Diukur pada Samsung Galaxy S23 (SM-S918B), arm64, CPU hanya, INT8 di mana dicatat. RTF adalah dinding audio grender (lebih cepat dari waktu sebenarnya; <1.0 adalah real time); Peak RSS adalah set penduduk dari model yang berjalan. STT baris menggunakan 20 s klip; TTS laporan RTF atau waktu -to -first-audio (TTFA).

Headline: Parakeet-EOU-120M adalah STT paling ringan di sini di ~ 232 MB - multibahasa (25 Eropa), streaming, dengan deteksi ucapan dalam baris-akhir, kira-kira 5–6× lebih ringan dari 0.6B Parakeet. Menonaktifkan ONNX CPU arena memori (sekarang baku) dipotong Parakeet- TDT dari ~1.34 GB ke ~1.15 GB.

Reproduksi

# ASR benchmarks (LibriSpeech test-clean)
make build
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B-8bit
python scripts/benchmark_asr.py --batch --engine parakeet
python scripts/benchmark_asr.py --batch --engine parakeet --model int8

# ASR multilingual (FLEURS, auto-download)
python scripts/benchmark_asr.py --dataset fleurs --language en_us --batch

# TTS round-trip
python scripts/benchmark_tts.py --compare

# VAD comparison
python scripts/benchmark_vad.py --compare

# Speaker embeddings comparison
python scripts/benchmark_speaker.py --compare

# Source separation (MUSDB18-HQ, download from Zenodo)
python scripts/benchmark_separation.py --data-dir benchmarks/data/musdb18-hq