Benchmarks

RTF（实时因子）小于 1.0 表示快于实时。

Apple Silicon (MLX + CoreML)

所有 benchmark 都在 Apple M5 Pro、48 GB、macOS 25.5 上运行，使用 release 构建和已编译的 metallib。

ASR — 词错率

在 LibriSpeech test-clean（2620 段录音，约 5.4 小时英文朗读）上评估。

重点选择：Qwen3-ASR MLX 1.7B 5-bit 以 1.32% WER 成为新的准确率领先项，优于 WhisperKit Large-v3 Turbo（1.71%）和自家的 1.7B 8-bit（1.52%），同时比 8-bit 少用约 600 MB 峰值 RSS，速度快 23%。Parakeet TDT v3 是英语场景最快选择（117× 实时，25 种欧洲语言）。Omnilingual CTC 300M MLX 4-bit 是多语言吞吐领先项：222× 实时，384 MB 峰值，1 672 种语言。

Qwen3-ASR 0.6B CoreML 行使用重建后的分块 block-attention 编码器（aufklarer/Qwen3-ASR-CoreML）。之前的导出会对零填充 mel 运行未掩码的全局自注意力，并在第一个句末句号后立即输出 <|im_end|>（同一测试集重建前为 24.88% WER）。

需要更聚焦的选型指南？请查看 Qwen3-ASR vs Whisper：准确率、速度与内存。

长音频稳定性（持续的 Neural Engine 负载）

顺序处理 200 段 LibriSpeech 录音（约 30 分钟音频，M5 Pro）。测试在持续转写下 WER 或延迟是否会退化。

未检测到退化。整个会话期间 WER 保持稳定。RTF 实际上随着 CoreML 的执行计划缓存预热而提升。在 42 分钟连续 Neural Engine 推理后没有出现热降频。Parakeet 独立处理每个 chunk——不存在跨 chunk 的状态累积。

多语言结果（FLEURS）

对 CJK 语言使用 CER（无词边界）。Parakeet 支持约 25 种欧洲语言（不包含 CJK）。

压缩差异

量化到更低位宽带来的精度损失。

TTS — 往返可懂度

合成文本，然后用 Qwen3-ASR 0.6B 把音频再转写回来，并相对原始文本计算 WER。在 30 个内置英文对话句上评估。

声音克隆(零样本)

使用同一段 12 秒参考音频做零样本声音克隆;回读 = 用 Qwen3-ASR 转写输出并与输入文本对比。Apple M5 Pro,48 GB;RTF 为墙钟时间 ÷ 音频秒数(越低越快)。

延迟分解（Qwen3-TTS）

VAD — 检测精度

FLEURS 评估（10 种语言，250 个文件）

在相同阈值下，相对于 Python FireRedVAD 参考 ground truth 进行评估。

VoxConverse 评估（多说话人）

5 个多说话人对话文件，在 10 ms 帧分辨率下评估。

与已发表数据的对比

说话人嵌入向量

提取延迟

20 秒音频片段，预热后 10 次迭代。

嵌入向量质量（VoxConverse）

5 个多说话人录音中分段级 embedding 之间的余弦相似度。分离度越高 = 说话人区分能力越强。

音源分离 — SDR

在 MUSDB18-HQ（50 段完整测试曲目，立体声 44.1 kHz）上的信号失真比 (SDR)。越高越好。两个模型尺寸：HQ（每个声轨 8.9M 参数）和 L（每个声轨 28.3M 参数）。

Android —— 设备端（Galaxy S23）

在 三星 Galaxy S23（SM-S918B），arm64，仅 CPU 上测量，标注处为 INT8。RTF 为耗时 ÷ 音频（越低越快于实时；<1.0 为实时）；Peak RSS 为运行模型的常驻内存。STT 使用 20 秒音频；TTS 报告 RTF 或首音延迟（TTFA）。

要点：Parakeet-EOU-120M 是这里最轻的 STT，仅约 232 MB——多语言（25 种欧洲语言）、流式，并内置话轮结束检测，比 0.6B 的 Parakeet 小约 5–6×。禁用 ONNX 的 CPU 内存竞技场（现为默认）将 Parakeet-TDT 从约 1.34 GB 降到约 1.15 GB。

复现

# ASR benchmarks (LibriSpeech test-clean)
make build
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B-8bit
python scripts/benchmark_asr.py --batch --engine parakeet
python scripts/benchmark_asr.py --batch --engine parakeet --model int8

# ASR multilingual (FLEURS, auto-download)
python scripts/benchmark_asr.py --dataset fleurs --language en_us --batch

# TTS round-trip
python scripts/benchmark_tts.py --compare

# VAD comparison
python scripts/benchmark_vad.py --compare

# Speaker embeddings comparison
python scripts/benchmark_speaker.py --compare

# Source separation (MUSDB18-HQ, download from Zenodo)
python scripts/benchmark_separation.py --data-dir benchmarks/data/musdb18-hq