Benchmarks

RTF (real-time factor) abaixo de 1.0 significa mais rapido que tempo real.

Apple Silicon (MLX + CoreML)

Todos os benchmarks em Apple M5 Pro, 48 GB, macOS 25.5 com builds de release e metallib compilada.

ASR — Taxa de erro de palavra

Avaliado em LibriSpeech test-clean (2620 enunciados, ~5.4 horas de fala lida em ingles).

Destaques: Qwen3-ASR MLX 1.7B 5-bit é o novo líder de precisão com 1.32% WER: supera WhisperKit Large-v3 Turbo (1.71%) e nosso 1.7B 8-bit (1.52%), usando ~600 MB a menos de RSS pico que 8-bit e rodando 23% mais rápido. Parakeet TDT v3 é o mais rápido para inglês (117× tempo real, 25 idiomas europeus). Omnilingual CTC 300M MLX 4-bit lidera o throughput multilíngue: 222× tempo real, 384 MB pico, 1 672 idiomas.

A linha Qwen3-ASR 0.6B CoreML reflete o encoder chunked block-attention reconstruído (aufklarer/Qwen3-ASR-CoreML). O export anterior rodava self-attention global sem máscara sobre mel com zero padding e emitia <|im_end|> logo após o primeiro ponto final (24.88% WER no mesmo fixture antes do rebuild).

Estabilidade em longa duracao (carga sustentada no Neural Engine)

200 enunciados LibriSpeech processados sequencialmente (~30 min de audio, M5 Pro). Testa se a WER ou a latencia degradam sob transcricao sustentada.

Nenhuma degradacao detectada. A WER e estavel durante a sessao. O RTF na verdade melhora conforme o CoreML aquece seu cache de plano de execucao. Nenhum thermal throttling apos 42 minutos de inferencia continua no Neural Engine. O Parakeet processa cada chunk independentemente — sem acumulacao de estado entre chunks.

Resultados multilingues (FLEURS)

CER usado para idiomas CJK (sem fronteiras de palavras). Parakeet suporta ~25 idiomas europeus (sem CJK).

Delta de compressao

Perda de precisao ao quantizar para larguras de bits menores.

TTS — Inteligibilidade round-trip

Sintetize texto, depois transcreva o audio de volta com Qwen3-ASR 0.6B e calcule a WER contra o texto original. Avaliado em 30 frases conversacionais integradas em ingles.

Breakdown de latencia (Qwen3-TTS)

VAD — Precisao de deteccao

Avaliacao FLEURS (10 idiomas, 250 arquivos)

Avaliado contra o ground truth de referencia do Python FireRedVAD no mesmo limiar.

Avaliacao VoxConverse (multi-locutor)

5 arquivos de conversa multi-locutor avaliados em resolucao de frame de 10 ms.

Comparacao com numeros publicados

Embeddings de falante

Latencia de extracao

Clipe de audio de 20 segundos, 10 iteracoes apos warmup.

Qualidade de embedding (VoxConverse)

Similaridade de cosseno entre embeddings de nivel de segmento em 5 gravacoes multi-locutor. Maior separacao = melhor discriminacao de falante.

Separacao de fontes — SDR

Relacao sinal-distorcao (SDR) no MUSDB18-HQ (50 faixas de teste completas, estereo 44.1 kHz). Maior e melhor. Dois tamanhos de modelo: HQ (8.9M params/stem) e L (28.3M params/stem).

Android — no dispositivo (Galaxy S23)

Medido num Samsung Galaxy S23 (SM-S918B), arm64, apenas CPU, INT8 quando indicado. O RTF é tempo ÷ áudio (menor = mais rápido que tempo real; <1.0 = tempo real); Peak RSS é a memória residente do modelo. STT usa um clipe de 20 s; TTS indica o RTF ou o tempo até ao primeiro áudio (TTFA).

Destaque: Parakeet-EOU-120M é o STT mais leve aqui, com ~232 MB – multilíngue (25 idiomas europeus), em streaming e com deteção de fim de turno integrada, cerca de 5–6× menor que o Parakeet de 0.6B. Desativar a arena de memória de CPU do ONNX (agora padrão) reduziu o Parakeet-TDT de ~1.34 GB para ~1.15 GB.

Reproducao

# ASR benchmarks (LibriSpeech test-clean)
make build
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B-8bit
python scripts/benchmark_asr.py --batch --engine parakeet
python scripts/benchmark_asr.py --batch --engine parakeet --model int8

# ASR multilingual (FLEURS, auto-download)
python scripts/benchmark_asr.py --dataset fleurs --language en_us --batch

# TTS round-trip
python scripts/benchmark_tts.py --compare

# VAD comparison
python scripts/benchmark_vad.py --compare

# Speaker embeddings comparison
python scripts/benchmark_speaker.py --compare

# Source separation (MUSDB18-HQ, download from Zenodo)
python scripts/benchmark_separation.py --data-dir benchmarks/data/musdb18-hq