Konekäännös · Englanninkielinen alkuperäinen

Suorituskykytestit

RTF (reaaliaikainen kerroin) alle 1.0 tarkoittaa reaaliaikaa nopeampaa.

Apple Silicon (MLX + CoreML)

Kaikki vertailuarvot Apple M5 Pro, 48 GB, macOS 25,5, jossa on releasebuilding ja koostettu metalliivi. Jokainen moottori kulkee erillisessä lapsiprosessissa (asr-bench --isolated), joten huippu RSS-kolonni on todellinen moottorikohtainen kustannus, ei juokseva korkean veden merkki.

ASR Word Error Rate

Arvioitu LibriSpeech-testipuhtaus , ensimmäiset 200 lausetta (~30 min englanninkielistä lukupuhetta). WER laskettiin Whisper-tyylisen normalisoijan + Levensteinin avulla whishpace-merkkien päällä. Qwen3-ASR 5-bitti rivit mitattiin saman laitteen M-sarjan 100-johdejoukolla (lisättynä, kun 5-bittinen muunnos laskeutui); sama normalisoija, sama tietokokonaisuus.

Moottori	Kvantti	WER%	RTF	xRT	RSS-huippu
Qwen3-ASR 1,7B MLX	5-bittinen	1.32	0.027	36.4×	1,92 GB
Qwen3-ASR 1,7B MLX	8-bittinen	1.52	0.033	30.5×	2.7 GB
Qwen3-ASR 0,6B MLX	8-bittinen	1.82	0.015	66.0×	1,3 GB
Qwen3-ASR 0,6B MLX	5-bittinen	1.74	0.014	70.5×	1,03 GB
WhisperKit Large-v3 Turbo	FP16	1.71	0.084	11.9×	0.4 GB
WhisperASR natiivi CoreML	FP16	1.40	0.089	14.0×	384 Mt
Qwen3-ASR 0,6B MLX	4-bittinen	2.20	0.012	85.6×	1.0 GB
Parakeet TDT v3	INT8	2.37	0.009	117.4×	0.9 GB
Qwen3-ASR 0,6B CoreML	INT8	3.02	0.098	10.2×	1,4 GB
Kokokielinen CTC 300M MLX	4-bittinen	4.26	0.005	222.1×	0,4 GB
CTC 300M CoreML	INT8	5.67	0.128	7.8×	0.5 GB
Nemotron Streaming	INT8	2.82	0.058	17.1×	961 Mt

Otsikkovalinnat Qwen3-ASR MLX 1.7B 5-bit on uusi tarkkuus johtaja 1.32% WER Voittaa WhisperKit Large-v3 Turbo (1.71%) ja oma 1.7B 8-bit (1.52%) käyttäessä ~600 MB vähemmän RSS-huippua kuin 8-bittinen ja käynnissä 23% Nopeammin. Parakeet TDT v3 on nopein Englanti-vain (117× reaaliaikainen, 25 Euroopan unionin kielet). 300Lä MLX 4-bit on monikielinen läpivienti johtaja: 222× reaaliaikainen, 384 Mt huippu, 1 672 kielet.

Qwen3-ASR 0.6B CoreML-rivi heijastaa uudelleen rakennettua lohko-koodaajaa (aufklarer/Qwen3-ASR-CoreML) ... edellisen viennin yhteydessä maailmanlaajuista huomiota ei ole kiinnitetty mihinkään pehmustettuun ja lähetettyyn tuotteeseen. <|im_end|> Heti ensimmäisen virkkeen loppujakson jälkeen (24.88% WER samalla laitteella ennen uudelleenrakentamista).

Tarvitsetko kohdennetun päätöksenteko-oppaan? Katso Qwen3-ASR vs Whisper: tarkkuus, nopeus ja muisti .

Diarisointi mitataan erikseen kahdeksalla kielellä: ks. kaiuttimen diarisaation viitearvot DER:lle ja kaiutinlaskennan sopimus pyannote Community-1, NVIDIA Järjestäjä, MOSS ja Puhepilvi API.

Pitkän aikavälin stabiliteetti (pitkittäinen Neural Engine kuorma)

200 LibriSpeech lauseet käsitelty peräkkäin (~30 min audio, M5 Pro). Testit, onko WER tai latenssi huononee jatkuvan transkription aikana.

Metrinen	Ensimmäiset 25%	Viimeinen 25%	Yhteensä
WER%	1.30	1.23	2.43
RTF	0.672	0.400	0.539

Hajoamista ei havaittu. WER on vakaa koko istunnon ajan. RTF tosiasiallisesti paranee CoreML lämmittää sen toimintasuunnitelman välimuistia. Ei lämpökuristusta 42 minuutin jatkuvan Neural Engine inference. Parakeet prosessit, joista kukin on riippumaton .

Monikieliset tulokset (FLEURS)

CER käytetään CJK-kielille (ei sanarajoja). Parakeet tukee ~25:tä eurooppalaista kieltä (ei CJK:ta).

Kieli	Metrinen	Qwen3 4-bittinen	Qwen3 8-bittinen	Parakeet INT8
espanja	WER	6.44	5.06	5.18
Finnish	WER	6.57	5.64	9.30
kiina	CER	8.41	7.71	—
Saksa	WER	9.45	6.81	12.33
ranska	WER	11.42	8.50	13.02
japani	CER	16.11	8.64	—
Venäjä	WER	16.35	10.52	11.49
korea	WER	19.95	6.89	—
Hindi	WER	25.93	18.57	—
arabia	WER	33.47	20.31	—

Puristusdelta

Tarkkuushäviö kvantitaation ja alemman bitin leveydet.

Variantti	WER%	Korvaukset	Lisäykset	Poistaminen	Virheet yhteensä	Koko
Qwen3 0,6B 8-bittinen	2.80	1111	92	268	1471	960 Mt
Qwen3 0,6B 4-bittinen	3.34	1323	123	308	1754	675 Mt
Delta	+0.54	+212	+31	+40	+283	-30%
Parakeet TDT INT8	2.74	990	125	308	1423	634 Mt

Avaintieto

Qwen3-ASR 1.7B MLX saavuttaa 1.32% WER klo 5-bit (1.52% klo 8-Betting WhisperKit. Large-v3 Turbo (1.71%) 30-36× reaaliaikainen Apple Silicon.

TTS ...

Syntesisoi teksti ja kirjoittele sitten ääni takaisin Qwen3-ASR 0.6B:llä ja laske WER alkuperäistekstiä vastaan. Arvioituna 30 englanninkielisellä keskustelulauseella.

Moottori	Malli	Paraateja	Koko	WER%	RTF
CosyVoice3	0,5B 4-bittinen	500 M	~1,9 GB	3.25	0.59
Qwen3-TTS	1.7B 4-bittinen	1.7B	~2,3 GB	3.47	0.79
Qwen3-TTS	1,7B 8-bittinen	1.7B	~3,5 GB	3.66	0.85
Kokoro-82M	CoreML	82M	~170 Mt	3.90	0.17
Qwen3-TTS	0.6B 8-bittinen	600M	~ 960 Mt	9.74	0.76
Qwen3-TTS	0.6B 4-bittinen	600M	~675 MB	15.58	0.76

Äänen kloonaus (nollakloonaus)

Samasta 12 s:n referenssileikkeestä peräisin oleva nollaäänikloonaus; roundtrip = Qwen3-ASR transkriptio tuotoksesta verrattuna tulotekstiin. Apple M5 Pro, 48 GB; RTF on seinän aika .

Moottori	WER%	RSS-huippu	Ääni	Synteetti	RTF	Kiertomatka
Higgs TTS 3 (klooni)	4B bf16	8,6 GB	6,04 s	4,73 s	0.78	tarkka
F5-TTS (16 askelmaa)	336M fp16	0,8 GB	5,09 s	2,91 s	0.57	1-sanan alin
F5-TTS (32 askelmaa)	336M fp16	0,8 GB	5,09 s	5,75	1.13	1-sanan alin
IndexTTS2 (klooni)	1,5B-luokka fp16	3,0 GB	5,80	5,8 s	1.0	tarkka

Latenssijakauma (Qwen3-TTS)

Vaihe	Aika	% yhteensä	Tavaran kuvaus
Upotettu	1-3 ms	<1%	Tekstin kaivertaminen (TTFT)
Luo	2-6 s	~92%	Autoregressiivet koodekkirahat
Dekoodaa	244-457 ms	~8%	Koodekin dekooderi aaltomuotoon

Avaintieto

Kaikki TTS -moottorit kulkevat reaaliajassa nopeammin (RTF < 1.0). CosyVoice3 johtaa älykkyyteen (3,25% WER). Kokoro on nopein (RTF 0,17) vain 170 MB:ssä.

VAD ...

FLEURS arviointi (10 kieltä, 250 tiedostoa)

Arvioitu suhteessa Python FireRedVAD -vertailumaatodellisuuteen samalla kynnyksellä.

Moottori	Paraateja	Taustaosa	F1%	FAR	MR%	RTF
FireRedVAD	588K	CoreML (ANE)	99.12	2.52	0.47	0.007
Silero v5	309K	CoreML (ANE)	95.13	15.76	1.89	0.022
Silero v5	309K	MLX (GPU)	95.11	15.85	1.89	0.027
Pyannote	1,5 M	MLX (GPU)	94.86	14.71	2.92	0.358

VoxConverse-arviointi (monikaiutin)

5 monikaiutin keskustelutiedostoja arvioitu 10 ms kehysresoluutio.

Moottori	Paraateja	Taustaosa	F1%	FAR	MR%	RTF
Pyannote	1,5 M	MLX (GPU)	98.22	50.09	0.19	0.358
Silero v5	309K	CoreML (ANE)	97.52	33.29	2.69	0.022
Silero v5	309K	MLX (GPU)	95.98	21.02	5.88	0.027
FireRedVAD	588K	CoreML (ANE)	94.21	40.12	5.05	0.007

Vertailu julkaistuihin numeroihin

Malli	F1%	FAR	MR%	Paraateja	Dataaineisto
Pyannote (meidän)	98.22	50.09	0.19	1,5 M	VoxConverse
FireRedVAD (paperi)	97.57	2.69	3.62	588K	FLEURS-VAD-102
Silero (meidän)	95.98	21.02	5.88	309K	VoxConverse
Silero- VAD (paperi)	95.95	9.41	3.95	309K	FLEURS-VAD-102
FireRedVAD (meidän)	94.21	69.33	5.05	588K	VoxConverse

Avaintieto

FireRedVAD saavuttaa 99,12% F1 FLEURS -hälytysnopeus on alhaisin (2,52%) ja toimii 135x reaaliajassa. Silero v5 -vireytysvaihtoehdossa 32 ms/s.

Aktivointisanojen / avainsanojen tunnistus

KWS Zipformer (gigaspeech-hieno tune)

Virtaaminen Zipformer2 anturi (3.49M paraateja. Apache-2.0) ja INT8 paletization on CoreML. Arvioitu vastaan 12 avainsanat LibriSpeech-testi-puhdas (158 myönteiset lausunnot, 60 - Negatiivinen). Kynnysarvot viritetty: acThreshold = 0.15, contextScore = 0.5, numTrailingBlanks = 1.

Metrinen	Arvo	Huomautuksia
RTF (CPU + Neural Engine)	0.04	26× reaaliaikainen M-sarjassa
Palautus (12 avainsanaa)	88%	LibriSpeech testipuhdasta, 158 positiivista lausetta
Väärät positiiviset / sanat	0.27	60 negatiivista lausetta
CoreML INT8 vs PyTorch FP32	99%	Päästösopimus
Koottu mallin koko	~ 4 Mt	encoder 3,3 MB + dekooderi 525 KB + liitin 160 KB
Runtime-muisti	~ 6 Mt	Painot + koodaajan tila välimuistit

Viritetyt oletusarvot parannettiin paluuta 62%:stä 88%-järjestelmään (ja leikattiin FP/utt:sta 0.43 0.27) verrattuna yläjuoksun jääpudon oletusarvoihin (acThreshold = 0.25, contextScore = 2.0) Ks. herätyssanaopas avainsana-tiedoston muodossa ja per-lause kynnys viritys.

Puhujaupotukset

Louhintaviive

20 sekunnin äänileikkuri, 10 iteraatiota lämmityksen jälkeen.

Malli	Dim	Taustaosa	Latenssi
CAM++ (3D-kaiutin)	192	CoreML (ANE)	12 ms
WeSpeaker ResNet34-LM	256	MLX (GPU)	64 ms
WeSpeaker ResNet34-LM	256	CoreML (ANE)	143 ms

Upotuslaatu (VoxConverse)

Samankaltaisuus segmentin tason kaiuttimet 5 multi-kaiuttimen tallenteet. Korkeampi erottelu = parempi kaiuttimen syrjintä.

Malli	Taustaosa	Intra- kaiutin	Kaiutinten välinen	Erotus
WeSpeaker	MLX	0.726	0.142	0.584
WeSpeaker	CoreML	0.726	0.143	0.582
CAM++	CoreML	0.723	0.395	0.328

Avaintieto

Kaikki kolme moottoria vastaavat Python -pyannote-viitettä (0.577 erotus, kosiinin samankaltaisuus >0,96). WeSpeaker -testi saavuttaa 0,584 erotusta sekä MLX että CoreML. CAM++ -ajot 5 x nopeampi (12 ms vs 65 ms) hyvällä erottelulla (0,328).

Lähde: Erotus SDR

Signaalin ja Distortion Ratio (SDR) on MUSDB18-HQ (50 kokomittaista testirataa, stereo 44.1kHz). Korkeampi on parempi. Kaksi mallikokoa: päämaja (8,9M params/stem) ja L (28,3M params /stem).

Kohde	UMX-HQ (MLX)	UMX-L (MLX)	UMX-HQ (julkaistu)
Ääni	6,23 dB	~10.5 dB	6.32 dB
Rummut	6,44 dB	~7,0 dB	5,73 dB
Basso	4.56 dB	~5,5 dB	5,23 dB
Muut	3,41 dB	~4,5 dB	4,02 dB

Malli	Params/stem	Koko	RTF	Nopeus
Open-Unmix-päämaja	8,9M	136 Mt	0.23	4.3x reaaliaikainen
Avoin L	28,3M	432 Mt	0.21	4.8x reaaliaikainen

Avaintieto

UMX-HQ ottelut julkaistu SDR lauluja ja rumpuja kevyt 8.9M-malli. UMX-L tarjoaa +2–4 dB:n paraneminen 3x mallin koko. Molemmissa on monikanavainen Wiener EM jälkisuodatus ja ajaa nopeammin kuin reaaliaikainen Apple Silicon.

Android on-device (Galaxy S23)

Mitattu Samsung Galaxy S23 (SM-S918B), arm64, CPU vain, INT8 jossa todetaan. RTF on seinän ääni (alempi on nopeampi kuin reaaliajassa; <1.0 on reaaliaikainen); Peak RSS on juoksumallin asukasjoukko. STT-riveillä käytetään 20 s-klipsi; TTS raportit RTF tai aika audiolle (TTFA).

Malli	Tehtävä	Suoritusaika	Nopeus	RSS-huippu
Parakeet-EOU 120M	STT + EOU -virtaus	ONNX INT8	0.21 RTF	232 MB
CTC 300M	Monikielinen STT	LiteRT	0.15 RTF	831 Mt
Nemotron Virtaus 0,6B	STT:n virtaus	LiteRT	0.67 RTF	1,30 GB
Parakeet-TDT 0,6B	STT (erä)	ONNX INT8	0.082 RTF	1,15 GB
Supertonic-3 99M	TTS (ennakkoääni)	LiteRT	0,34 RTF · ~1,1 s TTFA	832 Mt
Kokoro-82M	TTS (ennakkoääni)	ONNX FP32	0.53 RTF	640 Mt

Otsikko: Parakeet-EOU-120M on kevyin STT täällä ~232 MB Monikielinen (25 Euroopan tasolla, jossa streaming, jossa on inline end-out-out-inter-out-atters, karkeasti 5–6× kevyempi kuin 0.6B Parakeet. Poistaa ONNX CPU muisti areena (nyt oletus) leikkaa Parakeet-TDT ~1.34 GB - ~1.15 GB.

Lisääntyminen

# ASR benchmarks (LibriSpeech test-clean)
make build
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B-8bit
python scripts/benchmark_asr.py --batch --engine parakeet
python scripts/benchmark_asr.py --batch --engine parakeet --model int8

# ASR multilingual (FLEURS, auto-download)
python scripts/benchmark_asr.py --dataset fleurs --language en_us --batch

# TTS round-trip
python scripts/benchmark_tts.py --compare

# VAD comparison
python scripts/benchmark_vad.py --compare

# Speaker embeddings comparison
python scripts/benchmark_speaker.py --compare

# Source separation (MUSDB18-HQ, download from Zenodo)
python scripts/benchmark_separation.py --data-dir benchmarks/data/musdb18-hq