Maskinoversættelse · Engelsk original
Parakeet TDT
Parakeet TDT er NVIDIA 's talegenkendelsesmodel, der er tilpasset til at køre på Apple Silicon s Neural Engine via CoreML. Den bruger en FastConformer encoder parret med en Token-og-Varighed Transducer (TDT) dekoder til præcis, effektiv transskription.
Arkitektur
Modellen er opdelt på tre CoreML modelfiler, der arbejder sammen under inferens:
| Komponent | Varebeskrivelse |
|---|---|
| Encoder | FastConformer - convolutional + selvopmærksomhed lag til audio feature ekstraktion |
| AfkoderStencils | Forudsigelse netværk, der vedligeholder en tekst token historie |
| Fælles | Kombinerer encoder og dekoder udgange til at producere token sandsynligheder |
Encoderen er INT8 kvantiseret for minimal hukommelse fodaftryk og hurtig Neural Engine udførelse. Dekoder og fælles netværk er små nok til at kvantisering ikke er nødvendig.
Udskrift filtrering følger ordforråd special-token syntaks snarere end token ID intervaller, så model- emitterede cifre (0–9) bevares, mens sprog, højttaler og kontrol tokens forblive skjult.
Model Variants
| Model | Størrelse | HuggingFace |
|---|---|---|
| Parakeet-TDT-0.6B (CoreML INT8) | 500 MB | aufklarer / Parakeet-TDT-v3-CoreML-INT8-30s |
Præstation
| Metric | Værdi |
|---|---|
| Realtidsfaktor (RTF) | ~0.031 |
| Beregn mål | Neural Engine (via CoreML) |
| Kvantificering | INT8 |
RTF er vægtid divideret med lydvarighed: lavere er hurtigere. RTF Þ 0.031 svarer til omkring 32 × real- time hastighed.
CLI-brug
Brug --engine parakeet flag til at vælge Parakeet TDT i stedet for standard Qwen3-ASR:
.build/release/speech transcribe recording.wav --engine parakeetCoreML vs MLX
Parakeet TDT-anvendelser CoreML til at køre på Neural Engine, mens Qwen3-ASR anvendelser MLX til at køre på Metal GPUDe to fremgangsmåder har forskellige trade-offs:
| Parakeet TDT (CoreML) | Qwen3-ASR (MLX) | |
|---|---|---|
| Beregn mål | Neural Engine | Metal GPU |
| Hastighed | ~ 32x real- time | ~ 17x real- time |
| Arkitektur | FastConformer + TDT | Encoder- dekoder transformer |
| Flersproget | 25 europæiske sprog | Flersproget |
| Kvantificering | INT8 | 4- bit (MLX) |
CoreML modeller kører på Neural Engine, som fungerer uafhængigt af GPU. Dette betyder, at Parakeet TDT kan køre samtidigt med GPU- baserede opgaver som TTS uden tvivl.
Streaming variant
For real-time diktation og live billedtekst, se Parakeet-EOU-120M - en 120M- parameter streaming RNN- T variant med en eksplicit end- of- ytterance hoved, så en stemme agent kan fortælle, når en højttaler er færdig fra ASR stream sig, uden separat turning detektor. Det kører trinvist på 640 ms audio stykker og deler SentencePiece ordforråd af Parakeet TDT 0.6B, optimeret til sub- anden partiel latence snarere end top gennemløb.
Det er flersproget (25 europæiske sprog) og letvægts: på en telefon den bruger om 232 MB hukommelse og kører komfortabelt i realtid - omtrent 5- 6 × mindre end Parakeet TDT 0.6B. På Android, Linux og Windows det kører via ONNX Runtime fra soniqo/Parakeet-EOU-120M-ONNX-INT8.
Fås også den Android, og Linux & Windows gennem talekerne (ONNX Runtime).
Qwen3-ASR speech- to- text · CosyVoice3 stemmekloning · Kokoro-82M TTS