Awtomatikong salin · Orihinal sa Ingles
Parakeet TDT
Parakeet TDT is NVIDIA's speech recognition model, inangkop upang tumakbo sa Apple Silicon ni Neural Engine sa pamamagitan ng CoreML. Gumagamit ito ng isang FastConformer reciever na pares ng isang Token-and-Turation Transducer (TDT) decoder para sa tumpak, transcriplication.
Arkitektura
Ang modelo ay nahahati sa tatlong CoreML model files na gumagawang magkasama sa panahon ng pag - unawa:
| Nakikipagtulungan | Paglalarawan |
|---|---|
| Mang - aakit | FastConformer — convolutional + self-tention layers para sa audio feeding |
| Decoder | Mga network ng panghuhula na nagpapanatili sa isang teksto na tanda ng kasaysayan |
| Magkasama | Pinagsasama - sama ang mga proposer at decoder output upang makagawa ng bahagyang mga probability |
Ang regulator ay INT8 na quantated para sa minimal memory footprint at mabilis Neural Engine bitay. Ang decoder at couping network ay maliit na sapat upang ang quanization ay hindi kinakailangan.
Ang transcript clain ay sumusunod sa espesyal na-token na practication ng bokabularyo sa halip na token na mga range ng ID, kaya ang mga model-elease digit (mga numerong pang-edukasyon) ng model-exposed0–9) ay pinananatili habang ang wika, speaker, at control tokens ay nananatiling nakatago.
Modelong mga Variante
| Huwaran | Laki | HuggingFace |
|---|---|---|
| Parakeet-TDT-0.6B (CoreML INT8) | 500 MB | Aufklarer/Parakeet-TDT-v3-CoreML-INT8-30s |
Pag - aasikaso
| Masalimuot | Halaga |
|---|---|
| Real-time factor (RTF) | ~0.031 |
| Tumusunod na target | Neural Engine (via CoreML) |
| Pagiging Kuwalente | INT8 |
Ang RTF ay panahon ng pader na hinati ng audio na tagal: ang mas mababa ay mas mabilis. RTF° 0.031 ay katumbas ng mga 32× real-time speed.
Paggamit ng CLI
Gamitin ang --engine parakeet flag to select Parakeet TDT sa halip ng default Qwen3-ASR:
.build/release/speech transcribe recording.wav --engine parakeetCoreML vs MLX
Parakeet Mga gamit ng TDT CoreML tumatakbo sa Neural Engine, habang Qwen3-ASR gumamit MLX tumatakbo sa Metal GPU. Ang dalawang paraan ay may magkaibang trade-off:
| Parakeet TDT (CoreML) | Qwen3-ASR (MLX) | |
|---|---|---|
| Tumusunod na target | Neural Engine | Metal GPU |
| Bilis | Epic32x real-time | Epic17x real-time |
| Arkitektura | Mabilis na Tagapagpakilala + TDT | Encoder-decoder transformer |
| Iba't Ibang Wika | 25 Wika sa Europa | Iba't Ibang Wika |
| Pagiging Kuwalente | INT8 | 4-bit (MLX) |
CoreML mga modelo ang tumatakbo sa Neural Engine, na kumikilos nang hiwalay sa GPU. Ibig sabihin nito Parakeet Ang TDT ay maaaring tumakbo na kasabay ng GPU-based na mga gawain tulad ng TTS nang walang pagtatalo.
Nakapangingilabot na mga Pagkakaiba
Para sa reality-time na diktasyon at live kapsiyon, tingnan ang Parakeet-EOU-120M — a 120M-parameter drop RNN-T variant na may maliwanag na dulo-of-bigkas na ulo, kaya masasabi ng isang voice agent kapag natapos na ang isang tagapagsalita mula sa ASR Sapain ang sarili nito, nang walang hiwalay na detektor, tumatakbo ito nang walang pagbabago 640 mga audio cluster at kabahagi ng bokabularyo ng insentruksiyon ng Parakeet TDT 0.6B, optimized para sa sub-second particular latency sa halip na peak sa pamamagitan ngput.
Ito ay may iba't ibang wika (sa wika)25 Mga wika sa Europa) at magaan: sa isang telepono na ginagamit nito 232 MB ng memorya at tumatakbo nang komportable sa tunay na panahon — nang bahagya 5–6× mas maliit kaysa Parakeet TDT 0.6B. On Android, Linux at Windows tumatakbo ito sa pamamagitan ng ONNX Runtime mula sa soniqo/Parakeet-EOU-120M-ONNX-INT8.
Makukuha rin ito sa Android, at patuloy Linux & Windows sa pamamagitan ng Speech Core (ONNX Runtime).
Qwen3-ASR speech-to-text · CosyVoice3 voice cloning · Kokoro-82M TTS