Traducere automată · Originalul în engleză
Parakeet TDT
Parakeet TDT este NVIDIA, modelul de recunoaștere a vorbirii, adaptat pentru a rula pe Apple Silicon's Neural Engine via CoreML. Folosește un codor FastConformer asociat cu un decodor Token-and-Duration Transducer (TDT) pentru transcriere exactă și eficientă.
Arhitectură
Modelul este împărțit în trei fișiere model CoreML care lucrează împreună în timpul unei conferințe:
| Componentă | Descriere |
|---|---|
| Codor | FastConforce |
| Decodor | Rețea de predicție care menține un text token istorie |
| Conjunctiv | Combine ieșiri de codor și decodor pentru a produce probabilități simbolice |
Codorul este INT8 cuantizat pentru amprenta minimă de memorie și rapid Neural Engine execuție. Decodorul și rețeaua comună sunt suficient de mici încât nu este necesară cuantizarea.
Filtrare transcript urmează sintaxa specială a vocabularului, mai degrabă decât intervale de identificare simbolice, astfel încât să model-emitate cifre (0–9) sunt păstrate în timp ce limba, vorbitorul și jetoanele de control rămân ascunse.
Model Variante
| Model | Dimensiune | HuggingFace |
|---|---|---|
| Parakeet-TDT-0.6B (CoreML INT8) | 500 MO | aufklater/Parakeet-TDT-v3-CoreML-INT8-30s |
Performanță
| Metrică | Valoare |
|---|---|
| Factor în timp real (RTF) | ~0.031 |
| Calculează ținta | Neural Engine (via CoreML) |
| Cuantificare | INT8 |
RTF este timpul de perete împărțit la durata audio: mai mic este mai rapid. RTF ≈ 0.031 corespunde cu aproximativ 32× viteza în timp real.
Utilizarea CLI
Utilizați steagul --engine parakeet pentru a selecta Parakeet TDT în loc de Qwen3-ASR implicit:
.build/release/speech transcribe recording.wav --engine parakeetCoreML vs MLX
Parakeet Utilizare TDT CoreML pentru a rula pe Neural Engine, în timp Qwen3-ASR utilizări MLX pentru a rula pe Metal GPU Cele două abordări au compromisuri diferite:
| Parakeet TDT (CoreML) | Qwen3-ASR (MLX) | |
|---|---|---|
| Calculează ținta | Neural Engine | Metal GPU |
| Viteza | 32x în timp real | ~17x în timp real |
| Arhitectură | FastConformer + TDT | Transformator de codor-decodor |
| Multilingv | 25 de limbi europene | Multilingv |
| Cuantificare | INT8 | 4-bit (MLX) |
Modelele CoreML rulează pe Neural Engine, care funcționează independent de GPU. Aceasta înseamnă că Parakeet TDT poate rula concomitent cu sarcini bazate pe GPU cum ar fi TTS fără dispută.
Variantă de streaming
Pentru dictare în timp real și subtitrare în direct, vezi Parakeet-EOU-120M A 120M-parametru de streaming RNN-T variantă cu un cap explicit de sfârșit-de-ascutire, astfel încât un agent de voce poate spune atunci când un vorbitor a terminat de la ASR flux în sine, fără detector de turnare separată. 640 Ms piese audio și partajează vocabularul SentincePiece de Parakeet TDT 0.6B, optimizat pentru latență parțială sub-al doilea mai degrabă decât de vârf.
Acesta este multilingv (25 de limbi europene) și ușor: la un telefon utilizează aproximativ 232 MB de memorie și rulează confortabil în timp real, în timp real . aproximativ 5 .6× mai mic decât Parakeet TDT 0.6B. La Android, Linux și Windows el rulează prin ONNX Runtime de la soniqo/Parakeet-EOU-120M-ONNX-INT8.
De asemenea, disponibil la Android și la Linux & Windows prin Core de vorbire (ONNX Runtime).
Qwen3-ASR speech-to-text · Clonarea vocală CosyVoice3 · Kokoro-82M TTS