Traduzione automatica · Originale inglese
Parakeet TDT
Parakeet TDT è il modello di riconoscimento vocale di NVIDIA, adattato per funzionare su Apple Silicon Neural Engine tramite CoreML. Utilizza un codificatore FastConformer abbinato a un decoder Token-and-Duration Transducer (TDT) per una trascrizione accurata ed efficiente.
Architettura
Il modello è diviso in tre file di modello CoreML che lavorano insieme durante l'inferenza:
| Componenti | Designazione |
|---|---|
| Encoder | FastConformer — strati convoluzionali + auto-attenzione per l'estrazione di funzioni audio |
| Decoder | Rete di predizione che mantiene una storia di token di testo |
| Joint Joint Joint | Combina le uscite di encoder e decoder per produrre probabilità di token |
L'encoder è INT8 quantizzato per l'impronta minima della memoria e l'esecuzione rapida Neural Engine. Il decoder e la rete articolare sono abbastanza piccoli che la quantizzazione non è necessaria.
Il filtraggio transcript segue la sintassi speciale del vocabolario piuttosto che i range di ID token, quindi le cifre emesse dal modello (0–9) sono conservati mentre lingua, altoparlante, e token di controllo rimangono nascosti.
Varianti di modello
| Modello | Dimensione | HuggingFace |
|---|---|---|
| Parakeet-TDT-0.6B (CoreML INT8) | 500 MB | aufklarer/Parakeet-TDT-v3-CoreML-INT8-30s |
Prestazioni
| Metrico | Valore |
|---|---|
| Fattore in tempo reale ( RTF) | ~0.031 |
| Obiettivo di completamento | Neural Engine (via CoreML) |
| Quantificazione | INT8 |
RTF è il tempo di parete diviso per la durata audio: più basso è più veloce. RTF ≈ 0.031 corrisponde a circa 32× velocità in tempo reale.
Uso CLI
Utilizzare --engine parakeet flag per selezionare Parakeet TDT invece di Qwen3-ASR predefinito:
.build/release/speech transcribe recording.wav --engine parakeetCoreML vs MLX
Parakeet TDT utilizza CoreML per correre Neural Engine♪ Qwen3-ASR usi MLX per correre Metal GPU. I due approcci hanno diversi trade-off:
| Parakeet TDT ( CoreML) | Qwen3-ASR (MLX) | |
|---|---|---|
| Obiettivo di completamento | Neural Engine | Metal GPU |
| Velocità | ~ 32x in tempo reale | ~17x in tempo reale |
| Architettura | FastConformer + TDT | Trasformatore di encoder-decoder |
| Poliglotta | 25 lingue europee | Poliglotta |
| Quantificazione | INT8 | 4-bit (MLX) |
CoreML eseguiti sul Neural Engine, che opera indipendentemente dal GPU. Ciò significa Parakeet TDT può funzionare contemporaneamente con compiti basati su GPU come TTS senza contention.
Variante di flusso
Per la dittazione in tempo reale e la capzione dal vivo, vedi Parakeet-EOU-120M — a 120M-parametro in streaming RNN-T variante con una testa di fine-di-incisione esplicita, quindi un agente vocale può dire quando un altoparlante ha finito dal ASR flusso stesso, senza rivelatore di turno separato. 640 ms audio chunks e condivide il vocabolario SentencePiece di Parakeet TITOLO 0.6B, ottimizzato per la latenza parziale sub-seconda piuttosto che per il throughput di picco.
È multilingue (25 Lingue europee) e leggere: su un telefono utilizza circa 232 MB di memoria e funziona comodamente in tempo reale — approssimativamente 5–6× più piccolo Parakeet TITOLO 0.6B. Su Android, Linux e Windows si corre via ONNX Runtime da soniqo/Parakeet-EOU-120M-ONNX-INT8.
Disponibile anche su AndroidE poi... Linux & Windows attraverso Speech Core (ONNX Runtime).
Qwen3-ASR discorso-testo · clonazione vocale CosyVoice3 · Kokoro-82M TTS