Automatische vertaling · Engels origineel
Parakeet TDT
Parakeet TDT is NVIDIA's spraakherkenningsmodel, aangepast om te draaien op Apple Silicon's Neural Engine via CoreML. Het gebruikt een FastConformer encoder gekoppeld aan een Token-and-Duration Transducer (TDT) decoder voor nauwkeurige, efficiënte transcriptie.
Architectuur
Het model wordt verdeeld over drie CoreML modelbestanden die tijdens de gevolgtrekking samenwerken:
| Onderdeel | Omschrijving |
|---|---|
| Encoder | FastConformer Convolutional + zelf-aandacht lagen voor audio-functie extractie |
| Decoder | Voorspellingsnetwerk dat een tekst-tokengeschiedenis behoudt |
| Gezamenlijk | Combineert encoder en decoder uitgangen om token waarschijnlijkheden te produceren |
De encoder is INT8 gequantiseerd voor minimale geheugenvoetafdruk en snel Neural Engine uitvoering. De decoder en het gezamenlijke netwerk zijn klein genoeg om te quantiseren is niet nodig.
De filtering van het transcript volgt de speciale syntaxis van de woordenschat in plaats van de Token ID-bereiken, zodat de door het model opgegeven cijfers (0... 9) behouden blijven terwijl taal, spreker en controletekens verborgen blijven.
Model Varianten
| Model | Grootte | HuggingFace |
|---|---|---|
| Parakeet-TDT-0.6B (CoreML INT8) | 500 MB | aufklarer/Parakeet-TDT-v3-CoreML-INT8-30s |
Prestaties
| Metrisch | Waarde |
|---|---|
| Real-time factor (RTF) | ~0.031 |
| Doel berekenen | Neural Engine (via CoreML) |
| Kwantisering | INT8 |
RTF is wandtijd gedeeld door audioduur: lager is sneller. RTF ≈ 0,031 correspondeert met ongeveer 32× realtimesnelheid.
CLI-gebruik
Gebruik de --engine parakeet vlag om Parakeet TDT te selecteren in plaats van de standaard Qwen3-ASR:
.build/release/speech transcribe recording.wav --engine parakeetCoreML vs MLX
Parakeet Gebruik van TDT CoreML om te lopen op de Neural Engine, terwijl Qwen3-ASR toepassingen MLX om te lopen op de Metal GPU. De twee benaderingen hebben verschillende afwegingen:
| Parakeet TDT (CoreML) | Qwen3-ASR (MLX) | |
|---|---|---|
| Doel berekenen | Neural Engine | Metal GPU |
| Snelheid | ~32x real-time | ~17x real-time |
| Architectuur | FastConformer + TDT | Encoder-decoder transformator |
| Meertalig | 25 Europese talen | Meertalig |
| Kwantisering | INT8 | 4-bit (MLX) |
CoreML modellen draaien op de Neural Engine, die onafhankelijk van de GPU werkt. Dit betekent dat Parakeet TDT gelijktijdig kan draaien met GPU-gebaseerde taken zoals TTS zonder argument.
Streaming variant
Zie voor real-time dictee en live-titeling Parakeet-EOU-120M een 120M-parameter streaming RNN-T variant met een expliciete einde-van-toettering hoofd, zodat een spraakagent kan zien wanneer een spreker klaar is met de ASR stream zelf, zonder aparte draai detector. Het loopt incrementele op 640 ms audio brokken en deelt de SentencePiece vocabulaire van Parakeet TDT 0,6B, geoptimaliseerd voor subseconde partiële latentie in plaats van piekdoorvoer.
Het is meertalig (25 Europese talen) en lichtgewicht: op een telefoon gebruikt het ongeveer 232 MB geheugen en draait comfortabel in real time .Op 5Z6× kleiner dan Parakeet TDT 0.6B. Op Android, Linux en Windows draait het via ONNX Runtime van soniqo/Parakeet-EOU-120M-ONNX-INT8.
Ook beschikbaar op Android, en op Linux & Windows via Speech Core (ONNX Runtime).
Qwen3-ASR spraak-naar-tekst · CosyVoice3-stemklonen · Kokoro-82M TTS