Tłumaczenie automatyczne · Oryginał angielski
Parakeet TDT
Parakeet TDT jest modelem rozpoznawania mowy NVIDIA, przystosowanym do pracy na dekoderze Apple Silicon Neural Engine za pośrednictwem CoreML. Używa enkodera FastConformer połączonego z przetwornikiem czasu i czasu (TDT) dla dokładnej, efektywnej transkrypcji.
Architektura
Model jest podzielony na trzy pliki modelu CoreML, które współpracują razem podczas wnioskowania:
| Składnik | Opis |
|---|---|
| Enkoder | FastConformer - konvolutional + self-attention warstw do ekstrakcji funkcji audio |
| Dekoder | Przewidywanie sieci, która utrzymuje historię tokena tekstowego |
| Wspólne | Łączy wyjścia kodujące i dekodujące w celu uzyskania prawdopodobieństwa symbolicznego |
Enkoder to INT8 oznaczony ilościowo dla minimalnego śladu pamięci i szybkiej realizacji Neural Engine. Dekoder i sieć joint są na tyle małe, że nie jest potrzebna kwantyzacja.
Filtrowanie transkrypcyjne odbywa się zgodnie ze specjalnymi składniami symboli słownika, a nie zakresami identyfikacyjnymi symboli, tak więc cyfry emitowane przez modele (0–9) są zachowane podczas gdy język, głośnik i żetony kontroli pozostają ukryte.
Warianty modelu
| Wzór | Rozmiar | HuggingFace |
|---|---|---|
| Parakeet-TDT-0.6B (CoreML INT8) | 500 MB | aufklarer / Parakeet-TDT-v3-CoreML-INT8-30s |
Wydajność
| Metric | Wartość |
|---|---|
| Współczynnik czasu rzeczywistego (RTF) | ~0.031 |
| Oblicz cel | Neural Engine (przez CoreML) |
| Ilościowanie | INT8 |
RTF to czas ścianki podzielony na czas trwania dźwięku: niższy jest szybszy. RTF RRRR 0.031 odpowiada około 32 × prędkość czasu rzeczywistego.
Zastosowanie CLI
Użyj --engine parakeet flaga, aby wybrać Parakeet TDT zamiast domyślnego Qwen3-ASR:
.build/release/speech transcribe recording.wav --engine parakeetCoreML vs MLX
Parakeet Zastosowania TDT CoreML do biegania na Neural Engine, podczas gdy Qwen3-ASR zastosowania MLX do biegania na Metal GPUTe dwa podejścia mają różne możliwości:
| Parakeet TDT (CoreML) | Qwen3-ASR (MLX) | |
|---|---|---|
| Oblicz cel | Neural Engine | Metal GPU |
| Prędkość | - 32x real- time | - 17x real- time |
| Architektura | FastConformer + TDT | Transformator enkoder- dekoder |
| Wielojęzyczny | 25 języków europejskich | Wielojęzyczny |
| Ilościowanie | INT8 | 4- bit (MLX) |
CoreML działa na modelu Neural Engine, który działa niezależnie od GPU. Oznacza to, że Parakeet TDT może działać jednocześnie z zadaniami bazującymi na GPU- takimi jak TTS bez zastrzeżeń.
Wariant strumieniowania
Dla real- time dictation i na żywo napisy, zobacz Parakeet-EOU-120M - 120M- parametr streaming RNN- T wariant z wyraźnym end- of- utterance head, więc agent głosu może powiedzieć, kiedy głośnik skończył ze strumienia ASR sam, bez oddzielnego detektora skrętu. Działa on stopniowo na 640 ms dźwięku chunks i dzieli się słownictwem SentencePiece Parakeet TDT 0.6B, zoptymalizowany dla sub- drugi częściowy opóźnienia, a nie szczytowy przepustowość.
Jest wielojęzyczny (25 europejskie języki) i lekki: na telefonie używa o 232 MB pamięci i działa komfortowo w czasie rzeczywistym - mniej więcej 5- 6 × mniejszy niż Parakeet TDT 0.6B. Na Android, Linux i Windows działa przez ONNX Runtime soniqo/Parakeet-EOU-120M-ONNX-INT8.
Dostępne również na stronie Android, i Linux i Windows poprzez rdzeń mowy (ONNX Runtime).
Qwen3-ASR przemówienie do tekstu · Klonowanie głosu CosyVoice3 · Kokoro-82M TTS