Konekäännös · Englanninkielinen alkuperäinen
Parakeet TDT
Parakeet TDT on NVIDIA puheentunnistusmalli, joka on mukautettu toimimaan Apple Silicon's Neural Engine via CoreML. Se käyttää FastConformer-kooderin, joka on yhdistetty Token-and-Duration Transdutor (TDT) -dekooderin kanssa, kanssa tarkkaa ja tehokasta transkriptiota varten.
Arkkitehtuuri
Malli on jaettu kolmeen CoreML mallitiedostoon, jotka toimivat yhdessä inferencen aikana:
| Osa | Tavaran kuvaus |
|---|---|
| Koodain | FastConformer ... convolutional + self-attention kerrokset audio-ominaisuuden poistoon |
| Purkaja | Ennusteverkko, joka ylläpitää tekstipoletin historiaa |
| Yhteinen | Yhdistää kooderin ja dekooderi lähdöt tuottaa token todennäköisyydet |
Koodaaja on INT8 kvantitoitu minimaalisen muistijalanjäljen ja nopean Neural Engine -toteutuksen vuoksi. Dekooderin ja yhteisverkon on oltava riittävän pieni, ettei kvantitalisaatiota tarvita.
Transkriptisuodatus seuraa sanaston erikoistasyntaksia eikä tunnisteväliä, joten mallilla varustetut numerot (0...9) säilyvät samalla kun kieli, kaiutin ja ohjausmerkit pysyvät piilossa.
Mallivaihtoehdot
| Malli | Koko | HuggingFace |
|---|---|---|
| Parakeet-TDT-0.6B (CoreML INT8) | 500 Mt | aufklarer/Parakeet-TDT-v3-CoreML-INT8-30s |
Tulos
| Metrinen | Arvo |
|---|---|
| Reaaliaikainen kerroin (RTF) | ~0.031 |
| Laske kohde | Neural Engine ( CoreML) |
| Määrä | INT8 |
RTF on seinän aika jaettuna äänen kesto: pienempi on nopeampi. RTF ≈ 0.031 vastaa noin 32× reaaliaikainen nopeus.
CLI-käyttö
Valitse --engine parakeet -lipulla Parakeet TDT oletuksen Qwen3-ASR sijasta:
.build/release/speech transcribe recording.wav --engine parakeetCoreML vs MLX
Parakeet TDT:n käyttö CoreML ajaa Neural Engine, Qwen3-ASR Käyttö MLX ajaa Metal GPU. Näillä kahdella lähestymistavalla on erilaiset kompromissit:
| Parakeet TDT (CoreML) | Qwen3-ASR (MLX) | |
|---|---|---|
| Laske kohde | Neural Engine | Metal GPU |
| Nopeus | ~32x reaaliaikainen | ~17x reaaliaikainen |
| Arkkitehtuuri | FastConformer + TDT | Kooderi-dekooderimuuntaja |
| Monikielinen | 25 eurooppalaista kieltä | Monikielinen |
| Määrä | INT8 | 4-bittinen (MLX) |
CoreML -mallit suoritetaan Neural Engine, joka toimii itsenäisesti GPU -toiminnosta. Tämä tarkoittaa Parakeet TDT:tä voidaan käyttää samanaikaisesti GPU-pohjaisiin tehtäviin, kuten TTS ilman vastalauseita.
Virtausmuunnos
Reaaliaikaisen sanelun ja suoran kuvauksen osalta ks. Parakeet-EOU-120M 120M-parametrin streaming RNN-T-muunnos, jossa on selvä otteen loppupää, joten ääniagentti voi kertoa, milloin kaiutin on valmistunut itse ASR -virrasta ilman erillistä käännönilmaisinta. Se toimii asteittain 640 ms:n äänijäännöksillä ja jakaa SentencePiece -sanaston Parakeet TDT 0.6B -tehon, optimoitu ali sekunnin osittaiseen latenssiin sen sijaan, että se on huippumäärä.
Se on monikielinen (25 Euroopan unionin kielet) ja kevyt: puhelimessa, jota se käyttää 232 MB muistia ja toimii mukavasti reaaliajassa . 5–6× pienempi kuin Parakeet TDT 0.6B. Android, Linux sekä Windows se kulkee kautta ONNX Runtime alkaen soniqo/Parakeet-EOU-120M-ONNX-INT8.
Saatavana myös Android ja Linux & Windows puheydin kautta (ONNX Runtime) .
Qwen3-ASR:n puhe tekstiviestiltä · CosyVoice3 äänen kloonaus · Kokoro-82M TTS