Parakeet TDT
Parakeet TDT คือโมเดลการรู้จำเสียงพูดของ NVIDIA ที่ปรับให้รันบน Neural Engine ของ Apple Silicon ผ่าน CoreML โมเดลใช้ FastConformer encoder จับคู่กับ Token-and-Duration Transducer (TDT) decoder เพื่อการถอดเสียงที่แม่นยำและมีประสิทธิภาพ
สถาปัตยกรรม
โมเดลถูกแบ่งออกเป็นไฟล์ CoreML สามไฟล์ที่ทำงานร่วมกันระหว่างการอนุมาน:
| ส่วนประกอบ | คำอธิบาย |
|---|---|
| Encoder | FastConformer — ชั้น convolutional + self-attention สำหรับการสกัดคุณลักษณะเสียง |
| Decoder | เครือข่ายทำนายที่เก็บประวัติของ token ข้อความ |
| Joint | รวมเอาต์พุตของ encoder และ decoder เพื่อสร้างความน่าจะเป็นของ token |
Encoder ถูกควอนไทซ์เป็น INT8 เพื่อใช้หน่วยความจำน้อยที่สุดและรันบน Neural Engine ได้รวดเร็ว ส่วน decoder และ joint network มีขนาดเล็กพอจึงไม่จำเป็นต้องควอนไทซ์
การกรองข้อความถอดเสียงอิงรูปแบบ special token ในคำศัพท์แทนช่วง token ID จึงเก็บตัวเลข (0–9) ที่โมเดลส่งออกไว้ ขณะที่ซ่อน token ภาษา ผู้พูด และการควบคุม
รุ่นของโมเดล
| โมเดล | ขนาด | HuggingFace |
|---|---|---|
| Parakeet-TDT-0.6B (CoreML INT8) | 500 MB | aufklarer/Parakeet-TDT-v3-CoreML-INT8-30s |
ประสิทธิภาพ
| ตัวชี้วัด | ค่า |
|---|---|
| Real-time factor | ~32 เท่าของเรียลไทม์บน Apple Silicon Neural Engine |
| เป้าหมายการประมวลผล | Neural Engine (ผ่าน CoreML) |
| การควอนไทซ์ | INT8 |
การใช้งาน CLI
ใช้แฟล็ก --engine parakeet เพื่อเลือก Parakeet TDT แทน Qwen3-ASR ที่เป็นค่าเริ่มต้น:
.build/release/speech transcribe recording.wav --engine parakeetCoreML เทียบกับ MLX
Parakeet TDT ใช้ CoreML เพื่อรันบน Neural Engine ในขณะที่ Qwen3-ASR ใช้ MLX เพื่อรันบน GPU แบบ Metal ทั้งสองแนวทางมีข้อแลกเปลี่ยนที่ต่างกัน:
| Parakeet TDT (CoreML) | Qwen3-ASR (MLX) | |
|---|---|---|
| เป้าหมายการประมวลผล | Neural Engine | Metal GPU |
| ความเร็ว | ~32 เท่าของเรียลไทม์ | ~17 เท่าของเรียลไทม์ |
| สถาปัตยกรรม | FastConformer + TDT | Encoder-decoder transformer |
| หลายภาษา | เน้นภาษาอังกฤษ | หลายภาษา |
| การควอนไทซ์ | INT8 | 4-bit (MLX) |
โมเดล CoreML รันบน Neural Engine ซึ่งทำงานเป็นอิสระจาก GPU นั่นหมายความว่า Parakeet TDT สามารถรันคู่ขนานไปกับงานที่ใช้ GPU เช่น TTS ได้โดยไม่ต้องแย่งทรัพยากร
รุ่นแบบสตรีมมิ่ง
สำหรับการบอกพิมพ์แบบเรียลไทม์และคำบรรยายสด ดู Parakeet-EOU-120M — รุ่น RNN-T ที่เล็กกว่า (120 MB) พร้อมหัว end-of-utterance ที่ชัดเจน ออกแบบให้รันแบบทีละเฟรมบน chunk เสียงขนาด 640 ms ใช้ vocabulary SentencePiece ร่วมกับ Parakeet TDT 0.6B แต่ปรับให้เน้นความหน่วงของผลลัพธ์บางส่วนที่ต่ำกว่าหนึ่งวินาทีแทน throughput สูงสุด
รองรับหลายภาษา (25 ภาษายุโรป) และมีขนาดเล็ก: บนโทรศัพท์ใช้หน่วยความจำประมาณ 232 MB และทำงานแบบเรียลไทม์ได้อย่างลื่นไหล — เล็กกว่า Parakeet TDT 0.6B ประมาณ 5–6 เท่า บน Android, Linux และ Windows จะทำงานผ่าน ONNX Runtime จาก soniqo/Parakeet-EOU-120M-ONNX-INT8
ใช้งานได้บน Android และบน Linux กับ Windows ผ่าน Speech Core (ONNX Runtime)