תרגום מכונה · המקור באנגלית
Audio2Face-3D
זה הראשון צד Soniqo מסמכים Audio2Face-3D מהמקומי speech-swift / speech-core יישום Hugging Face
דף ראשון
כרטיסי נחיתה ותפריטי docs מצביעים כאן קודם; מודל מקור וקישורי החבילה נותרים זמינים מהעמוד הזה.
ב-Glance
| מודל מודל | Audio2Face-3D |
|---|---|
| תפקידים | דיבור-to-avatar Motion coefficients for downstream |
| חזרה | MLX |
| Output | JSONL מסגרות: Timestamp בתוספת וקטור התווך המלא |
| שפות | שפה-independent, Audio-oriented |
| רישיון רישיון רישיון | NVIDIA רישיון מודל פתוח |
| סטטוס | מוכן באמצעות דיבור avatar-motion ו- Audio2Face3D Swift |
| מקור Source | NVIDIA Audio2Face-3D |
| Swift מוצר | Audio2Face3D |
| CLI / Runtime | speech avatar-motion |
שימוש בשימוש
החטיפה מתחת למראות את speech-swift API או פקודה שנחשפו על ידי ה-Repo.
# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
--model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX
מודל קישורים
הערות יישום
- שלושה זהויות מפורסמות: ג'יימס (default) וקלייר ב v2.3.1 עם 169 coefficients, Mark at v2.3 עם 301; מוצרי עור חיים בבסיס הגיאומטריה של הזהות, כך שגורמים צריכים את ההתאמה של הקפדה או פרויקט התחדשות.
- 2-branch regressor: trated Wav2Vec2 אודיו encoder התמזג על פני שכבות טרנספורמטר, בתוספת ענף תדר אדפטו-אוטומטי חלון, חדור דרך convolutions מתוחים רגשית.
- כל חלון 8320-sample של 16 אודיו מונו הרץ (הופ 4160) פולט מסגרת אחת, בתנאי וקטור רגש בן 26 ערכים - 16 אימפולסיבי בתוספת 10 ערכים מפורשים.
- הגרף MLX פועל במלוא NVIDIA מודל קדימה והוא נבדק נגד תיקון ONNX שנוצר מהשחרור הרשמי.