Audio2Face-3D
หน้านี้ของ Soniqo อธิบาย Audio2Face-3D ตาม implementation ใน speech-swift / speech-core ส่วนลิงก์ Hugging Face อยู่ใต้หมายเหตุการใช้งาน
เข้าหน้าในเว็บก่อน
การ์ดหน้าแรกและเมนูเอกสารจะชี้มาที่หน้านี้ก่อน ส่วนลิงก์ไปยัง source model และ bundle ยังอยู่ในหน้านี้
ภาพรวม
| โมเดล | Audio2Face-3D |
|---|---|
| บทบาท | Speech-to-avatar motion coefficients for downstream renderers |
| Backend | MLX |
| Output | JSONL frames: timestamp plus the full coefficient vector |
| ภาษา | Language-independent, audio-driven |
| License | NVIDIA Open Model License |
| สถานะ | Ready through speech avatar-motion and the Audio2Face3D Swift product |
| Source | NVIDIA Audio2Face-3D |
| Swift product | Audio2Face3D |
| CLI / runtime | speech avatar-motion |
การใช้งาน
snippet ด้านล่างตรงกับ API หรือคำสั่งปัจจุบันใน speech-swift
# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
--model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLXลิงก์โมเดล
หมายเหตุ implementation
- Three identities are published: James (default) and Claire at v2.3.1 with 169 coefficients, Mark at v2.3 with 301; skin coefficients live in the identity's own geometry basis, so renderers need the matching rig or a retarget projection.
- Two-branch regressor: a trimmed Wav2Vec2 audio encoder blended across transformer layers, plus a windowed-autocorrelation frequency branch, fused through emotion-conditioned strided convolutions.
- Each 8320-sample window of 16 kHz mono audio (hop 4160) emits one frame, conditioned on a 26-value emotion vector — 16 implicit plus 10 explicit values.
- The MLX graph runs the full NVIDIA model forward pass and is parity-checked against an ONNX fixture generated from the official release.