Audio2Face-3D

Trang Soniqo này ghi lại Audio2Face-3D theo triển khai hiện có trong speech-swift / speech-core. Liên kết Hugging Face nằm bên dưới phần ghi chú tích hợp.

Ưu tiên trang nội bộ

Thẻ trên trang chính và menu tài liệu trỏ vào đây trước; liên kết model nguồn và bundle vẫn có trong trang này.

Tổng quan

Model	Audio2Face-3D
Vai trò	Speech-to-avatar motion coefficients for downstream renderers
Backend	MLX
Đầu ra	JSONL frames: timestamp plus the full coefficient vector
Ngôn ngữ	Language-independent, audio-driven
Giấy phép	NVIDIA Open Model License
Trạng thái	Ready through speech avatar-motion and the Audio2Face3D Swift product
Nguồn	NVIDIA Audio2Face-3D
Sản phẩm Swift	`Audio2Face3D`
CLI / runtime	`speech avatar-motion`

Cách dùng

Đoạn dưới đây khớp với API hoặc lệnh hiện tại do speech-swift cung cấp.

# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
  --model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX

Liên kết model

Ghi chú triển khai

Three identities are published: James (default) and Claire at v2.3.1 with 169 coefficients, Mark at v2.3 with 301; skin coefficients live in the identity's own geometry basis, so renderers need the matching rig or a retarget projection.
Two-branch regressor: a trimmed Wav2Vec2 audio encoder blended across transformer layers, plus a windowed-autocorrelation frequency branch, fused through emotion-conditioned strided convolutions.
Each 8320-sample window of 16 kHz mono audio (hop 4160) emits one frame, conditioned on a 26-value emotion vector — 16 implicit plus 10 explicit values.
The MLX graph runs the full NVIDIA model forward pass and is parity-checked against an ONNX fixture generated from the official release.