Awtomatikong salin · Orihinal sa Ingles
Audio2Face-3D
Ang unang-party Soniqo page na ito ay nagpapatunay ng Audio2Face-3D mula sa lokal na speech-swift / speech-core na pagpapatupad. Hugging Face na mga bungkos ay nakaugnay sa ibaba pagkatapos ng mga notasyon.
Panloob na Pahina Muna
Una na ngayong binabanggit dito ng mga landing card at docs menus ang tungkol dito; ang mga kawing ng source model at bround ay nananatiling makukuha mula sa pahinang ito.
Sa Isang Kaningningan
| Huwaran | Audio2Face-3D |
|---|---|
| Ang Papel | Ang pagsasalita-to-avatar motion cofits para sa mga nag-eensayo sa ilalim ng tubig |
| Likod | MLX |
| Ilabas | Mga balangkas ng JSONL: timestamp pati na ang ganap na kasamang di - mabisang vector |
| Wika | Wika-independent, audio-driven |
| Lisensiya | NVIDIA Open Model License |
| Kalagayan | Handa sa pamamagitan ng pagsasalita ng avatar-motion at ng Audio2Face3D Swift produkto |
| Pinagmumulan | NVIDIA Audio2Face-3D |
| Swift produkto | Audio2Face3D |
| CLI / Oras ng pagtakbo | speech avatar-motion |
Gamitin
Ang snippet sa ibaba ng salamin ang kasalukuyang speech-swift API o utos na inilantad ng repo.
# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
--model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX
Mga Kaugnayan sa Modelo
Mga Nota ng Pag - iisa
- Tatlong pagkakakilanlan ang inilathala: sina James (default) at Claire sa v2.3.1 na may 169 na codicture, Marcos sa v2.3 na may 301; ang mga depekto sa balat ay namumuhay sa sariling heometriyang saligan ng pagkakakilanlan, kaya kailangan ng mga nag - aabuloy ang katernong rig o retarget projection.
- Dalawang-branch regresor: isang pinutol na Wav2Vec2 audio regulator ang naghalo sa ibayo ng mga patong na transformer, pati na ang isang naka-access na-autocorrelation frequency na sangay, na hinahalo sa emosyon-conditioned convolutions.
- Ang bawat 8320-sample window ng 16 kHz mono audio (hop 4160) ay naglalabas ng isang balangkas, na nakondisyon sa isang 26-halagang emosyon vector — 16 na lubos at 10 na maliwanag na mga halaga.
- Ang MLX grap ay tumatakbo ng buong NVIDIA model pasulong at parity-checked laban sa isang ONNX