Strojový překlad · Anglický originál
Audio2Face-3D
Tato první strana Soniqo stránka dokumenty Audio2Face-3D z místní speech-swift / speech-core implementace. Hugging Face balíčky jsou spojeny níže po integračních poznámkách.
Interní stránka
Přistávací karty a docs menu nyní ukázat zde první; zdrojový model a svazky odkazy zůstávají k dispozici z této stránky.
V Glance
| Vzor | Audio2Face-3D |
|---|---|
| Úloha | Speech- to- avatar pohybových koeficientů pro následníky |
| Backend | MLX |
| Výstup | Rámy JSONL: časové razítko plus celý koeficient vektoru |
| Jazyky | Jazyk - nezávislý, audio-řízený |
| Licence | NVIDIA Open Model License |
| Stav | Připravena prostřednictvím avatar- motion a Audio2Face3D Swift produktu |
| Zdroj | NVIDIA Audio2Face-3D |
| Swift produkt | Audio2Face3D |
| CLI / runtime | speech avatar-motion |
Použití
Snippet níže odráží aktuální speech-swift API nebo příkaz vystavený repo.
# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
--model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX
Modelové odkazy
Poznámky k provádění
- Tři identity jsou zveřejněny: James (výchozí) a Claire na v2.3.1 s 169 Koeficienty, Značit na v2.3 s 301; Kožní koeficienty žijí ve vlastní geometrii identity, takže vrazi potřebují odpovídající souprava nebo recílové projekce.
- Two- branch regresor: zastřižené Wav2Vec2 audio enkodér smíchaný přes vrstvy transformátoru, plus windowed- autokorelační frekvenční větve, tavený přes emočně-podmíněné proudové konvoluce.
- Každé 8320- výběrové okno 16 kHz mono audio (hop 4160) vydává jeden snímek, podmíněný 26- hodnotovým emočním vektorem - 16 implicitních a 10 explicitních hodnot.
- Graf MLX spouští plný model NVIDIA forward pass a je parity- kontrolován proti zařízení ONNX vytvořenému z oficiálního vydání.