Konekäännös · Englanninkielinen alkuperäinen
Audio2Face-3D
Tämä ensimmäinen osapuoli Soniqo sivuasiakirjat Audio2Face-3D paikalliselta speech-swift / speech-core -toteutus. Hugging Face -paketit on liitetty alla olevien integrointihuomautusten jälkeen.
Sisäinen sivu ensin
Laskeutumiskortit ja dokumentit ovat nyt tässä ensin; lähdemalli ja nippulinkit ovat saatavilla tältä sivulta.
Katselu
| Malli | Audio2Face-3D |
|---|---|
| Rooli | Jatkossa olevien renderaattoreiden puhe- ja aaltoluotainliikekertoimet |
| Taustaosa | MLX |
| Tuotos | JSONL kehykset: aikaleima ja täysi kerroin vektori |
| Kieli | Kieliriippumaton, audiovetoinen |
| Lisenssi | NVIDIA Avoin malli Lisenssi |
| Tila | Valmiina puheen kautta avatar-motion ja Audio2Face3D Swift -tuotteen |
| Lähde | NVIDIA Audio2Face-3D |
| Swift -tuote | Audio2Face3D |
| CLI / ajoaika | speech avatar-motion |
Käyttö
Alla oleva nappula peilaa virta speech-swift API tai repon paljastamaa komentoa.
# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
--model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX
Malli Linkit
Täytäntöönpano Huomioita
- Kolme henkilöllisyyttä julkaistaan: James (oletusarvo) ja Claire v2.3.1 169 kertoimella, Mark at v2.3 with 301; ihokertoimet elävät identiteetin omassa geometriassa, joten renderöijät tarvitsevat vastaavan lautan tai uudelleenkohdennusprojektion.
- Kaksihaarainen regressio: somistettu Wav2Vec2 äänenkoodaaja, joka on sekoitettu muuntajakerrosten välillä, sekä ikkuna-autokorroosiotaajuuden haara, joka yhdistyy emotionaalisiin vaiheisiin.
- Jokainen 8320-näyteikkuna, jossa on 16 kHz monoääni (hop 4160), lähettää yhden ruudun, joka on 26-arvoisen emotionic vektorin .16 implisiittinen ja 10 nimenomaista arvoa.
- MLX -kaaviossa on täysi NVIDIA -malli eteenpäin ja se tarkistetaan pariteetti-vertailulla, joka on saatu virallisesta julkaisusta ONNX -laitteella.