Automatische vertaling · Engels origineel

Audio2Face-3D

Deze eerste partij Soniqo paginadocumenten Audio2Face-3D van de lokale speech-swift / speech-core implementatie. Hugging Face bundels zijn hieronder gekoppeld na de integratienotities.

Interne pagina eerste

Landingskaarten en docs menu's wijzen nu eerst hier; bronmodel en bundel links blijven beschikbaar van deze pagina.

Bij een Glance

Model	Audio2Face-3D
Rol	Speech-to-avatar bewegingscoëfficiënten voor downstream renders
Backend	MLX
Uitvoer	JSONL-frames: tijdstempel plus volledige coëfficiëntvector
Talen	Taalonafhankelijk, audiogestuurd
Licentie	NVIDIA Modellicentie openen
Status	Klaar door spraakavatar-beweging en het Audio2Face3D Swift product
Bron	NVIDIA Audio2Face-3D
Swift product	`Audio2Face3D`
CLI / looptijd	`speech avatar-motion`

Gebruik

Het onderstaande knipsel spiegelt de huidige speech-swift API of commando blootgesteld door de repo.

# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
  --model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX

Modellinks

Opmerkingen over de uitvoering

Er worden drie identiteiten gepubliceerd: James (default) en Claire op v2.3.1 met 169 coëfficiënten, Mark op v2.3 met 301; huidcoëfficiënten leven in de eigen geometriebasis van de identiteit, dus renders hebben de bijbehorende rig nodig of een retarget projectie.
Twee-taks regressor: een getrimde Wav2Vec2 audio-encoder gemengd over transformatorlagen, plus een windowed-autocorrelation frequentie tak, versmolten door emotie-geconditioneerde gepassioneerde convoluties.
Elk 8320-sample venster van 16 kHz mono audio (hop 4160) zendt één frame uit, geconditioneerd op een 26-waarde emotie vector 16 impliciet plus 10 expliciete waarden.
De MLX graaf draait de volledige NVIDIA model forward pass en wordt pariteit gecontroleerd met een ONNX armatuur gegenereerd uit de officiële release.