Maskinöversättning · Engelskt original

Audio2Face-3D

Denna första part Soniqo siddokument Audio2Face-3D från den lokala speech-swift / speech-core implementering. Hugging Face buntar är länkade nedan efter integrationsnoterna.

Intern sida först

Landningskort och docs-menyer pekar nu här först; källmodell och buntlänkar förblir tillgängliga från denna sida.

På en Glance

Modell	Audio2Face-3D
Rollen	Tal-till-avatar rörelse koefficienter för nedströms renderers
Backend	MLX
Output	JSONL-ramar: timestamp plus hela koefficient vektorn
Språk	Språkoberoende, ljuddrivna
Licens	NVIDIA Öppen modelllicens
Status	Redo genom tal avatar-motion och Audio2Face3D Swift produkt
Källa	NVIDIA Audio2Face-3D
Swift produkt	`Audio2Face3D`
CLI / runtime	`speech avatar-motion`

Användning

Nyckeln nedan speglar den nuvarande speech-swift API eller kommandot exponerat av repan.

# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
  --model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX

Modelllänkar

Implementeringsmeddelanden

Tre identiteter publiceras: James (standard) och Claire på v2.3.1 med 169 koefficienter, Mark at v2.3 med 301; hudkoefficilier lever i identitetens egen geometribas, så renderers behöver matchningsriggen eller en retarget projektion.
Två-branch regressor: en trimmad Wav2Vec2 ljudkodare blandad över transformatorskikt, plus en fönster-autokorrelationsfrekvens gren, smält genom känslomässigt konditionerade stridskonvolutioner.
Varje 8320-prov fönster av 16 kHz mono ljud (hop 4160) avger en ram, konditionerad på en 26-värde känsla vektor - 16 implicit plus 10 explicita värden.
MLX grafen kör hela NVIDIA modellen framåt pass och är paritetskontrollerad mot en ONNX fixtur som genereras från den officiella utgåvan.