Maskinoversættelse · Engelsk original

Audio2Face-3D

Denne første part Soniqo side dokumenter Audio2Face-3D fra den lokale speech-swift / speech-core implementering. Hugging Face bundter er knyttet nedenfor efter integration noter.

Intern side først

Landingskort og docs menuer peger nu her først; kildemodel og bundlink er stadig tilgængelige fra denne side.

På en Glance

Model	Audio2Face-3D
Rolle	Speech- to- avatar motion koefficienter for downstream renders
Backend	MLX
Output	JSONL rammer: tidsstempel plus den fulde koefficient vektor
Sprog	Language-uafhængig, audiodrevet
Licens	NVIDIA Open Model Licens
Status	Klar gennem tale avatar- motion og Audio2Face3D Swift produkt
Kilde	NVIDIA Audio2Face-3D
Swift produkt	`Audio2Face3D`
CLI / runtime	`speech avatar-motion`

Anvendelse

Snuppet nedenfor afspejler den aktuelle speech-swift API eller kommando udsat af repo.

# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
  --model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX

Model Links

Gennemførelsesnoter

Tre identiteter er offentliggjort: James (standard) og Claire på v2.3.1 med 169 koefficienter, markeres ved v2.3 med 301; hudkoefficienter lever i identitetens egen geometri basis, så gengivere har brug for matchende rig eller en genmålsprojicering.
Two-branch regressor: en trimmet Wav2Vec2 audio encoder blandet på tværs af transformerlag, plus en windowed-autokorrelation frekvens gren, sammensmeltet gennem emotion- konditionerede stribede konvolutioner.
Hvert 8320- prøvevindue på 16 kHz mono audio (hop 4160) udsender én ramme, konditioneret på en 26- værdi følelses vektor - 16 implicitte plus 10 eksplicitte værdier.
MLX grafen kører den fulde NVIDIA model fremad pass og er party- kontrolleres mod en ONNX stativ genereret fra den officielle udgivelse.