Traduzione automatica · Originale inglese

Audio2Face-3D

Questa prima parte Soniqo pagina documenta Audio2Face-3D dall'implementazione locale speech-swift / speech-core. Hugging Face sono collegati di seguito dopo le note di integrazione.

Pagina iniziale

Le carte di atterraggio e i menu Docs ora puntano qui prima; il modello di sorgente e i link di fascio rimangono disponibili da questa pagina.

In un solco

Modello	Audio2Face-3D
Role	Coefficienti di movimento speech-to-avatar per rendering a valle
Indietro	MLX
Produzione	Cornici JSONL: timestamp più il vettore full coefficient
Lingue	Dipendente dal linguaggio, audio-driven
Licenza	NVIDIA
Stato	Pronti attraverso l'avatar-motion vocale e il prodotto Audio2Face3D Swift
Fonte	NVIDIA Audio2Face-3D
Prodotto Swift	`Audio2Face3D`
CLI / runtime	`speech avatar-motion`

Uso

Lo snippet seguente rispecchia l'attuale speech-swift API o comando esposto dal repo.

# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
  --model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX

Link di modello

Note di attuazione

Sono pubblicate tre identità: James (default) e Claire a v2.3.1 con 169 coefficienti, Mark a v2.3 con 301; i coefficienti della pelle vivono nella base della geometria dell'identità, quindi i renderrs hanno bisogno della piattaforma di corrispondenza o di una proiezione di retarget.
Regressore a due bracci: un codificatore audio Wav2Vec2 tritato si è unito a strati di trasformatori, oltre a un ramo di frequenza finestrato-autocorrelazione, fuso attraverso convoluzioni striate con emozione.
Ogni finestra 8320-sample di 16 kHz mono audio (hop 4160) emette una cornice, condizionata su un vettore di emozione di 26-valore — 16 impliciti più 10 valori espliciti.
Il grafo MLX esegue il passaggio avanti completo NVIDIA modello ed è controllato a parità di parità contro un ONNX