Traducere automată · Originalul în engleză
Audio2Face-3D
Această primă parte Soniqo documente de pagină Audio2Face-3D de la local speech-swift / speech-core implementare. Hugging Face pachete sunt legate mai jos după notele de integrare.
Prima pagină internă
Carduri de aterizare și meniuri docs punct acum aici primul; model sursă și link-uri de pachet rămân disponibile de la această pagină.
La o strălucire
| Model | Audio2Face-3D |
|---|---|
| Rol | Coeficienți de mișcare de vorbire-la-avatar pentru randoarele din aval |
| Platformă | MLX |
| Ieșire | Rame JSONL: timbru temporal plus vectorul coeficientului complet |
| Limbi | Limbă independentă, cu comandă audio |
| Licență | NVIDIA Licență de model deschis |
| Stare | Gata prin avatar-motion speach și produsul Audio2Face3D Swift |
| Sursă | NVIDIA Audio2Face-3D |
| Swift produs | Audio2Face3D |
| CLI / timpul de funcționare | speech avatar-motion |
Utilizare
Fragmentul de mai jos reflectă curentul speech-swift API sau comanda expusă de repo.
# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
--model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLXModele de legături
Note de punere în aplicare
- Se publică trei identităţi: James (default) şi Claire la v2.3.1 cu 169 coeficienţi, Mark la v2.3 cu 301; coeficienţii de piele trăiesc în baza geometriei proprie a identităţii, astfel că producătorii au nevoie de platforma de potrivire sau de o proiecţie de reţintă.
- Regresor cu două ramuri: un codor audio degresor de bordură Wav2Vec2 amestecat pe straturile de transformator, plus o ramură de frecvență de automatizare cu ferestre, topită prin convoluții în trepte de emoție.
- Fiecare 8320- fereastra de probă a 16 kHz mono audio (hop 4160) emite un cadru, condiţionat pe o 26- vectorul emoţiei valorice 16 implicit plus 10 valori explicite.
- Graficul MLX rulează întregul model de trecere înainte NVIDIA și este verificat în funcție de paritate în raport cu un element de fixare ONNX generat de eliberarea oficială.