Terjemahan mesin · Versi asli bahasa Inggris

Audio2Face-3D

Pesta pertama ini. Soniqo dokumen halaman Audio2Face-3D dari lokal speech-swift / speech-core implementasi. Hugging Face bundel dihubungkan di bawah ini setelah catatan integrasi.

Halaman Internal Pertama

Mendarat kartu dan menu dokumen sekarang menunjuk di sini pertama; model sumber dan bundel link tetap tersedia dari halaman ini.

Pada sebuah Glance

Model	Audio2Face-3D
Peran	Koefisien gerak Speech-to-avatar bagi renderer hilir
Backend	MLX
Keluaran	Bingkai JSONL: timestamp ditambah penuh koefisien vektor
Bahasa	Bahasa - independen, audio- didorong
Lisensi	Lisensi NVIDIA Buka Model
Status	Siap melalui pidato avatar-motion dan produk Audio2Face3D Swift
Sumber	NVIDIA Audio2Face-3D
Produk Swift	`Audio2Face3D`
CLI / waktu jalan	`speech avatar-motion`

Gunakan

snippet di bawah cermin yang sekarang speech-swift API atau perintah yang terkena repo tersebut.

# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
  --model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX

Taut Model

Catatan Implementasi

Tiga identitas diterbitkan: James (default) dan Claire di v2.3.1 dengan 169 koefisien, Tandai di v2.3 dengan 301; koefisien kulit hidup dalam dasar geometri identitas sendiri, sehingga renderers perlu rig yang cocok atau memtargetkan proyeksi.
regresor percabangan ganda: sebuah pemangkasan audio Wav2Vec2 bercampur dengan lapisan transformator, ditambah cabang frekuensi otomatis-windowed, menyatu melalui emotion- convertions berkondisi garis.
Setiap jendela 8320-sampel dari 16 kHz mono audio (hop 4160) memancarkan satu frame, dikondisikan pada sebuah vektor emosi 26 nilai - 16 implisit plus 10 nilai eksplisit.
The MLX grafik berjalan penuh NVIDIA model forward pass dan parity- diperiksa terhadap ONNX fixture dihasilkan dari rilis resmi.