Audio2Face-3D

이 Soniqo 페이지는 로컬 speech-swift / speech-core 구현의 Audio2Face-3D을 설명합니다. Hugging Face 번들 링크는 통합 메모 뒤에 있습니다.

내부 페이지 우선

랜딩 카드와 문서 메뉴는 먼저 이 페이지로 이동하고, 원본 모델과 번들 링크는 이 페이지 안에 둡니다.

개요

모델Audio2Face-3D
역할Speech-to-avatar motion coefficients for downstream renderers
백엔드MLX
출력JSONL frames: timestamp plus the full coefficient vector
언어Language-independent, audio-driven
라이선스NVIDIA Open Model License
상태Ready through speech avatar-motion and the Audio2Face3D Swift product
소스NVIDIA Audio2Face-3D
Swift 제품Audio2Face3D
CLI / 런타임speech avatar-motion

사용

아래 스니펫은 현재 speech-swift 저장소의 API 또는 명령과 일치합니다.

# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
  --model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX

모델 링크

구현 메모