Audio2Face-3D

この Soniqo ページは、ローカルの speech-swift / speech-core 実装にある Audio2Face-3D を説明します。Hugging Face バンドルへのリンクは統合メモの後にあります。

まずサイト内ページへ

ランディングカードとドキュメントメニューは先にこのページへ向け、ソースモデルとバンドルのリンクは本ページ内に残します。

概要

モデルAudio2Face-3D
役割Speech-to-avatar motion coefficients for downstream renderers
バックエンドMLX
出力JSONL frames: timestamp plus the full coefficient vector
言語Language-independent, audio-driven
ライセンスNVIDIA Open Model License
状態Ready through speech avatar-motion and the Audio2Face3D Swift product
ソースNVIDIA Audio2Face-3D
Swift プロダクトAudio2Face3D
CLI / ランタイムspeech avatar-motion

使い方

以下のスニペットは、現在の speech-swift リポジトリが公開している API またはコマンドに合わせています。

# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
  --model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX

モデルリンク

実装メモ