Maskinoversettelse · Engelsk original
Audio2Face-3D
Denne førsteparten Soniqo sidedokumenter Audio2Face-3D fra den lokale speech-swift / speech-core implementasjon. Hugging Face pakker er koblet under etter integrasjonsnotatene.
Innenrikssiden først
Landingskort og docs-menyer nå peker her først; kildemodell og pakkelenker er tilgjengelige fra denne siden.
På en glanse
| Modell | Audio2Face-3D |
|---|---|
| Rolle | Tale-til-avatar bevegelseskoeffisienter for nedstrømsgjengere |
| Motor | MLX |
| Utgang | JSONL-rammer: tidsstempel pluss full koeffisient vektor |
| Språk | Språkuavhengig, lyddrevet |
| Lisens | NVIDIA Åpen modelllisens |
| Status | Klar gjennom taleavatar-bevegelse og Audio2Face3D Swift produktet |
| Kilde | NVIDIA Audio2Face-3D |
| Swift produkt | Audio2Face3D |
| CLI/kjøretid | speech avatar-motion |
Bruk
Den snutten nedenfor speiler gjeldende speech-swift API eller kommando som eksponeres av repoen.
# Generate avatar motion coefficients from speech audio.
.build/release/speech avatar-motion input.wav --output motion.jsonl --verbose
.build/release/speech avatar-motion input.wav \
--model aufklarer/Audio2Face-3D-v2.3.1-Claire-MLX
Modelllenker
Implementasjonsnotater
- Tre identiteter er publisert: James (standard) og Claire på v2.3.1 med 169 koeffisienter, Marker ved v2.3 med 301; hudkoeffisiner lever i identitetens egen geometri-grunnlag, så gjengivere trenger matchende rigg eller en retarget projeksjon.
- Tobranche regressor: en trimmet Wav2Vec2 lydkoder blandet over transformatorlag, pluss en vindu-automatisk korrelasjonsfrekvensgren, fusjonert gjennom følelsesbestemte striderte konvolusjoner.
- Hvert 8320-prøvevindu med 16 kHz monolyd (hop 4160) avgir én ramme, betinget av en 26-verdi følelsesvektor - 16 implisitt pluss 10 eksplisitte verdier.
- MLX-grafen kjører hele NVIDIA-modellen videre passerer og er paritetssjekket mot en ONNX-fixtur generert fra den offisielle utgivelsen.