JoyVASA

上传一张图，让照片和动物动起来说话

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 数字人3D 🍴 复刻 91 🐛 待处理 42 👀 关注 16
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 884
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，可免费使用和部署。

项目预览

JoyVASA 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队jdh-algo
官网地址https://jdh-algo.github.io/JoyVASA
GitHubhttps://github.com/jdh-algo/JoyVASA
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型audio-driven-talking-face,generative-ai,image-animation,lip-sync,portrait-anination,talking-head
GitHub 星标★ 884
上线时间2024-11-14 00:00:00
代码更新2026-04-16
仓库体积39.9 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

JoyVASA 是一个基于扩散模型的数字人动画生成框架，专注于人像和动物肖像的动画化。它解决了传统动画生成中表情僵硬、动作不自然、跨物种适配困难等问题，核心能力包括：从静态图片生成动态视频，支持面部表情迁移、头部姿态控制，并能将人类表情动作迁移到动物形象上。项目采用扩散模型架构，结合3D感知技术，实现了高保真度的动画效果。其技术栈以Python为主，提供了完整的训练和推理流程，适合研究者和开发者用于数字人、虚拟角色创作等场景。目前项目处于早期阶段，但已展示出在角色动画领域的潜力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 884

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 50 分钟 部署方式：本地 GPU 4 步

环境要求

  • NVIDIA GPU（16GB 显存起）
  • ffmpeg

安装与启动步骤

  1. 1建环境

    Python 3.10，装依赖后再编译本仓库的扩展。

    conda create -n joyvasa python=3.10 -y
conda activate joyvasa
pip install -r requirements.txt
python setup.py build install

  2. 2下权重

    主模型之外还要 hubert 与 wav2vec2 两个音频编码器。

    git clone https://huggingface.co/jdh-algo/JoyVASA pretrained_weights

  3. 3跑推理

    给人像图与音频，选 human 或 animal 模式。

    python inference.py -r assets/examples/imgs/joyvasa_001.png -a assets/examples/audios/joyvasa_001.wav --animation_mode human --cfg_scale 2.0

  4. 4起界面

    有 Gradio 界面，调参更方便。

    python app.py

如何确认成功

输出视频口型与音频同步。

注意事项

  • 权重目录名必须叫 pretrained_weights，脚本按固定路径找。

核心亮点

  • 支持人像和动物肖像动画，跨物种表情迁移能力强
  • 基于扩散模型，生成动画自然度高，表情细节丰富
  • 提供完整训练与推理代码，便于二次开发和研究

不足之处

  • 项目早期，文档和社区支持待观察
  • 对硬件要求较高，推理速度可能较慢

适用场景

  • 数字人视频制作，如虚拟主播、在线教育
  • 宠物或动物形象动画化，用于娱乐内容创作
  • 影视预可视化或游戏角色动画原型设计

替代项目

SadTalker、Wav2Lip、LivePortrait

上一篇：awesome-talking-head-generation

下一篇：echomimic

同类项目推荐

Audio2Head 开源

输入一张照片和语音，生成头部自然晃动的说话视频

code for paper "Audio2Head: Audio-driven One-shot Talking-head Generation with Natur···

★ 351 2026-08-09
HanaVerse 开源

让 Ollama 聊天变成和动漫少女面对面说话

HanaVerse is a interactive web UI for chatting with ollama with a lively 2D anime ch···

★ 72 2026-08-09
DreamWaltz-G 开源

从单张图或文本，快速生成可动会笑的 3D 数字人

[TPAMI 2025] Official implementation of the paper "DreamWaltz-G: Expressive 3D Gauss···

★ 158 2026-08-09
AI-Avatar 开源

几分钟生成一个主播，24 小时替你出镜带货。

AI Avatar/Anchor: create video from plain text or audio file in minutes, support up ···

★ 8 2026-08-09
banana-levelup 开源

输入文字，秒变可 360° 查看的 AI 角色头像

An interactive web demo for AI avatar creation — generate characters from a text pr···

★ 53 2026-08-09
wav2lip_288x288 开源

更高清唇形同步，让数字人说话更逼真

Wav2Lip version 288 and pipeline to train

★ 652 2026-08-09
DiffusionGAN3D 开源

融合3D GAN与扩散先验，让文本快速生成高质量3D模型

[CVPR2024] DiffusionGAN3D: Boosting Text-guided 3D Generation and Domain Adaptation ···

★ 70 2026-08-09
heerich 开源

把 3D 体素场景变成 SVG 矢量图，零依赖、可编辑

Tiny engine for 3D voxel scenes rendered to SVG — boolean ops, oblique/perspective ···

★ 631 2026-08-09