StableAvatar
一张图加一段音频,生成无限时长数字人视频
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1272
技术标签
使用教程
环境要求
- 已安装 Python 与 pip 的 Linux/Windows 环境
- NVIDIA GPU 及匹配的 CUDA 驱动(普通卡用 cu124,Blackwell 系列用 cu128)
- 基础模型(model_full_load 模式)生成 5 秒 480x832、25fps 视频约需 18GB 显存
- 足够的磁盘空间用于存放仓库依赖与模型权重
安装与启动步骤
-
1获取项目代码
从 GitHub 拉取 StableAvatar 仓库,后续所有环境安装命令都在仓库根目录执行。
git clone https://github.com/Francis-Rings/StableAvatar.git cd StableAvatar -
2安装 PyTorch 基础环境
按 README 指定版本安装基于 CUDA 12.4 的 torch、torchvision、torchaudio,版本号勿随意改动。
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu124 -
3安装项目依赖
安装仓库 requirements.txt 中列出的全部依赖,需在项目根目录执行。
pip install -r requirements.txt -
4可选:安装 flash_attn
README 标注为可选项,用于加速注意力计算;编译失败可跳过,不影响基本使用。
pip install flash_attn -
5Blackwell 芯片替代方案
若使用 Blackwell 系列显卡,改用 CUDA 12.8 版本的 PyTorch 组合,再装依赖与可选的 flash_attn。
pip install torch==2.7.0 torchvision==0.22.0 torchaudio==2.7.0 --index-url https://download.pytorch.org/whl/cu128 pip install -r requirements.txt pip install flash_attn -
6按显存调整参数
显存不足时适当减少生成帧数或降低输出分辨率;基础版支持 480x832、832x480、512x512。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--GPU_memory_mode | 否 | 控制显存加载策略,基础模型常用 model_full_load 全量加载 | model_full_load |
如何确认成功
pip 安装无报错,执行 python -c "import torch;print(torch.cuda.is_available())" 输出 True 即环境就绪。
常见问题
Q:显存不足(OOM)怎么办?
A:README 建议适当减少生成的动画帧数或降低输出视频分辨率,也可以把 VAE 放到 CPU 上运行以节省显存。
Q:生成长视频时显存爆掉?
A:3D VAE 解码器显存需求很高,尤其是解码 1 万帧以上时,README 建议选择在 CPU 上运行 VAE。
Q:必须安装 flash_attn 吗?
A:不是必须,README 中标注为 Optional,仅用于加速注意力计算,装不上可跳过。
Q:用 50 系(Blackwell)显卡怎么装?
A:使用 README 提供的 Blackwell 专用命令,安装 CUDA 12.8 对应的 torch 2.7.0、torchvision 0.22.0、torchaudio 2.7.0,再装依赖。
Q:支持哪些输出分辨率?
A:基础版(Wan2.1-1.3B)支持 480x832、832x480、512x512,理论上可合成数小时视频而无明显质量下降。
注意事项
- torch 与 CUDA 版本必须按 README 匹配,普通卡用 cu124 组合,Blackwell 系列用 cu128 组合。
- 性能参考:5 秒 480x832、25fps 的视频在 4090 上约需 18GB 显存、耗时约 3 分钟。
- README 节选中未给出具体推理/启动脚本命令,实际生成命令需查阅仓库内脚本与参数说明。
- 全量加载(model_full_load)显存占用较高,长视频解码建议考虑将 VAE 放 CPU。
核心亮点
- 端到端视频扩散 Transformer,无需后处理即可生成高质量视频
- 支持无限长度视频生成,突破传统方法长度限制
- 口型同步精准,基于音频驱动,人物外观保持良好
不足之处
- 文档/社区待观察
- 项目尚处成长阶段,生态和工具链可能不成熟
适用场景
- 虚拟主播和数字人直播
- 在线教育课程视频自动生成
- 客户服务数字人交互
替代项目
SadTalker、Wav2Lip、GeneFace
下一篇:DIMO
同类项目推荐
claude-face
开源
80 万颗粒子拼一张脸,AI 开口跟你面对面。
Give your AI assistant a face — a WebGL particle talking-head (~800k dots) that spe···
MotionGPT
开源
让文字直接驱动数字人动作,一句话生成逼真3D动画
[NeurIPS 2023] MotionGPT: Human Motion as a Foreign Language, a unified motion-langu···
opentalking
开源
私有部署的数字人框架,接上模型就能实时对话
OpenTalking: An industrial-grade open-source AI digital human framework that support···
输入一句话,自动生成并驱动3D虚拟人
[SIGGRAPH 2022 Journal Track] AvatarCLIP: Zero-Shot Text-Driven Generation and Anima···
Co-Speech-Motion-Generation
开源
输入语音,自动生成数字人全身动作,省去动捕和手K动画。
Freeform Body Motion Generation from Speech
DreamWaltz-G
开源
从单张图或文本,快速生成可动会笑的 3D 数字人
[TPAMI 2025] Official implementation of the paper "DreamWaltz-G: Expressive 3D Gauss···
GShell
开源
用壳层+幽灵节点,让3D形状表达更自由
Official implentation of "Ghost on the Shell: An Expressive Representation of Genera···
Direct3D-S2
开源
一句话文本/图片,秒级生成超大细节3D模型
[NeurIPS 2025] Direct3D‑S2: Gigascale 3D Generation Made Easy with Spatial Sparse A···
CityDreamer4D
开源
从单图生成无限动态 4D 城市,用于仿真与创作
The official implementation of "Compositional Generative Model of Unbounded 4D Citie···