项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-09-29 · 当前星标 ★ 2620
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Linux + NVIDIA GPU(官方在 A100 80G 上测试)
- CUDA 12.0 环境
- PyTorch 2.4.1 / 2.5.0 / 2.8.0(README 测试版本)
- Python 3.10(conda 环境)
- 需从 Hugging Face 或 ModelScope 下载模型权重
安装与启动步骤
-
1创建 conda 环境
使用 conda 创建 Python 3.10 的独立环境,避免与系统包冲突。
conda create -n svi python=3.10 -
2激活环境
激活刚创建的 svi 环境,后续所有安装都在此环境内执行。
conda activate svi -
3安装 ffmpeg
通过 conda-forge 安装视频处理所需的多媒体库 ffmpeg。
conda install -c conda-forge ffmpeg -
4安装 librosa
安装音频处理库 librosa,供音频驱动说话人脸等场景使用。
conda install -c conda-forge librosa -
5安装 libiconv
安装字符编码转换库 libiconv,解决部分依赖的编码问题。
conda install -c conda-forge libiconv
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
torch 版本 | 是 | README 自动脚本会安装 torch==2.5.0,也支持 2.4.1 与 2.8.0。 | 2.5.0 |
如何确认成功
能成功执行 conda activate svi 并在新环境中导入 librosa 无报错,即表示基础环境配置完成。
常见问题
Q:flash-attn 安装失败怎么办?
A:README 指出可参考项目 issue #3 的讨论排查,通常与 CUDA 版本和编译环境有关。
Q:可以用更低版本的 torch 吗?
A:可以,README 明确测试过 torch==2.4.1 和 torch==2.5.0,2.8.0 为 A100 上的复现版本。
Q:没有 A100 80G 能跑吗?
A:README 仅声明在 A100 80G 上测试通过,未给出其他显存配置的保证。
注意事项
- README 只给出了环境安装部分,模型下载、推理脚本等需参考官方仓库与项目主页。
- 确认 CUDA 版本与 torch 版本匹配,避免 flash-attn 编译失败。
- 模型权重可从 Hugging Face 的 vita-video-gen/svi-model 或 ModelScope 的 epfl-vita/svi-model 获取。
核心亮点
- 提出 Error Recycling 机制,直接缓解长视频生成中的误差累积与画面漂移
- 被 ICLR 26 接收为 Oral,方法有学术背书,技术路线可信
- 覆盖音频驱动说话人脸、舞蹈生成、端到端拍摄等多种长视频场景
不足之处
- 推理显存与算力需求较高,普通消费级显卡难以直接跑长视频
- 项目较新,预训练权重与一键推理脚本的完善度待观察
适用场景
- 虚拟人长时直播或口播视频生成
- 舞蹈/动作类短视频的连续长镜头生成
- 影视预演与广告分镜的端到端长视频拍摄
替代项目
AnimateDiff、CogVideoX、Open-Sora
同类项目推荐
Echo-Memory
开源
给视频生成装上记忆,让长视频更连贯
Official code for Echo-Memory: a controlled study of memory in action-conditioned vi···
deforum-comfy-nodes
开源
在 ComfyUI 里玩转 Deforum 动画,拖拽节点生成炫酷 AI 视频
Deforum ComfyUI Nodes - ai animation node package
studio
开源
录屏后自动加字幕、智能剪辑,一键出专业视频
AI-powered screen recording with auto-captions, smart trimming, narration, and one-c···
DepthFlow
开源
一张图生成可循环的3D视差运镜视频
Images to 3D parallax videos
awesome-flux-3-api-prompts
开源
快速上手FLUX 3,搞定视频图像音频生成
FLUX 3 video API and image API guide, prompts, parameters, and examples for Black Fo···
paper-collage-video
开源
配置驱动纸片视频流水线,人工审批+断点续跑,高效出片。
基于 Remotion 的配置驱动纸片分层视频流水线与 Codex 插件,支持人工审批、断点恢复、预览···
CueRecord
开源
Mac 上录屏+提词+AI 剪呼吸,一站式搞定口播视频
Native macOS screen recorder with teleprompter, camera overlay, system audio capture···
AiShortsVideosGenerator
开源
输入主题,自动生成带字幕的短视频,全程用免费资源。
Full-Stack ASP.NET Core and Next.js to create AI-Generated Short Videos with Caption···
vox-ai-motion-graphics-generator
开源
输入主题,自动生成 Vox 风格拼贴解说视频
Turn any topic into a finished Vox-style paper-collage explainer / motion graphics v···
