
JoyAI-Video-Edit
边看边改,自然语言实时编辑视频
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-29 · 当前星标 ★ 1984
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Linux 环境与 NVIDIA GPU(需按卡编译 CUDA 算子与注意力加速库)
- 已安装 Conda,用于创建 Python 3.10 独立环境
- 可用的 CUDA 编译工具链(用于构建 deploy/joyomni_ops)
- 磁盘空间用于存放 16B 参数模型权重(权重位于 Hugging Face 仓库 jdopensource/JoyAI-Video-Edit)
安装与启动步骤
-
1获取项目代码
克隆官方仓库到本地,后续所有命令都在仓库根目录执行。
git clone https://github.com/jd-opensource/JoyAI-Video-Edit.git cd JoyAI-Video-Edit -
2创建 Python 环境
用 Conda 新建 Python 3.10 环境并激活,避免与系统环境冲突。
conda create -n joyai-video-edit python=3.10 -y conda activate joyai-video-edit -
3安装 Python 依赖
安装仓库提供的部署依赖清单,需在已激活的 joyai-video-edit 环境中执行。
python -m pip install -r deploy/requirements.txt -
4编译 CUDA 算子库
必须编译 deploy/joyomni_ops,DiT 运行时会调用其中的融合算子,未编译无法推理。
-
5安装注意力加速库
按 GPU 型号安装 SageAttention 与 flash-attn-4,具体版本与命令见 DEPLOYMENT.md 第 2 节。
-
6准备模型权重
从 Hugging Face 的 jdopensource/JoyAI-Video-Edit 仓库获取 16B 权重并放到部署文档指定目录。
如何确认成功
依赖安装与 CUDA 算子编译均无报错,且已按 DEPLOYMENT.md 完成权重与加速库配置,即环境就绪;启动方式以该文档为准。
常见问题
Q:可以不编译 deploy/joyomni_ops 吗?
A:不可以。README 明确标注该项为必做,DiT 在运行时调用其融合算子,跳过会导致推理失败。
Q:SageAttention 和 flash-attn-4 是必须的吗?
A:README 要求按 GPU 逐卡安装这两项加速库,具体安装方式见 DEPLOYMENT.md 第 2 节。
Q:模型权重从哪里获取?
A:README 给出的权重仓库为 Hugging Face 上的 jdopensource/JoyAI-Video-Edit,下载与放置路径以 DEPLOYMENT.md 为准。
Q:README 里有启动/推理命令吗?
A:节选中未给出具体启动命令,环境搭建完成后需按 DEPLOYMENT.md 的部署章节执行对应启动流程。
注意事项
- README 只给出前两步完整命令,CUDA 算子、加速库与权重均指向 DEPLOYMENT.md,请以该文档为准确认细节。
- 建议在干净的 Conda 环境中安装,避免已有 PyTorch/CUDA 版本与依赖清单冲突。
- 安装与编译耗时较长,且需要与 GPU 架构匹配的编译环境。
核心亮点
- 自回归扩散架构支持流式逐段生成,编辑响应延迟低,适合交互式创作
- 开放式指令编辑,无需为每种编辑任务单独训练模型,泛化性较好
- 官方提供推理代码与权重,Python 实现,便于研究和二次开发
不足之处
- 项目较新(星标约 2k),生态与社区案例尚在积累,长期维护性待观察
- 实时性能依赖较强 GPU 硬件,普通设备上的实际帧率与延迟表现需实测
- 开放式编辑对复杂指令的遵循精度和细节保真度可能不如专用模型
适用场景
- 短视频创作者用自然语言指令快速修改视频风格与内容
- 影视后期预演阶段实时调整镜头元素,缩短迭代周期
- 研究者基于自回归扩散框架开发新的视频编辑算法
替代项目
Runway Gen 系列相关开源工作、TokenFlow、Video-P2P
上一篇:FlashVSR
下一篇:没有了!
同类项目推荐
FreeTraj
开源
无需训练,拖拽轨迹即可控制视频生成运动路径
Code for FreeTraj, a tuning-free method for trajectory-controllable video generation
ComfyUI-LTXVideo
开源
在 ComfyUI 里拖拽节点,轻松生成和编辑视频
LTX-Video Support for ComfyUI
Veo3-AI-Video-API
开源
用Veo 3和Sora生成视频,成本直降97%
AI Video Generator API — Veo 3, Openai Sora by GeminiGenAI. Create stunning AI vide···
VideoX-Fun
开源
任意分辨率+图生视频,一张图就能动起来
A more flexible framework that can generate videos at any resolution and creates vid···
Matrix-Game
开源
实时交互式长视频生成,让AI世界随你而动
Matrix-Game 4.0: Streaming Neural Rendering for Playable Games
SolarWM
开源
一张图生成可延续的长时程视频世界
Open data and scalable training for long-horizon video world models.
SceneScape
开源
输入一句话,生成连贯不闪烁的场景视频
Official Pytorch Implementation for "SceneScape: Text-Driven Consistent Scene Genera···
video_prediction
开源
用GAN+VAE预测视频未来帧,生成多种可能结果
Stochastic Adversarial Video Prediction
SEINE
开源
用文本或图像生成连贯长视频,还能让视频间无缝过渡
[ICLR 2024] SEINE: Short-to-Long Video Diffusion Model for Generative Transition and···