JoyAI-Video-Edit

边看边改,自然语言实时编辑视频

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 126 🐛 待处理 8 👀 关注 17
GitHub ↗
GitHub 星标 ★ 1984
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源代码仓库,免费使用

项目预览

JoyAI-Video-Edit 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队jd-opensource
定价模式🏷️完全免费
价格说明开源代码仓库,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 1984
上线时间2026-08-04 00:00:00
代码更新2026-10-17
仓库体积21.9 MB
本站数据更新2026-10-29
维护状态较活跃
收录时间2026-10-29
浏览次数0

项目介绍

JoyAI-Video-Edit 是京东 JoyAI 团队开源的实时开放式视频编辑框架,基于自回归扩散(Autoregressive Diffusion)架构实现。项目要解决的问题是:传统视频编辑模型通常需要逐帧处理或离线批量渲染,速度慢、交互性差,难以支撑用户边看边改的创作流程。该框架把视频编辑建模为自回归生成过程,按时间顺序逐段预测并生成编辑后的视频内容,从而在保持时序一致性的同时显著降低延迟,支持开放式指令编辑(如风格迁移、物体替换、局部修改等),无需为每种编辑任务单独训练专用模型。核心能力包括:实时或近实时的编辑响应、开放式自然语言指令驱动、长视频的时序连贯生成,以及基于扩散模型的画质保障。项目以 Python 实现,提供官方推理代码与模型权重,面向视频创作、影视后期预演、短视频内容生产等场景,适合研究者和开发者二次开发与集成。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-29 · 当前星标 ★ 1984

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 90 分钟 部署方式:本地安装 6 步

环境要求

  • Linux 环境与 NVIDIA GPU(需按卡编译 CUDA 算子与注意力加速库)
  • 已安装 Conda,用于创建 Python 3.10 独立环境
  • 可用的 CUDA 编译工具链(用于构建 deploy/joyomni_ops)
  • 磁盘空间用于存放 16B 参数模型权重(权重位于 Hugging Face 仓库 jdopensource/JoyAI-Video-Edit)

安装与启动步骤

  1. 1获取项目代码

    克隆官方仓库到本地,后续所有命令都在仓库根目录执行。

    git clone https://github.com/jd-opensource/JoyAI-Video-Edit.git
    cd JoyAI-Video-Edit
  2. 2创建 Python 环境

    用 Conda 新建 Python 3.10 环境并激活,避免与系统环境冲突。

    conda create -n joyai-video-edit python=3.10 -y
    conda activate joyai-video-edit
  3. 3安装 Python 依赖

    安装仓库提供的部署依赖清单,需在已激活的 joyai-video-edit 环境中执行。

    python -m pip install -r deploy/requirements.txt
  4. 4编译 CUDA 算子库

    必须编译 deploy/joyomni_ops,DiT 运行时会调用其中的融合算子,未编译无法推理。

  5. 5安装注意力加速库

    按 GPU 型号安装 SageAttention 与 flash-attn-4,具体版本与命令见 DEPLOYMENT.md 第 2 节。

  6. 6准备模型权重

    从 Hugging Face 的 jdopensource/JoyAI-Video-Edit 仓库获取 16B 权重并放到部署文档指定目录。

如何确认成功

依赖安装与 CUDA 算子编译均无报错,且已按 DEPLOYMENT.md 完成权重与加速库配置,即环境就绪;启动方式以该文档为准。

常见问题

Q:可以不编译 deploy/joyomni_ops 吗?

A:不可以。README 明确标注该项为必做,DiT 在运行时调用其融合算子,跳过会导致推理失败。

Q:SageAttention 和 flash-attn-4 是必须的吗?

A:README 要求按 GPU 逐卡安装这两项加速库,具体安装方式见 DEPLOYMENT.md 第 2 节。

Q:模型权重从哪里获取?

A:README 给出的权重仓库为 Hugging Face 上的 jdopensource/JoyAI-Video-Edit,下载与放置路径以 DEPLOYMENT.md 为准。

Q:README 里有启动/推理命令吗?

A:节选中未给出具体启动命令,环境搭建完成后需按 DEPLOYMENT.md 的部署章节执行对应启动流程。

注意事项

  • README 只给出前两步完整命令,CUDA 算子、加速库与权重均指向 DEPLOYMENT.md,请以该文档为准确认细节。
  • 建议在干净的 Conda 环境中安装,避免已有 PyTorch/CUDA 版本与依赖清单冲突。
  • 安装与编译耗时较长,且需要与 GPU 架构匹配的编译环境。

核心亮点

  • 自回归扩散架构支持流式逐段生成,编辑响应延迟低,适合交互式创作
  • 开放式指令编辑,无需为每种编辑任务单独训练模型,泛化性较好
  • 官方提供推理代码与权重,Python 实现,便于研究和二次开发

不足之处

  • 项目较新(星标约 2k),生态与社区案例尚在积累,长期维护性待观察
  • 实时性能依赖较强 GPU 硬件,普通设备上的实际帧率与延迟表现需实测
  • 开放式编辑对复杂指令的遵循精度和细节保真度可能不如专用模型

适用场景

  • 短视频创作者用自然语言指令快速修改视频风格与内容
  • 影视后期预演阶段实时调整镜头元素,缩短迭代周期
  • 研究者基于自回归扩散框架开发新的视频编辑算法

替代项目

Runway Gen 系列相关开源工作、TokenFlow、Video-P2P

上一篇:FlashVSR

下一篇:没有了!

同类项目推荐

FreeTraj 开源

无需训练,拖拽轨迹即可控制视频生成运动路径

Code for FreeTraj, a tuning-free method for trajectory-controllable video generation

★ 114 2026-08-09
ComfyUI-LTXVideo 开源

在 ComfyUI 里拖拽节点,轻松生成和编辑视频

LTX-Video Support for ComfyUI

★ 4224 2026-08-09
Veo3-AI-Video-API 开源

用Veo 3和Sora生成视频,成本直降97%

AI Video Generator API — Veo 3, Openai Sora by GeminiGenAI. Create stunning AI vide···

★ 75 2026-08-09
VideoX-Fun 开源

任意分辨率+图生视频,一张图就能动起来

A more flexible framework that can generate videos at any resolution and creates vid···

★ 2318 2026-10-21
Matrix-Game 开源

实时交互式长视频生成,让AI世界随你而动

Matrix-Game 4.0: Streaming Neural Rendering for Playable Games

★ 2801 2026-08-09
SolarWM 开源

一张图生成可延续的长时程视频世界

Open data and scalable training for long-horizon video world models.

★ 802 2026-10-17
SceneScape 开源

输入一句话,生成连贯不闪烁的场景视频

Official Pytorch Implementation for "SceneScape: Text-Driven Consistent Scene Genera···

★ 161 2026-08-09
video_prediction 开源

用GAN+VAE预测视频未来帧,生成多种可能结果

Stochastic Adversarial Video Prediction

★ 304 2026-08-09
SEINE 开源

用文本或图像生成连贯长视频,还能让视频间无缝过渡

[ICLR 2024] SEINE: Short-to-Long Video Diffusion Model for Generative Transition and···

★ 965 2026-08-09