DiT-Extrapolation

不重训、不微调,让视频扩散模型直接生成超长视频

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 76 🐛 待处理 24 👀 关注 39
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 833
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。

项目预览

DiT-Extrapolation 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队thu-ml
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型cogvideox,diffusion,diffusion-models,diffusion-transformer,dit,extrapolation,generative-model,hunyuan-video,long-video-generation,position-embedding,rope,video-generation
GitHub 星标★ 833
上线时间2025-02-21 00:00:00
代码更新2026-06-06
仓库体积147.9 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

DiT-Extrapolation 是 ICML 2025 论文《RIFLEx: A Free Lunch for Length Extrapolation in Video Diffusion Transformers》的官方实现,同时包含 ICLR 2026 的 UltraViCo 和 UltraImage 方法。该项目聚焦视频扩散 Transformer(DiT)的长度外推问题,即在不重新训练或微调的情况下,让预训练模型生成比训练时更长的视频。核心能力包括:实现 RIFLEx 的旋转位置编码(RoPE)改进策略,通过调整频率维度实现零成本长度外推;提供 UltraViCo 的上下文化视觉条件方法,增强长视频生成的时序一致性;支持 CogVideoX 和 HunyuanVideo 等主流视频生成模型。项目代码基于 Python,采用模块化设计,便于研究者复现论文结果并集成到现有视频生成流程中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 833

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 45 分钟 部署方式:本地安装 4 步

环境要求

  • NVIDIA GPU 24G 显存以上
  • Python 3.10
  • CUDA 12.x

安装与启动步骤

  1. 1建环境

    长视频与高分辨率外推的研究实现。

    conda create -n riflex python=3.10 && conda activate riflex
    pip install -r requirements.txt
  2. 2装加速

    bitsandbytes 用于低比特推理。

    pip install -U bitsandbytes
  3. 3准备权重

    按 README 下基础 DiT 模型。

    ls checkpoints
  4. 4跑外推

    同一模型换 RoPE 缩放即可拉长时长。

    python sample.py --config configs/riflex.yaml

如何确认成功

生成的视频帧数超出原始训练长度且不崩坏。

注意事项

  • 项目覆盖 RIFLEx、UltraViCo 与 UltraImage 三条线。
  • 外推倍率过高会出现重复纹理。
  • 分辨率提升与时长提升会叠加显存压力。

核心亮点

  • 官方实现,代码与论文同步,复现门槛低
  • 覆盖 RIFLEx 和 UltraViCo 两种方法,适用不同外推场景
  • 支持 CogVideoX 和 HunyuanVideo 等主流模型,即插即用

不足之处

  • 文档偏学术,上手示例较少
  • 依赖特定模型版本,迁移到其他 DiT 架构需适配

适用场景

  • 研究视频扩散模型长度外推算法
  • 在现有视频生成模型上快速扩展生成时长
  • 对比不同外推策略(RoPE 调整 vs 上下文条件)

替代项目

VideoPoet、NUWA-XL、FIFO-Diffusion

上一篇:cosmos-predict2.5

下一篇:LongLive-RAG

同类项目推荐

Video-As-Prompt 开源

用参考视频当提示词,精准控制AI生成视频

[ICLR 2026] Official repo for paper "Video-As-Prompt: Unified Semantic Control for V···

★ 463 2026-08-09
cosmos-predict2.5 开源

用视频预测未来世界,为机器人和自动驾驶提供模拟训练场

Cosmos-Predict2.5, the latest version of the Cosmos World Foundation Models (WFMs) f···

★ 1394 2026-08-09
studio 开源

录屏后自动加字幕、智能剪辑,一键出专业视频

AI-powered screen recording with auto-captions, smart trimming, narration, and one-c···

★ 79 2026-08-09
deforum-comfy-nodes 开源

在 ComfyUI 里玩转 Deforum 动画,拖拽节点生成炫酷 AI 视频

Deforum ComfyUI Nodes - ai animation node package

★ 197 2026-08-09
magvit 开源

用掩码 Transformer 高效生成高质量视频,支持预测、补全和插值。

Official JAX implementation of MAGVIT: Masked Generative Video Transformer

★ 1002 2026-08-09
video-diffusion-pytorch 开源

用 PyTorch 实现扩散模型,从文本生成连贯视频

Implementation of Video Diffusion Models, Jonathan Ho's new paper extending DDPMs to···

★ 1392 2026-08-09
AIEV 开源

上传素材,AI 自动剪辑出带动态字幕的成品视频

Automatic AI video editing. Claude directs HyperFrames (HTML + GSAP motion graphics)···

★ 156 2026-08-09
filmcraft 开源

纯 Rust 写的非线性视频剪辑器,快且不崩

FilmCraft: An open-source, nonlinear video editor written by scratch in pure Rust

★ 17780 2026-10-15
kandinsky-5 开源

用文本一键生成视频和图像,扩散模型新选择。

Kandinsky 5.0: A family of diffusion models for Video & Image generation

★ 844 2026-08-09