MagicTime

一句话生成延时视频,模拟自然演变过程

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 120 🐛 待处理 10 👀 关注 15
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1336
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可免费使用和部署。

项目预览

MagicTime 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队PKU-YuanGroup
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型diffusion-models,long-video-generation,metamorphic-video-generation,open-sora-plan,text-to-video,time-lapse,time-lapse-dataset,video-generation
GitHub 星标★ 1336
上线时间2024-04-07 00:00:00
代码更新2026-04-14
仓库体积1.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

MagicTime 是一个专注于生成延时摄影视频的开源项目,核心能力是将文本描述转化为自然演变过程的延时视频,例如花朵绽放、冰雪融化、云卷云舒等。它基于扩散模型,并提出了 Metamorphic Video Generation 的概念,旨在模拟物理世界中的形态变化过程。项目解决了通用视频生成模型在时间演变和物理规律模拟上的不足,通过引入时间感知的注意力机制和运动先验,使生成的视频在时间维度上具有连贯性和真实性。其技术栈包括 diffusion-models、long-video-generation 和 text-to-video,并基于 Open-Sora-Plan 构建,支持长视频生成。该项目发表于 TPAMI 2025,具有学术严谨性,为视频生成领域提供了新的研究方向和实用工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1336

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 5 步

环境要求

  • Python 环境(项目开发语言为 Python)
  • 已安装 huggingface-cli(huggingface_hub 命令行工具)
  • 可执行 .sh 脚本的 Shell 环境(Linux/macOS 或 WSL)
  • 可访问 HuggingFace 的网络(中国大陆建议配置镜像)
  • 本地磁盘空间用于存放模型权重(ckpts 目录)

安装与启动步骤

  1. 1配置 HuggingFace 镜像

    中国大陆用户先设置镜像地址,避免模型下载失败;非大陆用户可跳过此步直接下载模型。

    export HF_ENDPOINT=https://hf-mirror.com
  2. 2下载模型权重

    使用 huggingface-cli 从 HuggingFace 仓库 BestWishYsh/MagicTime 拉取模型,保存到本地 ckpts 目录。

    huggingface-cli download --repo-type model BestWishYsh/MagicTime --local-dir ckpts
  3. 3运行推理脚本

    README 提供 inference.sh 一键推理脚本,在项目根目录直接执行即可生成延时视频。

    sh inference.sh
  4. 4命令行方式推理

    如需命令行交互方式运行推理,可改用 inference_cli.sh 脚本,效果与 inference.sh 相同。

    sh inference_cli.sh
  5. 5使用自定义提示词

    将全部自定义 prompt 写进一个 .txt 文件,再运行对应脚本即可按文件内容批量生成视频。

关键配置

配置项必填说明示例
HF_ENDPOINT否HuggingFace 镜像地址,中国大陆下载模型时设置以加速或绕过访问限制https://hf-mirror.com

如何确认成功

执行 sh inference.sh 或 sh inference_cli.sh 后终端无报错,并输出生成的延时视频结果文件。

常见问题

Q:为什么相同 seed 和 prompt 在不同机器上生成结果不同?

A:README 明确提示:即使使用相同的 seed 和 prompt,只要更换机器,生成结果也会不同,这属于正常现象。

Q:国内下载模型速度慢或失败怎么办?

A:先执行 export HF_ENDPOINT=https://hf-mirror.com,再运行 huggingface-cli download 命令,可从国内镜像加速下载。

Q:如何批量生成自己的提示词视频?

A:把全部自定义 prompts 放入一个 .txt 文件,然后运行 README 中对应的推理脚本,即可按文件内容生成视频。

注意事项

  • 模型权重必须下载到 ckpts 目录,脚本默认从该目录加载。
  • 同一 seed 与 prompt 在不同机器上生成结果不同,这是 README 明确给出的警告。
  • 推理脚本有两种:inference.sh 和 inference_cli.sh,按需选用。
  • README 未给出具体显存与 Python 版本要求,请以官方仓库最新说明为准。

核心亮点

  • 专门针对延时摄影场景优化,生成视频时间连贯性优于通用模型
  • 提出 Metamorphic Video Generation 新范式,学术价值高
  • 基于 Open-Sora-Plan,支持长视频生成,扩展性强

不足之处

  • 文档/社区待观察
  • 对计算资源要求较高,普通用户难以本地部署

适用场景

  • 科研人员研究视频生成中的物理模拟
  • 创作者制作自然现象延时视频内容
  • 教育领域演示生物或地理演变过程

替代项目

Open-Sora-Plan、VideoCrafter、ModelScope Text-to-Video

上一篇:video-diffusion-pytorch

下一篇:MotionDirector

同类项目推荐

Awesome-Video-World-Models 开源

把视频生成当世界模拟器,一页看懂关键研究

A Mechanistic View on Video Generation as World Models: State and Dynamics

★ 62 2026-08-09
TokenFlow 开源

用文本编辑视频,帧帧连贯不闪烁

Official Pytorch Implementation for "TokenFlow: Consistent Diffusion Features for Co···

★ 1708 2026-08-09
Music-Dance-Video-Synthesis 开源

输入音乐,自动生成同步舞蹈视频

[ACM MM 20 Oral] PyTorch implementation of Self-supervised Dance Video Synthesis Con···

★ 249 2026-08-09
sd_loopback_music_sync_wave 开源

上传音乐,自动生成与节拍同步的循环视频

AUTOMATIC1111 UI extension for creating videos synchronized to music.

★ 62 2026-08-09
cosmos-predict2.5 开源

用视频预测未来世界,为机器人和自动驾驶提供模拟训练场

Cosmos-Predict2.5, the latest version of the Cosmos World Foundation Models (WFMs) f···

★ 1394 2026-08-09
studio 开源

录屏后自动加字幕、智能剪辑,一键出专业视频

AI-powered screen recording with auto-captions, smart trimming, narration, and one-c···

★ 80 2026-08-09
muapi-comfyui 开源

在 ComfyUI 里一键调用 100+ 主流 AI 生成模型

ComfyUI custom nodes for 600+ AI models — Seedance, Kling, Veo3, Flux, HiDream, GPT···

★ 81 2026-08-09
diffusion-forcing-transformer 开源

用历史帧引导扩散模型,生成更连贯的视频

[ICML 2025] Official PyTorch Implementation of "History-Guided Video Diffusion"

★ 712 2026-08-09