项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 417
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- NVIDIA GPU
- Python 3.10+
- 机器人或仿真环境
安装与启动步骤
-
1先看它解决什么
统一视频与动作的表示，用于机器人策略学习。
-
2建环境
用 conda 管理，含特定的时序库。
conda install mamba -c conda-forge -
3拉仓库装依赖
按说明装，注意视觉与强化学习依赖版本。
pip install gdown -
4跑提供的示例
仓库给了云端笔记本与预训练权重，先照抄。
-
5换成自己的任务
动作空间与观测格式要按它的约定整理。
如何确认成功
在示例任务上用预训练权重能完成基本动作，且换成自己的观测后仍能跑通训练循环
注意事项
- 它研究视频预训练对动作策略的迁移，属于具身智能方向。
- 预训练权重是关键，没有权重从头训成本极高。
- 仿真与真机的观测分布差异大，迁移需要微调。
- 研究代码，脚本参数与路径要按本机改。
- 真机部署前要做安全评估。
核心亮点
- 统一视频生成与动作预测，减少模块级联误差
- 基于扩散模型，生成质量高且支持多模态条件
- 提供官方实现与预训练权重，复现门槛低
不足之处
- 文档/社区待观察
- 依赖机器人数据集，通用视频生成场景适配有限
适用场景
- 机器人操作技能学习（如抓取、堆叠）
- 视频预测驱动的视觉-运动联合建模
- 多任务机器人策略的预训练与微调
替代项目
GR-1、UniPi、VideoGPT
同类项目推荐
EverAnimate
开源
用潜在流修复技术，生成分钟级流畅稳定的人体动画视频。
[NeurIPS 26] EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration
vanta
开源
用代码生成 AI 视频，免费替代 Synthesia 和 HeyGen
Open source AI video engine built on Remotion. Voice cloning, AI avatars, animated c···
claude-remotion-kickstart
开源
用聊天和代码，让 AI 帮你自动生成视频
Create videos programmatically with Claude Code and Remotion
deep-landscape
开源
一张风景照，生成自然动态视频
Official repository for the paper "DeepLandscape: Adversarial Modeling of Landscape ···
comfyui-AICG3D
开源
两套 MiniMax H3 节点合一，在 ComfyUI 里直接出视频
短剧工作台 | 无限时长视频的 MiniMax H3 工作流 | ComfyUI 本地短剧与长视频生成插件
ai-video-studio
开源
短剧团队一站式 AI 视频生产平台，时间线驱动，智能体协作出片
AI video production workflow platform for professional short drama teams. Timeline-f···
palmier-pro
开源
用自然语言在 Mac 上剪 AI 视频，效率翻倍
macOS video editor built for AI
SceneScape
开源
输入一句话，生成连贯不闪烁的场景视频
Official Pytorch Implementation for "SceneScape: Text-Driven Consistent Scene Genera···
mochi
开源
开源文生视频，本地跑出电影感片段
The best OSS video generation models, created by Genmo