GenHowTo

从教学视频学习动作生成,让 AI 看懂操作步骤

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 设计创意 🍴 复刻 4 🐛 待处理 1 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 54
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,需自行部署。

项目预览

GenHowTo 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类设计创意
开发团队soCzech
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,需自行部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型diffusion-model,diffusion-models,generative-ai,generative-art,generative-model
GitHub 星标★ 54
上线时间2023-12-11 00:00:00
代码更新2024-03-03
仓库体积457 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

GenHowTo 是 CVPR 2024 论文的官方代码实现,专注于从教学视频中学习生成动作和状态转换。它解决的是如何让 AI 理解视频中的操作步骤,并生成可执行的行动指令或状态变化描述。核心能力包括:利用大规模教学视频进行模型训练,提取视频中的动作序列和物体状态变化,并生成相应的文本或视觉输出。项目提供完整的训练和推理流程,支持自定义数据集,适合研究视频理解、动作生成和具身智能等领域。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 54

核心亮点

  • 基于 CVPR 2024 论文,方法有学术创新性,适合发论文或复现实验
  • 代码结构清晰,包含训练和推理脚本,便于二次开发
  • 面向教学视频,直接服务于具身智能和机器人操作学习场景

不足之处

  • GitHub 星标仅 54,社区活跃度低,文档和示例可能不够完善
  • 依赖特定视频数据集,数据获取和预处理成本较高

适用场景

  • 学术研究:复现论文实验,探索视频到动作生成的新方法
  • 机器人学习:将教学视频转化为机器人可执行的操作指令
  • 智能助手:理解视频教程并生成步骤说明,辅助用户完成任务

替代项目

VideoCLIP、FrozenBiLM、ActionFormer

同类项目推荐

DTrOCR 开源

用纯解码器 Transformer 直接生成文字,简化 OCR 识别流程

A PyTorch implementation of DTrOCR: Decoder-only Transformer for Optical Character R···

★ 205 2026-09-19
dpscreenocr 开源

框选屏幕任意区域,一键提取文字到剪贴板

A program to recognize text on the screen

★ 300 2026-09-30
Uni3D 开源

一个预训练模型搞定多种3D理解任务,零样本也能识别物体。

[ICLR'24 Spotlight] Uni3D: 3D Visual Representation from BAAI

★ 690 2026-08-09
FoundAD 开源

用基础视觉编码器,少样本即可精准检测异常

[ICLR 2026] The implementation of the paper Foundation Visual Encoders Are Secretly ···

★ 107 2026-08-09
neuriplo-infer 开源

一个 C++ 程序跑通检测分割分类光流多任务

C++ app for computer vision inference, supporting multiple tasks and backends.

★ 107 2026-09-18
scene-language 开源

用程序+文字+嵌入,一句话生成可编辑的3D场景

(CVPR 2025 Highlight) The Scene Language: Representing Scenes with Programs, Words, ···

★ 273 2026-08-09
nnDetection 开源

医学3D检测免调参,换数据集直接跑

nnDetection is a self-configuring framework for 3D (volumetric) medical object detec···

★ 664 2026-10-14
Awesome_Mamba 开源

一网打尽医学影像中的高效状态空间模型研究

Computation-Efficient Era: A Comprehensive Survey of State Space Models in Medical I···

★ 270 2026-08-09
FrozenBiLM 开源

冻结语言模型,零样本看懂视频回答问题

[NeurIPS 2022] Zero-Shot Video Question Answering via Frozen Bidirectional Language ···

★ 159 2026-08-09