项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1096
使用教程
环境要求
- 已安装 git 与 conda(README 使用 conda 创建环境)
- Python 3.10(README 指定 conda create python=3.10)
- 可联网,以便 pip 安装依赖并下载 HuggingFace 模型权重 Lin-Chen/sharegpt4video-8b
- 编译 flash-attn 需具备 CUDA 编译环境(README 只给出 --no-build-isolation 安装方式)
安装与启动步骤
-
1克隆项目仓库
从 GitHub 拉取 ShareGPT4Video 源码到本地,之后所有命令都在仓库目录内执行。
git clone https://github.com/ShareGPT4Omni/ShareGPT4Video -
2创建 conda 环境
按 README 指定的 Python 3.10 创建名为 share4video 的独立环境并激活,避免污染系统环境。
conda create -n share4video python=3.10 -y conda activate share4video -
3安装项目依赖
进入仓库目录,先升级 pip,再以可编辑模式安装主包与 train 附加依赖。
cd ShareGPT4Video pip install --upgrade pip pip install -e . pip install -e ".[train]" -
4安装 flash-attn
README 指定的 flash-attn 安装命令,不加 --no-build-isolation 会编译失败,需耐心等待编译。
pip install flash-attn --no-build-isolation -
5命令行视频对话
用 8B 模型对示例视频生成描述,把 --video 换成自己的视频路径即可描述任意视频。
python run.py --model-path Lin-Chen/sharegpt4video-8b --video examples/yoga.mp4 --query "Describe this video in detail." -
6启动 ShareGPT4Video 演示
在仓库根目录启动本地 Gradio 演示页面,与 ShareGPT4Video-8B 交互(端口以终端输出为准)。
python app.py -
7启动 Captioner 演示
切换到 captioner 子目录后启动 ShareCaptioner-Video 的本地演示页面。
cd captioner python app.py
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--model-path | 是 | 模型权重路径或 HuggingFace 仓库标识 | Lin-Chen/sharegpt4video-8b |
--video | 是 | 待描述视频文件的本地路径 | examples/yoga.mp4 |
--query | 是 | 向模型提出的问题或指令文本 | Describe this video in detail. |
如何确认成功
执行 run.py 后终端打印出模型对该视频的详细描述文本;执行 app.py 后终端输出本地访问地址,浏览器打开即为演示页面。
常见问题
Q:能描述自己的视频吗?
A:可以,把 --video 参数换成本地视频文件路径即可,其余参数保持不变。
Q:可以换成中文提问吗?
A:--query 参数就是提问文本,替换成任意指令(包括中文)即可,README 未限制语言。
Q:flash-attn 安装失败怎么办?
A:README 只提供 pip install flash-attn --no-build-isolation 这一种方式,失败通常是缺少 CUDA 编译环境,请先确认显卡驱动与 CUDA 工具链可用。
Q:两个 app.py 有什么区别?
A:根目录 app.py 启动 ShareGPT4Video-8B 对话演示;captioner/app.py 启动 ShareCaptioner-Video 演示,需先 cd captioner。
注意事项
- 每条命令执行前都要确保已 conda activate share4video,否则依赖找不到
- pip install -e . 等命令必须在 ShareGPT4Video 仓库目录内执行
- 首次运行 run.py 会从 HuggingFace 下载 sharegpt4video-8b 权重,耗时较长且需保证磁盘与网络充足
- README 未给出演示页面的具体端口和最低显存要求,实际以终端输出和自身硬件为准
核心亮点
- 提供40K高质量视频-描述对数据集,直接可用,大幅节省数据标注成本
- 基于GPT-4V的自动标注流程,可扩展至任意视频,生成描述语义丰富
- 集成到现有视频生成模型后,能显著提升生成质量,效果有论文数据支撑
不足之处
- 依赖GPT-4V等商业API,生成描述成本较高,且存在数据隐私风险
- 文档/社区待观察,项目尚在成长中,生态和工具链可能不完善
适用场景
- 视频生成模型训练:用高质量描述文本作为条件,提升生成视频的语义一致性
- 视频理解任务:为视频分类、检索、问答等提供更丰富的文本监督信号
- 视频数据集构建:自动化生成大规模视频描述,替代人工标注
替代项目
VideoChat、Video-LLaMA、InternVideo
下一篇:OpenS2V-Nexus
同类项目推荐
Awesome-Quant-VLA-WAM
开源
180+篇VLA量化论文+PTQ工具包,一站调研落地
Curated quantization research for VLA & WAM models — 180+ papers, a five-category t···
awesome-3d-diffusion
开源
3D 生成扩散论文一网打尽,按方向快速找文献
A collection of papers on diffusion models for 3D generation.
EditWorld
开源
让AI理解世界动态,按指令精准编辑图像
[ACM Multimedia 2025 Datasets Track] EditWorld: Simulating World Dynamics for Instru···
DailyTalk
开源
让 TTS 学会对话,生成自然多轮语音
Official repository of DailyTalk: Spoken Dialogue Dataset for Conversational Text-to···
system-prompts-and-models-of-ai-···
开源
扒开主流 AI 工具的提示词底牌,直接抄作业
FULL Augment Code, Claude Code, Cluely, CodeBuddy, Comet, Cursor, Devin AI, Junie, K···
graph-fraud-detection-papers
开源
一张图看懂图神经网络反欺诈前沿论文与资源
A curated list of Graph/Transformer-based fraud, anomaly, and outlier detection pape···
awesome-gee-community-datasets
开源
找 GEE 社区数据集,一个目录直接加载
Community Datasets added by users and made available for use at large
easy-dataset
开源
一键生成高质量LLM训练数据集,告别手工整理
A powerful tool for creating datasets for LLM fine-tuning 、RAG and Eval
civitai-mirror-list
开源
Civitai 下架模型一键找备份,不再怕资源丢失
A suggestion list and archive tools for models that civitai may have removed.
