项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1841
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 环境(pip 可正常使用)
- CUDA 版本需 <= 12.1(detectron2 仅支持 CUDA 12.1 或 11.X)
- 需要安装 PyTorch 与 torchvision
- 部分评估维度依赖 detectron2
- 运行目录下需有 VBench_full_info.json 以读取提示词套件
安装与启动步骤
-
1安装 PyTorch
按 README 指定方式安装带 CUDA 的 PyTorch 与 torchvision,也可换成其他满足 CUDA<=12.1 的版本。
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 -
2安装 vbench
通过 pip 直接安装 vbench 包,这是最简安装方式;安装完成后即可在 Python 中调用评估能力。
pip install vbench -
3安装 detectron2
评估部分视频生成能力维度时需要 detectron2,用 README 给出的 git 地址安装。
pip install detectron2@git+https://github.com/facebookresearch/detectron2.git -
4下载提示词套件
把 VBench_full_info.json 手动下载到你的运行目录,用于读取标准基准提示词列表;README 未提供下载命令。
-
5(可选)源码克隆安装
如不想用 pip 方式,可先克隆仓库再本地安装 VBench,注意需同样先装好 PyTorch。
git clone https://github.com/Vchitect/VBench.git pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install VBench -
6评估自己的视频
默认在标准 VBench 提示词上评估以保证公平;要评自己的视频就把模式设为 custom_input。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
mode | 是 | 评估模式,默认使用标准 VBench 提示词列表;自定义视频时改为 custom_input。 | custom_input |
VBench_full_info.json | 是 | 提示词套件文件,需放在运行目录中供程序读取基准提示词。 | /your/path/VBench_full_info.json |
如何确认成功
pip 安装过程无报错,且运行目录中已存在 VBench_full_info.json,即可按 README 用法开始评估。
常见问题
Q:detectron2 安装报错怎么办?
A:请查阅 detectron2 官方安装文档(detectron2.readthedocs.io 的 install 教程)。注意 detectron2 仅兼容 CUDA 12.1 或 11.X。
Q:可以用别的 PyTorch 版本吗?
A:可以,README 说明可换成其他任意版本,只要对应 CUDA<=12.1 即可。
Q:如何评估自己生成的视频?
A:把 mode 设置为 custom_input,即可评估不属于 VBench 提示词套件的自有视频与提示词。
Q:运行时提示缺少某个视频?
A:这是正常的警告:VBench 默认强制在标准 VBench 提示词列表上评估,以保证不同模型之间的公平比较。
注意事项
- 默认在标准 VBench 提示词列表上评估,以保证不同视频生成模型间的公平比较。
- 缺少必需视频时会给出警告,属于设计行为,不一定是环境错误。
- detectron2 仅支持 CUDA 12.1 或 11.X,请先确认 CUDA 版本。
- README 未给出具体评估命令与端口等参数,实际调用方式请以官方 Usage 章节和代码为准。
核心亮点
- 首个覆盖16个细粒度维度的视频生成评估基准,远超单一指标
- 提供分层提示词库和自动化评分,结果与人类偏好高度对齐
- 官方工具包易用,支持自定义模型接入,社区活跃
不足之处
- 评估维度虽多,但部分维度(如时序一致性)的自动化度量仍有局限
- 文档/社区待观察
适用场景
- 对比不同视频生成模型(如SVD、AnimateDiff)的优劣
- 在模型开发迭代中,快速定位生成短板并针对性优化
- 学术研究或工业评测中,作为标准化的视频生成质量报告依据
替代项目
VideoScore、EvalCrafter、T2VScore
同类项目推荐
nordef-matrix-open-control
开源
给 AI 加一道可验证的安全闸门,三态决策拦截风险
NORDEF Matrix Open Control: model-independent AI safety belt with 0/1/2 decisions, E···
UltraEval-Audio
开源
一站式音频模型评测,快速对比知己知彼
Your faithful, impartial partner for audio evaluation — know yourself, know your ri···
speca
开源
把规范文档自动变成审计清单,逐条核查代码
SPECA: Specification-to-Checklist Agentic Auditing Framework
bigcodebench
开源
用真实编程难题,测出大模型代码能力的真实天花板
[ICLR'25] BigCodeBench: Benchmarking Code Generation Towards AGI
julius
开源
输入 IP:端口,秒认背后是哪种 LLM 服务
Simple LLM service identification - translate IP:Port to Ollama, vLLM, LiteLLM, or 6···
Awesome-Video-Generation-Post-Tr···
开源
视频生成后训练与对齐的论文、数据集、评测一站式索引
[TMLR] Video Generation Models: A Survey of Post-Training and Alignment | A continuo···
PersonaMem
开源
测测你的AI有多懂你:动态画像+个性化回复基准
[COLM 2025] Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and···
awesome-RLHF
开源
一份清单,从入门到进阶搞定 RLHF 全部资源
A curated list of reinforcement learning with human feedback resources (continually ···
FuzzyAI
开源
自动给 LLM 做安全体检,找出越狱漏洞
A powerful tool for automated LLM fuzzing. It is designed to help developers and sec···
