VBench

给视频生成模型打分,16个维度看清谁强谁弱

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 139 🐛 待处理 74 👀 关注 16
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1841
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。

项目预览

VBench 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队Vchitect
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型aigc,benchmark,dataset,evaluation-kit,gen-ai,stable-diffusion,text-to-video,video-generation
GitHub 星标★ 1841
上线时间2023-11-27 00:00:00
代码更新2026-08-21
仓库体积85.9 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数2

项目介绍

VBench 是一个专为视频生成模型设计的综合评估基准,由 CVPR 2024 Highlight 论文提出。它解决了视频生成领域缺乏统一、细粒度、自动化评估标准的问题,为研究人员和开发者提供了一套可复现的评测工具。其核心能力包括:定义 16 个细粒度维度(如动态程度、多对象、空间关系、时序一致性等)来全面评估生成视频的质量;提供分层提示词体系,覆盖 8 大主流视频生成场景;支持与人类偏好高度对齐的自动化评分,减少人工评估成本;并附带可扩展的评估工具包,方便用户对新模型进行标准化测试。VBench 旨在推动视频生成技术向更高质量、更可控的方向发展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1841

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 20 分钟 部署方式:库/依赖 6 步

环境要求

  • Python 环境(pip 可正常使用)
  • CUDA 版本需 <= 12.1(detectron2 仅支持 CUDA 12.1 或 11.X)
  • 需要安装 PyTorch 与 torchvision
  • 部分评估维度依赖 detectron2
  • 运行目录下需有 VBench_full_info.json 以读取提示词套件

安装与启动步骤

  1. 1安装 PyTorch

    按 README 指定方式安装带 CUDA 的 PyTorch 与 torchvision,也可换成其他满足 CUDA<=12.1 的版本。

    pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118
  2. 2安装 vbench

    通过 pip 直接安装 vbench 包,这是最简安装方式;安装完成后即可在 Python 中调用评估能力。

    pip install vbench
  3. 3安装 detectron2

    评估部分视频生成能力维度时需要 detectron2,用 README 给出的 git 地址安装。

    pip install detectron2@git+https://github.com/facebookresearch/detectron2.git
  4. 4下载提示词套件

    把 VBench_full_info.json 手动下载到你的运行目录,用于读取标准基准提示词列表;README 未提供下载命令。

  5. 5(可选)源码克隆安装

    如不想用 pip 方式,可先克隆仓库再本地安装 VBench,注意需同样先装好 PyTorch。

    git clone https://github.com/Vchitect/VBench.git
    pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118
    pip install VBench
  6. 6评估自己的视频

    默认在标准 VBench 提示词上评估以保证公平;要评自己的视频就把模式设为 custom_input。

关键配置

配置项必填说明示例
mode是评估模式,默认使用标准 VBench 提示词列表;自定义视频时改为 custom_input。custom_input
VBench_full_info.json是提示词套件文件,需放在运行目录中供程序读取基准提示词。/your/path/VBench_full_info.json

如何确认成功

pip 安装过程无报错,且运行目录中已存在 VBench_full_info.json,即可按 README 用法开始评估。

常见问题

Q:detectron2 安装报错怎么办?

A:请查阅 detectron2 官方安装文档(detectron2.readthedocs.io 的 install 教程)。注意 detectron2 仅兼容 CUDA 12.1 或 11.X。

Q:可以用别的 PyTorch 版本吗?

A:可以,README 说明可换成其他任意版本,只要对应 CUDA<=12.1 即可。

Q:如何评估自己生成的视频?

A:把 mode 设置为 custom_input,即可评估不属于 VBench 提示词套件的自有视频与提示词。

Q:运行时提示缺少某个视频?

A:这是正常的警告:VBench 默认强制在标准 VBench 提示词列表上评估,以保证不同模型之间的公平比较。

注意事项

  • 默认在标准 VBench 提示词列表上评估,以保证不同视频生成模型间的公平比较。
  • 缺少必需视频时会给出警告,属于设计行为,不一定是环境错误。
  • detectron2 仅支持 CUDA 12.1 或 11.X,请先确认 CUDA 版本。
  • README 未给出具体评估命令与端口等参数,实际调用方式请以官方 Usage 章节和代码为准。

核心亮点

  • 首个覆盖16个细粒度维度的视频生成评估基准,远超单一指标
  • 提供分层提示词库和自动化评分,结果与人类偏好高度对齐
  • 官方工具包易用,支持自定义模型接入,社区活跃

不足之处

  • 评估维度虽多,但部分维度(如时序一致性)的自动化度量仍有局限
  • 文档/社区待观察

适用场景

  • 对比不同视频生成模型(如SVD、AnimateDiff)的优劣
  • 在模型开发迭代中,快速定位生成短板并针对性优化
  • 学术研究或工业评测中,作为标准化的视频生成质量报告依据

替代项目

VideoScore、EvalCrafter、T2VScore

同类项目推荐

nordef-matrix-open-control 开源

给 AI 加一道可验证的安全闸门,三态决策拦截风险

NORDEF Matrix Open Control: model-independent AI safety belt with 0/1/2 decisions, E···

★ 680 2026-09-14
UltraEval-Audio 开源

一站式音频模型评测,快速对比知己知彼

Your faithful, impartial partner for audio evaluation — know yourself, know your ri···

★ 328 2026-08-09
speca 开源

把规范文档自动变成审计清单,逐条核查代码

SPECA: Specification-to-Checklist Agentic Auditing Framework

★ 463 2026-11-03
bigcodebench 开源

用真实编程难题,测出大模型代码能力的真实天花板

[ICLR'25] BigCodeBench: Benchmarking Code Generation Towards AGI

★ 517 2026-08-09
julius 开源

输入 IP:端口,秒认背后是哪种 LLM 服务

Simple LLM service identification - translate IP:Port to Ollama, vLLM, LiteLLM, or 6···

★ 255 2026-10-19
PersonaMem 开源

测测你的AI有多懂你:动态画像+个性化回复基准

[COLM 2025] Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and···

★ 207 2026-08-09
awesome-RLHF 开源

一份清单,从入门到进阶搞定 RLHF 全部资源

A curated list of reinforcement learning with human feedback resources (continually ···

★ 4439 2026-08-09
FuzzyAI 开源

自动给 LLM 做安全体检,找出越狱漏洞

A powerful tool for automated LLM fuzzing. It is designed to help developers and sec···

★ 1602 2026-08-09