perceptual_abilities_evaluation

用统一基准测出VLM检测分割的真实水平

这是一个面向视觉语言模型（VLM）的评测项目，聚焦目标检测与分割任务。它针对当前 VLM 在细粒度视觉感知上被高估的问题，提供系统性的评测框架，通过多维度基准测试揭示模型在定位、分割和识别上的真实能力。项目包含对主流 VLM 的复现与对比，覆盖开放词汇检测、指代分割等任务，并给出定量与定性分析。核心能力包括：统一的评测协议、可复现的推理脚本、以及针对感知能力的诊断指标。它帮助研究者和工程师判断某个 VLM 是否适合需要精确空间理解的场景，避免被通用问答指标误导。代码以 Python 实现，结构清晰，便于扩展新模型或新数据集。

开源 free 评测安全
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 133
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类评测安全
开发团队better-chao
所属国家
官网地址
GitHubhttps://github.com/better-chao/perceptual_abilities_evaluation
定价模式free
价格说明开源评测项目，免费使用
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型
GitHub 星标★ 133
30天Star增速
HF 下载量
上线时间2024-05-31 00:00:00
最近更新2026-09-21 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-30
浏览次数0

使用教程

核心亮点

  • 聚焦目标检测与分割，填补通用VLM评测在细粒度感知上的空白
  • 提供可复现的评测脚本和统一协议，便于横向对比不同模型
  • 包含对多个主流VLM的定量与定性分析，结论有参考价值

不足之处

  • 项目星标较少，社区生态和后续维护待观察
  • 评测数据集和模型覆盖范围可能有限，扩展性需验证

适用场景

  • 研究者选型VLM做开放词汇检测时，先用它跑基准对比
  • 工程师验证某个VLM能否胜任指代分割任务
  • 论文复现或审稿时，用其评测协议做公平对比

替代项目

VLMEvalKit、lmms-eval

项目介绍

perceptual_abilities_evaluation 是评测安全领域的开源项目，由 better-chao 开发，2024 年首次发布。

它收录于评测安全分类，该分类目前共有 480 个项目，GitHub 星标数为 133。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-21。开源评测项目，免费使用。

它主要面向的使用场景是：研究者选型VLM做开放词汇检测时，先用它跑基准对比。同类可对比的替代方案包括 VLMEvalKit、lmms-eval。

上一篇：Offensive-Security-AI-Models

下一篇：primitive-bench

同类项目推荐

akto 开源

给 AI 应用做安全体检，防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1519 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾，自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击，提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 2975 2026-09-12