评测安全

InjectRange 开源 免费 仅开源

用固定语料对比严格/宽松防护，量化提示注入漏检

InjectRange 是一个面向大模型提示注入（prompt injection）评测的防护测试框架，用 Python 编写，···

promptpex 开源 免费 可打开

自动生成提示词测试用例，让 Prompt 迭代更稳更高效

promptpex 是一个专注于提示词（Prompt）测试生成的开源项目，旨在为 LLM 应用开发者提供系统化的提···

Lookback-Lens 开源 免费 仅开源

只看注意力图，就能揪出并压制模型胡编乱造

Lookback-Lens 是 EMNLP 2024 论文的官方代码实现，专注于检测和缓解大语言模型中的上下文幻觉问题···

Awesome-Attention-Heads 开源 免费 仅开源

一站式读懂大模型注意力头，搞懂模型在想什么

这是一个关于大语言模型注意力头可解释性的精选资源库与综述项目。它系统性地整理了针对LLM中注意力···

Awesome-Jailbreak-on-LLMs 开源 免费 仅开源

一站式掌握LLM越狱攻击最新研究，快速上手安全测试

这是一个聚焦大语言模型越狱攻击方法的精选资源库，系统整理了学术界和工业界关于LLM安全漏洞的最新···

ChronoMagic-Bench 开源 免费 可打开

测文生视频的时间演化能力，让模型从动起来到变起来

ChronoMagic-Bench 是一个用于评估文生视频模型在时间延展与形态变化能力的基准测试集，由 NeurIPS···

appworld 开源 可打开

在真实模拟世界里，测试你的 AI 智能体会不会办事。

AppWorld 是一个用于评估函数调用与交互式编码智能体的可控应用与人物世界基准测试平台，源自 ACL ···

Awesome-AD-on-T2IDM 开源 免费 仅开源

扩散模型攻防论文与工具一站速查

Awesome-AD-on-T2IDM 是一个聚焦文本到图像扩散模型（T2IDM）攻防研究的资源合集，系统整理了针对这···

vidore-benchmark 开源 免费 仅开源

给文档检索模型打分，看谁找图找得准

ViDoRe 是一个针对视觉文档检索（Vision Document Retrieval）的基准测试项目，源自 ColPali 论文。···

Loong 开源 免费 仅开源

测出长文本大模型真实力，必须跨文档推理才能答对

Loong 是 EMNLP 2024 的 Oral 论文项目，专注于长上下文大语言模型（LLM）的评测基准。它针对现有长···

litmus 开源 免费 仅开源

拖拽式搭建 LLM 测试，快速看清模型表现

Litmus 是一个面向生成式 AI 应用开发的 LLM 测试与评估平台。它通过友好的用户界面，帮助开发者系···

LiveBench 开源 免费 仅开源

每月换新题，测出模型真实水平

LiveBench 是一个面向大语言模型的评测基准，核心卖点是「无污染」与「持续更新」。传统静态基准（···

coir 开源 免费 仅开源

给代码检索模型做全面体检，一张卷子测出真实力。

coir 是一个面向代码信息检索（Code Information Retrieval）的综合基准测试集，发表于 ACL 2025 M···

TSB-AD 开源 免费 仅开源

一套接口跑通时序异常检测算法与数据集评测

TSB-AD 是一个面向时间序列异常检测的开源基准与工具箱，提供统一的算法实现、数据集加载和评测流程···

Video-MME 开源 免费 仅开源

测一测你的多模态模型，视频理解能力到底行不行

Video-MME 是首个专门用于评估多模态大语言模型（LLMs）在视频分析任务中表现的综合基准测试集，发···

ICSFSurvey 开源 免费 仅开源

一图看懂大模型自我修正与推理增强全领域

ICSFSurvey 是一个聚焦大语言模型自我修正与推理增强技术的开源综述项目。它系统梳理了 Self-Corre···

MixEval 开源 免费 仅开源

动态更新评测数据，让模型分数不再虚高

MixEval 是一个大语言模型评估套件，提供动态更新的评测数据集和标准化评估流程。它解决传统静态基···

TaskMeAnything 开源 免费 仅开源

自动生成多模态任务，全面评估模型能力

TaskMeAnything是一个用于多模态语言模型（如视觉语言模型）的任务生成与模型评估系统，发表于Neur···

perceptual_abilities_evaluation 开源 免费 仅开源

用统一基准测出VLM检测分割的真实水平

这是一个面向视觉语言模型（VLM）的评测项目，聚焦目标检测与分割任务。它针对当前 VLM 在细粒度视···

Awesome-LVLM-Attack 开源 免费 仅开源

一页看全 LVLM 攻击论文与工具，快速入门安全评测

Awesome-LVLM-Attack 是一个持续更新的资源清单，专门收集针对大型视觉语言模型（LVLM）的攻击研究···

guidellm 开源 免费 仅开源

给 LLM 推理服务做真实压测，选型调优有数可依

GuideLLM 是 vLLM 团队推出的 LLM 推理部署评测工具，用于在真实业务负载下评估大模型服务的性能与···

RWKU 开源 免费 仅开源

给大模型做“记忆清除手术”，并验证效果是否达标

RWKU是一个针对大语言模型（LLM）的“知识遗忘”基准测试框架，源自NeurIPS 2024论文。它解决的是大···

DiffusionGeometry 开源 免费 仅开源

论文扩散几何方法的可运行复现实验代码

DiffusionGeometry 是论文《Computing Diffusion Geometry》的官方代码仓库，以 Jupyter Notebook ···

Awesome-LLM-Quantization 开源 免费 仅开源

一页看清大模型量化方法与工具

Awesome-LLM-Quantization 是一个面向大语言模型量化领域的资源汇总清单，以 Python 生态为背景，系···