评测安全

agentic_security 开源

给大模型应用做安全体检，自动发现漏洞并生成报告

Agentic Security 是一个面向 LLM 应用的漏洞扫描与 AI 红队工具包。它解决的是大模型应用上线前的···

L1B3RT4S 开源

玩转 AI 提示词，用幽默解锁创意交互

L1B3RT4S 是一个以幽默和反讽方式呈现的提示词集合项目，旨在通过戏仿“越狱”提示词的形式，展示 ···

VisualWebBench 开源

测一测多模态大模型在真实网页上有多能打

VisualWebBench 是一个针对多模态大语言模型（MLLMs）在网页理解与定位（Grounding）任务上的评估框···

LLMEvaluation 开源

选对 LLM 评测方法，少走弯路

LLMEvaluation 是一份面向大语言模型评测方法的系统性指南，以 HTML 文档形式组织，目标是帮助开发···

MMStar 开源

更公平地测出大模型真实视觉能力，避免作弊分

MMStar 是一个用于评估大型视觉语言模型（LVLMs）的基准测试工具，源自 NeurIPS 2024 论文。它解决···

awesome-llm-unlearning 开源

一站式收藏大模型遗忘研究资源，快速上手知识擦除

这是一个关于大语言模型机器遗忘（Machine Unlearning）的资源列表仓库，旨在系统整理该领域的前沿···

Awesome-Deepfake-Generation-and-Dete··· 开源

一页看懂Deepfake攻防全图谱，找论文、查代码、跟前沿。

这是一个关于深度伪造（Deepfake）生成与检测的综述性资源列表，对应CSUR 2026论文。项目系统梳理了···

long-form-factuality 开源

测出大模型长篇回答里有多少真话

这是一个用于评估大语言模型长文本事实性（long-form factuality）的基准测试工具，来自论文《Long···

BrainBench 开源

用神经科学实验预测题，测出AI比专家更懂科研

BrainBench 是论文《Large language models surpass human experts in predicting neuroscience re···

llm-colosseum 开源

让大模型打街霸，用对战胜负测实力

llm-colosseum 是一个通过让大语言模型在《街头霸王3》中互相对战来评估其能力的开源基准测试项目。···

AwesomeLLM4APR 开源

一页看尽大模型修Bug研究全景，快速入门与选题

AwesomeLLM4APR 是一个围绕“大语言模型用于自动化程序修复”的精选资源列表，并配套一篇发表于 TO···

content-debiased-fvd 开源

让视频生成评估更公平，去除内容偏差的FVD指标

content-debiased-fvd 是 CVPR 2024 论文《On the Content Bias in Fréchet Video Distance》的官···

LLM-IR-Bias-Fairness-Survey 开源

一库看懂LLM做搜索时的偏见与公平坑

本项目是《大语言模型在信息检索中的偏见与公平性》综述的配套资源库，系统梳理了LLM应用于搜索、推···

Awesome-Evaluation-of-Visual-Generat··· 开源

一页看懂视觉生成模型怎么评测，省去翻论文的麻烦

这是一个聚焦视觉生成模型评测领域的精选资源列表，系统整理了相关的评估指标、评估模型和评估系统···

Awesome-LVLM-Hallucination 开源

一站式追踪大模型视觉幻觉研究前沿

这是一个持续更新的精选列表，汇总了大型视觉语言模型（LVLM）幻觉研究的最新论文、资源和相关工作···

empirical 开源

用数据说话，系统化测试评估你的 LLM 应用

empirical 是一个用于测试和评估大语言模型（LLM）及其配置的开源基础设施工具。它帮助开发者在应用···

fast-llm-security-guardrails 开源

给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露

fast-llm-security-guardrails 是一个面向 AI Agent 的快速安全防护层（Trust Layer），旨在解决 L···

ZORG-Jailbreak-Prompt-Text 开源

一键绕过AI审查，解锁聊天机器人的隐藏回答

ZORG-Jailbreak-Prompt-Text 是一个专注于 AI 对话越狱提示词的开源项目，旨在帮助用户绕过 ChatGP···

lmms-eval 开源

一套工具搞定文本/图像/视频/音频模型评测，结果可复现

lmms-eval 是一个面向多模态大模型的一站式评测工具包，支持文本、图像、视频和音频任务的统一评估···

raga-llm-hub 开源

一站式搞定 LLM 评估、防护与安全，让上线更放心

raga-llm-hub 是一个用于大语言模型（LLM）评估、防护栏（guardrails）和安全的开源框架，基于 Pyt···

agentdojo 开源

搭建 LLM 智能体攻防演练场，量化安全风险

agentdojo 是一个用于评估 LLM 智能体攻击与防御的动态环境。它解决的核心问题是：随着 LLM 智能体···

rag-arena 开源

让用户投票，选出最好的 RAG 系统

rag-arena 是一个开源的 RAG（检索增强生成）评估平台，核心思路是通过真实用户的反馈来评估和比较···

PoisonedRAG 开源

看穿 RAG 软肋：用知识投毒测试你的大模型防线

PoisonedRAG 是 USENIX Security 2025 收录的研究项目，专注于揭示检索增强生成（RAG）系统中的知识···

VLGuard 开源

给视觉大模型加安全锁，几乎零成本防恶意图片诱导

VLGuard是一个针对视觉大语言模型（VLLMs）的安全微调基线项目，发表于ICML 2024。它解决的是VLLMs···