评测安全

tau2-bench 开源 免费 仅开源

测测你的AI智能体，会不会在真实客服场景中翻车

τ-Bench 是一个用于评估工具调用型智能体（Tool-Agent）在真实世界领域中人机交互能力的基准测试框···

llm-eval 开源 免费 仅开源

一站式跑分，快速对比大模型与 RAG 效果

llm-eval 是一个面向大语言模型的评估平台，旨在解决模型性能难以量化、对比缺乏标准的问题。它支持···

search-arena 开源 免费 仅开源

量化分析搜索增强大模型，看清能力边界

Search Arena 是一个用于分析搜索增强型大语言模型（LLM）的开源工具，源自 ICLR 2026 论文的官方代···

Jailbreaks-GPT-Gemini-deepseek- 开源 免费 仅开源

多模型越狱提示样本库，用于安全评测对比

该项目是一个面向大语言模型安全评测的提示词集合仓库，汇集了针对 GPT、Sora、Claude、Gemini、De···

TAB 开源 免费 仅开源

统一评测时间序列异常检测方法，公平对比选最优

TAB 是一个面向时间序列异常检测（TSAD）方法的统一基准测试框架，相关论文被 PVLDB 2025 接收。它···

secure-ai-tooling 开源 免费 仅开源

给AI系统做安全体检，用统一框架识别和缓解风险

secure-ai-tooling 是 CoSAI（人工智能安全联盟）推出的风险图谱框架，旨在帮助团队识别、分析和缓···

CUREBench 开源 免费 仅开源

给AI看病决策打分，推动医疗AI更靠谱

CUREBench 是一个面向 AI 治疗决策推理能力的基准测试平台，论文发表于 NeurIPS 2025。它旨在系统评···

SECA 开源 免费 仅开源

用语义等价攻击，自动逼出 LLM 的幻觉破绽

SECA 是一个针对大语言模型（LLM）幻觉问题的对抗性攻击框架，发表于 NeurIPS 2025。它通过生成语义···

RiOSWorld 开源 免费 可打开

测出你的电脑智能体有多“手贱”，防翻车必备

RiOSWorld 是 NeurIPS 2025 官方发布的基准测试项目，用于评估多模态计算机操作智能体的风险。它基···

sim-evals 开源 免费 仅开源

把机器人策略丢进仿真跑分，省下真机评测的麻烦

sim-evals 是一个面向 DROID 机器人操作数据集的仿真评测平台，用 Python 实现。它解决的核心问题是···

awesome-cybersecurity-agentic-ai 开源 免费 仅开源

一页清单，快速找到能落地的安全智能体方案

这是一个精选网络安全与智能体 AI（Agentic AI）交叉领域的资源清单，用 Shell 脚本维护，收录论文···

Awesome-LLM-Empathy 开源 免费 仅开源

一站式收录 LLM 共情论文，快速把握研究全貌

Awesome-LLM-Empathy 是一个关于大语言模型（LLM）共情能力的论文列表项目，系统整理了该领域的研究···

ChineseHarm-bench 开源 免费 仅开源

测一测你的模型对中文有害内容有多能扛

ChineseHarm-Bench 是一个面向中文场景的有害内容检测基准测试集，旨在评估和比较各类模型（包括开···

PromptMe 开源 免费 仅开源

10 个动手挑战，亲手打穿 LLM 安全漏洞

PromptMe 是一个面向大语言模型安全的教育型开源项目，围绕 OWASP LLM Top 10 设计了 10 个动手挑战···

SREGym 开源 可打开

用真实生产事故考题，测出 AI Agent 会不会排障

SREGym 是一个面向 AI Agent 的评测基准，专门用来回答“AI 智能体能不能真正处理生产环境事故”这···

PhyX 开源 免费 仅开源

测测你的AI有没有物理常识，一测便知

PhyX 是一个专注于物理推理能力评估的开源基准测试项目，旨在回答“你的模型是否具备物理推理的‘智···

hackagent 开源 免费 仅开源

给 AI 智能体做安全体检，提前发现漏洞防攻击

HackAgent 是一个开源的 AI 智能体安全检测工具包，专门用于发现和验证 AI Agent 的漏洞。它主要解···

vistorybench 开源 免费 可打开

给AI故事配图能力打分，让模型叙事更连贯

ViStoryBench 是一个面向 AI 故事可视化任务的基准测试集，由 CVPR 2026 论文提出。它解决的核心问···

eval-assist 开源 免费 可打开

用网页交互调教 LLM 当裁判，迭代出靠谱评估标准

EvalAssist 是一个开源工具，旨在简化使用大语言模型作为评估者（LLM-as-a-Judge）来评判其他大语言···

system_prompts_leaks 开源 免费 仅开源

扒开各家 AI 的底牌，看清它怎么想、怎么答

从 Anthropic（Claude Fable 5、Opus 5、Claude Design、Claude Code）、OpenAI（ChatGPT GPT-5.6-···

AssetOpsBench 开源 免费 仅开源

工业设备运维智能体，一套基准直接评测落地

AssetOpsBench 是面向工业 4.0 资产运维场景的统一评测基准与开发框架，解决的是通用大模型智能体难···

Awesome-AI-For-Security 开源 免费 不稳定

一页看全 AI 做安全：工具、论文、数据集

这是一个面向网络安全领域的 AI 资源精选清单，系统整理了将大语言模型、智能体（Agent）和多模态系···

LLM-Agent-Evaluation-Survey 开源 免费 仅开源

一库收齐智能体评测论文，快速摸清评测方法

这是一个聚焦大语言模型智能体评测的论文与资源清单型开源项目，汇总了与 LLM-based agent 评测相关···

circle-guard-bench 开源 免费 仅开源

给 LLM 防护系统打分，选最靠谱的护栏

circle-guard-bench 是首个专门评估大语言模型（LLM）防护系统（包括 guardrails 和 safeguards）能···