评测安全

Awesome-LLM-Red-Teaming 开源 免费 仅开源

一站式收集 LLM 红队测试资源，快速上手安全攻防

Awesome-LLM-Red-Teaming 是一个精选资源列表，专注于大语言模型（LLM）的红队测试领域。它系统整理···

Oversight 开源 免费 仅开源

模块化拆解 LLM，自动红队测试，发现漏洞

Oversight 是一个完全模块化的 LLM 逆向工程、红队测试与漏洞研究框架。它主要面向安全研究人员和 ···

Awesome-LMMs-Mechanistic-Interpretab··· 开源 免费 仅开源

一站式读懂多模态模型内部工作原理

这是一个聚焦大型多模态模型（LMMs）机制可解释性（MI）的资源精选仓库，专门收集与LMMs内部工作机···

contextcheck 开源 免费 仅开源

用 YAML 配置测试用例，把 LLM 测试塞进 CI 流水线，自动跑完收工。

contextcheck 是一个基于 MIT 许可的开源框架，用于测试大型语言模型（LLM）、检索增强生成（RAG）···

judgeval 开源 可打开

给 AI Agent 装上持续评测仪表盘，让改进有据可依

judgeval 是一个面向 AI Agent 的持续改进与评测平台，旨在解决 Agent 在生产环境中缺乏系统性评估···

SpatialEval 开源 免费 仅开源

测出大模型空间推理真实水平，选模型不再靠猜

SpatialEval 是一个用于评估多模态大语言模型（MLLMs）和纯语言模型（LLMs）空间推理能力的基准测试···

arc-agi-benchmarking 开源 免费 仅开源

统一流程跑多个大模型，横向对比抽象推理成绩

arc-agi-benchmarking 是围绕 ARC-AGI 抽象推理基准的开源评测工具，用于在统一流程下测试不同大模···

vulnhuntr 开源 免费 仅开源

让LLM自动帮你扫代码找漏洞，零样本开箱即用

vulnhuntr 是一个利用大型语言模型进行零样本漏洞发现的开源工具。它解决的是传统静态分析工具依赖···

nyt-connections 开源 免费 仅开源

用759道文字分组谜题，测出大模型的语义推理短板

nyt-connections 是一个面向大语言模型推理能力的评测基准，基于《纽约时报》Connections 文字分组···

Awesome-Video-Reasoning-Landscape 开源 免费 仅开源

一张图看懂视频推理，快速上手最新研究

这是一个关于视频推理领域的开源综述项目，旨在系统梳理视频推理的最新任务、范式和基准。它解决了···

confabulations 开源 免费 仅开源

测出RAG系统胡说八道，用人工验证问答对量化幻觉

confabulations 是一个用于评估 RAG（检索增强生成）系统幻觉（或称虚构）问题的文档型基准测试集。···

Modality-Integration-Rate 开源 免费 仅开源

量化视觉-语言模型跨模态对齐，诊断融合短板

Modality-Integration-Rate 是 ICCV 2025 论文的官方代码，提出了一种名为“模态整合率”（Modalit···

evaluation-guidebook 开源 免费 仅开源

学透 LLM 评估，避开 benchmark 陷阱，科学选模型。

这是一个关于大语言模型评估的指南仓库，源自 Hugging Face 团队在维护 Open LLM Leaderboard 和设···

rhesis 开源 免费 仅开源

让领域专家给AI当教练，用标注反馈驱动智能体快速进化

Rhesis 是一个面向 AI 团队的协作层基础设施，旨在连接领域专家与工程师，共同优化智能体（Agent）···

ScienceAgentBench 开源 免费 仅开源

用102个真实科研任务，严格检验AI科学智能体成色

ScienceAgentBench 是一个面向数据驱动科学发现的语言智能体评估基准，由加州大学等机构在 ICLR 20···

inspect_evals 开源 免费 仅开源

一行命令跑齐大模型能力与安全评测

inspect_evals 是英国 AI 安全研究院（UK AISI）为 Inspect AI 框架提供的官方评测集合，解决大模型···

Deco 开源 免费 仅开源

让多模态模型少说瞎话，动态纠错解码即插即用

Deco 是一个针对多模态大语言模型（MLLM）的幻觉缓解工具，核心方法为动态校正解码（Dynamic Corre···

WorfBench 开源 免费 仅开源

给AI工作流生成能力打分，让模型编排更靠谱

WorfBench 是一个用于评测和生成智能体工作流（Agentic Workflow）的基准测试框架，由 ICLR 2025 论···

VideoGen-Eval 开源 免费 可打开

给视频生成模型打分，自动评测多维度质量

VideoGen-Eval 是一个基于智能体的视频生成评估系统，旨在解决视频生成模型评测标准缺失、评估维度···

llm_chess 开源 免费 可打开

让大模型下棋，测出推理和守规则的真实水平

llm_chess 是一个通过模拟国际象棋对局来评测大语言模型推理与指令遵循能力的开源项目。它不依赖传···

MGDebugger 开源 免费 仅开源

像调试传统代码一样调试大模型，快速定位推理错误根因。

MGDebugger 是一个面向大语言模型的多粒度调试工具，源自 ICSE 2026 论文。它解决 LLM 推理过程中错···

MMAD 开源 免费 仅开源

用统一基准测出多模态大模型在工业质检中的真实水平

MMAD 是发表于 ICLR'25 的多模态大语言模型工业异常检测综合基准，提供配套代码与数据。项目针对工···

langfair 开源 免费 仅开源

给LLM做公平性体检，防偏见翻车

LangFair 是一个用于大语言模型（LLM）偏见与公平性评估的 Python 库，专注于用例级别的评估。它解···

ai-llm-comparison 开源 已失效

并排对比所有AI模型，快速选出最适合你的那个

这是一个用于对比各类AI模型的网站，旨在帮助用户直观了解不同大语言模型的能力差异。它解决了AI模···