评测安全

pairjudge 开源 免费 仅开源

用 LLM 当裁判做 A/B 评测，省钱、去偏、还能蒸馏小模型

pairjudge 是一个面向成对 LLM 评判（A/B/tie）的开源工具包，源自 Kaggle LMSYS Chatbot Arena 第···

DSBench 开源 免费 仅开源

测测你的AI助手能不能像数据科学家一样干活

DSBench 是一个面向数据科学智能体的基准测试框架，旨在评估大语言模型驱动的智能体在真实数据科学···

XRAG 开源 免费 仅开源

给 RAG 系统做全面体检，量化每个核心模块的真实实力

XRAG 是一个专注于评估高级检索增强生成（RAG）系统中核心组件模块的基准测试工具。它解决了当前 R···

llm-leaderboard 开源 免费 仅开源

一站式对比LLM基准分数和价格，快速选型

这是一个已废弃的LLM基准测试排行榜项目，曾汇总各大语言模型的基准测试分数和提供商价格。它旨在帮···

Awesome-Multimodal-LLM-for-Code 开源 免费 仅开源

一页看全多模态代码生成论文与数据集

这是一个面向多模态代码生成研究的论文清单与资源汇总项目，对应 TMLR 2026 论文《Multimodal Larg···

llamator 开源 免费 仅开源

给聊天机器人找茬，提前揪出安全漏洞

llamator 是一个用于测试聊天机器人和生成式 AI 系统的红队（Red Teaming）Python 框架。它主要解决···

awesome_LLM-harmful-fine-tuning-pape··· 开源 免费 仅开源

一页看全有害微调攻防论文，快速摸清 LLM 安全风险

这是一个聚焦大语言模型有害微调攻击的论文综述仓库，对应一篇被 ACM Computing Surveys 收录的综述···

model-leaderboard 开源 免费 可打开

目标检测模型谁最强？排行榜按小大物体直接比。

model-leaderboard 是一个面向目标检测模型的评测排行榜工具，用 TypeScript 编写。它解决的核心问···

Awesome-LLMs-for-Vulnerability-Detec··· 开源 免费 仅开源

一站式追踪LLM漏洞检测前沿论文与数据集

这是一个持续更新的开源索引，专门收录大语言模型（LLM）在软件漏洞检测领域的研究成果。项目按函数···

AI-ML-Free-Resources-for-Security-an··· 开源 免费 可打开

照着路线图学，从零入门 AI 渗透与提示注入

这是一个面向安全从业者和初学者的 AI/ML 渗透测试学习路线图与资源合集，核心解决的是「想入门 AI···

PersonaMem 开源 免费 仅开源

测测你的AI有多懂你：动态画像+个性化回复基准

PersonaMem 是 COLM 2025 论文的开源基准测试，用于评估大语言模型在动态用户画像和个性化回复方面···

hash-hop 开源 免费 仅开源

自动生成超长文本定位题，快速测出模型长上下文真本事

hash-hop 是一个面向大语言模型长上下文能力的评测工具，用 Python 编写并通过 Terraform 管理评测···

autoarena 开源 免费 仅开源

自动两两PK，快速选出最优LLM或RAG配置

autoarena 是一个用于自动化评估和排名大语言模型（LLM）、RAG 系统及提示词（prompt）的开源工具。···

RagaAI-Catalyst 开源 免费 仅开源

让多智能体 AI 应用运行透明，调试像看回放一样简单

RagaAI-Catalyst 是一个面向 Agent AI 的可观测性、监控与评估框架，以 Python SDK 为核心，帮助开···

BackdoorLLM 开源 免费 仅开源

统一评测 LLM 后门攻防，一键复现与对比

BackdoorLLM 是一个面向大语言模型后门攻击与防御的综合基准测试平台，入选 NeurIPS 2025。它解决的···

verifywise 开源 可打开

一站式搞定 AI 合规审计，轻松应对欧盟 AI 法案等 20+ 法规。

VerifyWise 是一个面向 AI 治理与 LLM 评估的开源平台，旨在帮助组织应对日益复杂的 AI 法规和标准···

DEFAME 开源 免费 仅开源

自动核查文本和图片，快速识别虚假信息

DEFAME 是一个用于文本和视觉输入的事实核查系统，旨在自动验证信息真实性。它通过分析文本内容和相···

DECEIVE 开源 免费 仅开源

让大模型替你扮演蜜罐，自动接住攻击者的话

DECEIVE 是一个用大语言模型自动完成蜜罐交互的 Python 工具。传统蜜罐需要人工编写应答脚本、维护···

leva 开源 免费 仅开源

用线上真实数据回放评测，让 Rails 的 LLM 改动不再靠拍脑袋

leva 是一个面向 Ruby on Rails 应用的 LLM 评测框架，主打用生产数据做评测。它解决的核心问题是：···

baple 开源 免费 仅开源

用提示学习给医学AI模型植入后门，验证安全漏洞

BAPLe 是 MICCAI 2024 的官方开源代码，研究医学基础模型的后门攻击方法。它利用提示学习（Prompt ···

axbench 开源 免费 仅开源

给LLM解释方法打分，选出真正有用的那个

axbench 是斯坦福 NLP 团队推出的 Python 库，用于系统化评估大语言模型可解释性方法的实际效用。它···

Awesome-LLMSecOps 开源 免费 仅开源

一库在手，LLM 安全运营全链路资源速查

Awesome-LLMSecOps 是一个专注于大语言模型（LLM）与智能体（Agent）安全运营的精选资源列表。它系···

WindowsAgentArena 开源 免费 仅开源

在真实 Windows 环境中，一键测试和对比 AI 智能体的任务完成能力。

Windows Agent Arena (WAA) 是一个用于测试和基准测试多模态 AI 智能体的可扩展操作系统平台。它解···

Awesome-KV-Cache-Compression 开源 免费 仅开源

一份论文清单，搞定大模型KV Cache压缩选型

Awesome-KV-Cache-Compression 是一个持续更新的 KV Cache 压缩论文精选列表，旨在为研究者和工程师···