汇聚全球AI评测与安全项目，模型评估、基准测试、安全对齐、护栏工具大全。
共收录 641 个开源项目
superpowers-evals
开源
免费
仅开源
驱动真实编码智能体，自动评分工作流合规性
superpowers-evals 是 superpowers 项目的行为评估实验室（Quorum），用于驱动真实编码智能体 CLI（···
agentgg
开源
可打开
百个AI安全智能体，扫仓库和PR，自动挖漏洞
agentgg 是一款开源的智能体式静态应用安全测试（SAST）工具，由 100 多个 AI 安全智能体组成，可对···
SurrogateShield
开源
免费
仅开源
给 LLM 和 RAG 加一层敏感信息脱敏与还原
SurrogateShield 是面向大语言模型与 RAG 流水线的隐私防护中间件，核心思路是在请求进入模型前识别···
Fintech-CUI-Trust-Framework
开源
免费
仅开源
给金融AI划清权限红线，让对话代理合规又可控
Fintech-CUI-Trust-Framework 是一个面向金融科技等高合规领域对话式AI代理的开源工程治理标准。它···
AI-Surface
开源
免费+付费
已失效
PR 阶段扫出 AI 资产与风险，离线免费
AI-Surface 是一个面向应用代码的 AI 攻击面发现与治理工具，核心思路是在代码提交（PR）阶段就识别···
skill-up
开源
免费
可打开
给 Agent 技能做体检，自动评估并迭代优化，让智能体更靠谱
skill-up 是阿里巴巴开源的一款 Agent Skills 评估与进化工具，专门用于测试和提升 AI 智能体技能的···
agent-skills-eval
开源
免费
仅开源
跑一遍测试，就知道你的 AI 技能行不行
agent-skills-eval 是一个用于测试 AI 智能体技能（Agent Skills）的测试运行器，灵感来自 agentsk···
Semia
开源
免费
仅开源
装 AI 技能前先扫一遍，把危险命令挡在门外
Semia 是一个面向 AI Agent 技能（skills）的安全审计工具，用 Python 编写。随着 Claude Code、Co···
Workspace-Bench
开源
免费
可打开
在真实文件海洋中，检验智能体自我进化能力
Workspace-Bench 是一个用于评测自我进化智能体在真实大规模文件工作空间中表现的基准测试平台。它···
awesome-ai-testing
开源
免费
仅开源
一页清单看懂 AI 测试工具，选型不再东拼西凑
awesome-ai-testing 是一个面向 QA 工程师的精选资源清单，系统整理了 AI 驱动的测试工具、框架与学···
speca
开源
可打开
把规范文档自动变成审计清单，逐条核查代码
SPECA 是一个面向智能合约与协议规范的安全审计框架，核心思路是把自然语言写成的规范（specificat···
workshop
开源
可打开
让编码代理自己写评测、跑评测，回归验证不再靠手测
workshop 是一个面向 AI 编码代理的评测工具，帮助开发者让 coding agent 具备编写和运行 agent 评···
evals
开源
免费+付费
可打开
像写单测一样评测大模型，改提示词不再靠感觉
evals 是一个用 TypeScript 编写的开源评测框架，目标是让开发者像写单元测试一样编写和运行大模型···
ASSERT
开源
免费
仅开源
按需求自动生成用例，本地跑测 AI Agent 行为
ASSERT 是一个面向 AI Agent 与 LLM 应用的需求驱动评测框架。它要解决的问题是：传统评测往往只测···
benchmarks
开源
可打开
统一跑分语音AI，延迟准确率一测便知
这是一个面向语音 AI 的可复现基准测试项目，专注于 TTS（文本转语音）、STT（语音转文本）和 S2S（···
skill
开源
免费
待核验
把源码还原、安全审查和修复计划打包成可调用的技能
skill 是一套面向软件安全评估的 Python 工具与技能集合，主要服务于自有或已获授权系统的分析工作···
iFixAi
开源
可打开
120秒快速审计AI Agent，确保它按预期干活
iFixAi 是一个面向 AI Agent 的独立审计工具，旨在快速回答 AI Agent 经济中最关键的问题：Agent 是···
future-agi
开源
可打开
一站式评估、观测和优化你的 AI 智能体，提升可靠性和安全性。
Future AGI 是一个开源的端到端平台，用于评估、观测和优化 LLM 及 AI 智能体应用。它集成了追踪、···
gbrain-evals
开源
免费
仅开源
给 AI Agent 建可复现的自动评分，改提示词不怕退化
gbrain-evals 是一个用 TypeScript 编写的开源评测框架，面向 AI Agent 与工具调用场景，帮助开发者···
VEFX-Bench
开源
免费
可打开
给视频编辑和特效模型打分，选型不再靠感觉
VEFX-Bench 是一个面向通用视频编辑与视觉特效（VFX）的综合性基准测试项目。它旨在解决视频编辑和···
ADR
开源
免费
仅开源
给企业 AI 智能体装上安全监控与威胁拦截系统
ADR 是一个面向企业级 AI 智能体的安全防护框架，由 Uber 部署并开源。它解决的核心问题是：随着 A···
ai-dfir-toolkit
开源
免费
仅开源
给 AI 系统装上开箱即用的入侵检测规则
ai-dfir-toolkit 是一套面向 AI 系统安全检测的开源规则合集，核心价值在于把 LLM 应用、MCP 服务器···
tool-eval-bench
开源
免费
仅开源
80+场景实测大模型工具调用靠不靠谱
tool-eval-bench 是一个面向大模型推理服务栈的工具调用质量基准测试工具，用 80 多个确定性场景检···
ClawBench
开源
免费
可打开
测测你的浏览器AI智能体，日常任务完成得怎么样
ClawBench 是一个开源的浏览器 AI 智能体基准测试项目，专注于评估 AI 智能体在真实日常任务中的表···
