汇聚全球AI评测与安全项目，模型评估、基准测试、安全对齐、护栏工具大全。
共收录 641 个开源项目
SIMURG
开源
免费
仅开源
流式生成中实时拦截重复、漂移和乱码，不让坏 token 见用户
SIMURG 是一个面向大语言模型流式输出的在线异常检测与防护工具。它解决的核心问题是：LLM 在解码过···
awesome-cyber-ai-arsenal
开源
免费
仅开源
一站式导航AI安全攻防工具，快速定位所需资源
这是一个精选的开源工具清单，汇集了进攻性安全、防御性安全以及AI/LLM安全相关的资源。它旨在解决···
guardana
开源
可打开
给 AI 模型和智能体做上线前的安全体检
Guardana 是一个面向 AI 安全验证的开源工具，用可复现的证据支撑模型发布决策。它把模型制品、在线···
phi-boundary-gate
开源
免费
仅开源
给医疗 AI 加一道 PHI 闸门，该拦的拦、该脱敏的脱敏
phi-boundary-gate 是一个面向医疗与保险 AI 场景的 PHI（受保护健康信息）边界治理工具。它解决的···
LLMVault
开源
免费
仅开源
在真实漏洞靶场中练手，掌握 LLM 安全攻防实战
LLMVault 是一个专为 AI 安全设计的开源训练平台，基于 OWASP LLM Top 10 标准构建，帮助安全工程师···
aws-bench
开源
免费
仅开源
给AI智能体在真实AWS云上打分的基准测试
aws-bench 是一个用于评估 AI 智能体在真实 AWS 云环境中执行任务能力的基准测试工具。它针对云运维···
guardrails-llm-filter
开源
免费
仅开源
给大模型请求做脱敏，敏感数据不出本地
guardrails-llm-filter 是一个用 Go 编写的透明反向代理，部署在客户端与 LLM 服务商之间。它解决的···
gpt-instruct
开源
免费
仅开源
绕过 GPT 安全限制，让 Codex 乖乖执行代码任务
gpt-instruct 是一个面向 GPT 系列模型的 Codex 越狱提示词与测试包，核心目标是绕过模型内置的安全···
context-bombs
开源
可打开
用现成的攻击字符串，测出你的 AI 系统抗不抗揍。
context-bombs 是一个专注于 AI 安全与评测的开源项目，核心是提供一系列精心构造的“上下文炸弹”···
DeepSec
开源
免费
仅开源
AI 写码，DeepSec 把关，实时防漏洞，自动测安全。
DeepSec 是一个面向 AI 安全攻防的开源平台，包含 Shield 和 Spear 两大核心组件。Shield 用于实时···
awesome-llm-agent-papers
开源
免费
仅开源
200+篇LLM智能体论文，按主题分类，助你快速掌握前沿。
这是一个精选的LLM智能体论文阅读清单，持续更新，收录了200多篇关于规划、记忆、工具使用、多智能···
Cognitive-Core-Skills
开源
免费
仅开源
一套标准，量化AI的认知核心技能，让模型能力可比较。
这是一个面向大模型、小模型、AI智能体及世界模型的认知核心技能通用分类体系。它不依赖特定行业，···
NiceEval
开源
免费+付费
可打开
10分钟为你的AI Agent搭建评测体系
NiceEval 是一个面向 AI Agent 的轻量级评测框架，旨在帮助开发者快速构建和运行评估任务。它解决了···
rizzo-pii
开源
免费
仅开源
本地脱敏文档，再放心喂给 LLM
rizzo-pii 是一个本地优先的隐私保护工具，专门解决在把文档交给大语言模型处理前，如何自动识别并···
secure-ai-agent-boundary
开源
免费
仅开源
给 AI 代理划数据红线，越界访问直接拦住
secure-ai-agent-boundary 是一个面向前沿大模型与编码代理的数据边界安全框架，目标是在 AI 代理执···
Apple-PI
开源
免费
可打开
用视频生成检验AI对物理定律的理解，推动世界模型落地
Apple-PI（Apple-π）是一个面向物理智能的视频生成基准测试项目，旨在评估和推动视频生成模型对物···
inspect-robots
开源
不稳定
一套接口，把任意 VLA 模型放到任意机器人上跑分
inspect-robots 是一个面向物理 AI（具身智能）的开源评测框架，目标是把机器人策略与视觉-语言-动···
Jailbreaker-CE
开源
免费
仅开源
本地跑越狱测试，快速发现聊天机器人安全漏洞
Jailbreaker-CE 是一个本地运行的评测工具，专门用于测试聊天机器人和智能体系统在面对越狱、提示注···
Anti-Autoresearch
开源
免费
仅开源
一键给自动科研论文做取证，揪出编造与不自洽
Anti-Autoresearch 是一个面向 AI 自动生成科研论文的审稿侧完整性取证工具。它针对 autoresearch（···
sample-agent-cost-bench
开源
免费
仅开源
横向评测编程代理的成本、质量与耗时
sample-agent-cost-bench 是一个面向 AI 编程助手命令行工具的基准测试框架，核心目标是量化不同编···
awesome-evals
开源
免费
仅开源
一站式收藏 AI 智能体评估资源，告别信息筛选烦恼。
这是一个由 BenchFlow 维护的精选资源列表，专注于 AI 智能体的构建与评估。它汇集了论文、博客、演···
SkillEvaluator
开源
可打开
给 Agent 技能做体检：查冲突、测安全、验效果
SkillEvaluator 是一个面向 AI Agent 技能（skills）的多层级评测框架，目标是回答一个实际问题：你···
evals-skills
开源
免费
仅开源
让编码代理手把手帮你搭产品专属 AI 评测
evals-skills 是一组面向 AI 编码代理的技能包，帮助开发者为自己的产品构建专属的 AI 评测（evals···
clawseccheck
开源
免费
仅开源
给 OpenClaw 智能体做安全体检，一键出 A-F 安全分。
clawseccheck 是一个针对 OpenClaw 智能体框架的本地只读安全扫描器。它主要解决 OpenClaw 用户在配···
