汇聚全球AI评测与安全项目，模型评估、基准测试、安全对齐、护栏工具大全。
共收录 641 个开源项目
embodied-first-exam
开源
待核验
让代码智能体在冻结的机器人任务里编程答题
embodied-first-exam 是面向代码智能体的物理世界评测基准，把来自多个机器人基准套件的任务冻结成···
awesome-typesafe-jev
开源
免费
不稳定
一页看全 System One 的 SDK、演示与评测
这是一个以 HTML 页面呈现的精选资源清单，围绕 TypeSafe 的 System One 模型整理资料。它解决的是···
keystone-bench
开源
免费
仅开源
换掉关键事实，看AI医疗建议会不会跟着变
keystone-bench 是一个面向临床决策支持的评测基准，基于 OpenAI 的 HealthBench 构建。它要解决的···
hanshuang-codex
开源
免费
仅开源
桌面端批量测大模型越狱提示，一键跑实验看边界
hanshuang-codex 是一个用 Python 编写的开源实验项目，主要针对 GPT 6.0 与 workbuddyV4.1flash 等···
factcircuit
开源
免费
仅开源
给 AI 事实核查装上可审计的证据链和可复现评测
FactCircuit 是一个面向事实核查与 LLM 评测的开源验证框架，核心是把「声明-证据」验证过程做成可···
dynolab
开源
可打开
Mac 本地跑 AI 可解释性实验，激活探针 SAE 一站搞定
Dyno Lab 是一个面向 Apple Silicon 的 AI 安全、对齐与可解释性研究工作台，用 Swift 编写，底层基···
AgentCapture
开源
待核验
给 AI 攻击代理布下诱饵，抓行为还能反制
AgentCapture 是一个用 Python 编写的欺骗层蜜罐系统，专门面向 AI 渗透测试代理（AI pentest agen···
eval
开源
免费
仅开源
用真实编码任务测出大模型真实力，结果公开可对比
eval 是 FrontierHarness 项目的评测结果与任务定义公开仓库，专注于大语言模型（LLM）在真实编码环···
llmspeed
开源
不稳定
买显卡前先跑分，本地大模型速度一目了然
llmspeed 是一个用 TypeScript 编写的本地大模型推理速度评测工具，目标是在购买 GPU 或整机之前，···
nordef-matrix-open-control
开源
免费
仅开源
给 AI 加一道可验证的安全闸门，三态决策拦截风险
nordef-matrix-open-control 是一个面向 AI 安全管控的开源项目，定位为模型无关的“AI 安全带”。···
trustmebro
开源
免费
仅开源
伪造工具输出，测出模型护栏会不会被骗
TrustMeBro 是一个用 Go 编写的 LLM 安全评测工具，专门测试大模型护栏（guardrails）在伪造工具输···
dodoguard
开源
已失效
给 AI Agent 加一道全流程安全护栏，防注入防越权
DodoGuard 是一个面向 AI Agent 全生命周期的开源安全防护工具，用 TypeScript 编写，主要解决 Dif···
EvalForge
开源
免费
仅开源
给 AI 评测加回归门禁，指标一降 CI 就拦。
EvalForge 是一个面向 AI/LLM 应用的评测与质量门禁工具，用 Python 编写。它解决的核心问题是：团···
OpenAPPA
开源
可打开
给 AI Agent 加确定性护栏，安全不打断任务
OpenAPPA 是一个用 Rust 编写的确定性护栏（guardrails）系统，面向 AI Agent 的安全与合规场景。它···
gpt6-Astra
开源
免费
仅开源
一个工作台集中测试各大模型的越狱与安全边界
gpt6-Astra 是一个面向大模型安全评测与红队研究的开源工作台，主打「破甲越狱」提示词工程。它把针···
GLM-5.3-Flash-J-Space-Capability-Rea···
开源
仅开源
把大模型智能体能力评测做成可读报告，一眼看清真实水平
这是一个围绕 GLM-5.3-Flash 与 J-Space 认知套件的能力实现报告型开源项目，核心是把 J-Space Cog···
Ai-jailbreak
开源
免费
可打开
拿来即用的越狱提示库，快速测模型安全底线
Ai-jailbreak 是一个面向大模型安全研究的越狱提示词与漏洞利用技术合集，主要收集针对本地模型和前···
dsh-auto-review
开源
免费
仅开源
给DeepSeek审批加道AI安全锁，自动审查敏感操作
dsh-auto-review 是一个面向 DeepSeek Harness 审批流程的 AI 自动审查插件，属于评测安全领域。它···
awesome-rsi
开源
免费
仅开源
一张图看懂 AI 自我改进的研究版图
awesome-rsi 是一个围绕“递归自我改进（RSI）”的精选研究地图，把散落在模型、智能体、执行框架、···
ai-evals
开源
免费
仅开源
用 Ruby 脚本跑 AI 模型评测，选型对比有据可依
ai-evals 是一个用 Ruby 编写的 AI 模型评测与基准测试工具集，目标是为开发者提供可复用的测试用例···
merchantbench
开源
可打开
365天订单级仿真，测LLM智能体长期经营是否前后一致
MerchantBench 是一个面向电商卖家侧运营的 365 天、订单级长程评测基准，用来检验 LLM 智能体在长···
meow-llm-detector
开源
免费
仅开源
一键验真，揪出冒充大模型的李鬼
meow-llm-detector 是一个用 Python 编写的开源工具，专门用于检测一个 AI 模型是否真实——即判断···
benchmark-radar
开源
可打开
一站追踪全球 AI 评测基准，每日更新可溯源
benchmark-radar 是一个面向 AI 评测领域的数据聚合工具，它从 37 个公开来源持续抓取并整理超过 1···
model-serving-minefield
开源
免费
仅开源
按症状查 LLM 服务陷阱，避免自信的错误测量
model-serving-minefield 是一个社区维护的 LLM 推理服务“踩坑登记册”，专门收集那些会让测量结果···
