给AI智能体当裁判，量化每一步质量，训练更靠谱的Agent。
OpenJudge 是一个用于智能体全面评估与质量奖励的统一框架。它解决的核心问题是：当前大模型智能体评估往往只关注最终结果，而忽略过程质量，且评估标准碎片化。OpenJudge 提供了一套标准化的评估流程和奖励机制，能够对智能体的行为进行细粒度、多维度的评分，包括任务完成度、步骤合理性、技能使用正确性等。其核心能力包括：支持多种评估场景（如技能调用、多轮对话、工具使用）、可自定义评估规则、输出结构化质量报告，并可与强化学习（RLHF）流程集成，为智能体训练提供质量奖励信号。项目基于 Python，采用模块化设计，便于扩展。
OpenAI Evals、LangChain Benchmarks、AgentBench
OpenJudge 是评测安全领域的开源项目，由 agentscope-ai 开发，2025 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（851）位列前 30%，在评测安全分类中处于中上游。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-23。从国内网络环境看，可直接访问。
它主要面向的使用场景是：智能体开发者在训练前评估模型能力短板。同类可对比的替代方案包括 OpenAI Evals、LangChain Benchmarks、AgentBench。
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
