OpenJudge

给AI智能体当裁判，量化每一步质量，训练更靠谱的Agent。

开源 🏷️定价信息待确认 ✅ 目前可打开智能体 🍴 复刻 103 🐛 待处理 16 👀 关注 4

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1081

维护状态活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

项目数据

分类智能体

开发团队agentscope-ai

官网地址https://openjudge.me

GitHubhttps://github.com/agentscope-ai/OpenJudge

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态✅ 目前可打开

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agent,agent-skills,ai-agent,alignment,evaluation,grader,llm,reward,reward-model,rlhf,skill-md,skills

GitHub 星标★ 1081

上线时间2025-07-08 00:00:00

代码更新2026-11-09

仓库体积25.0 MB

本站数据更新2026-11-10

维护状态活跃

收录时间2026-08-09

浏览次数7

项目介绍

OpenJudge 是一个用于智能体全面评估与质量奖励的统一框架。它解决的核心问题是：当前大模型智能体评估往往只关注最终结果，而忽略过程质量，且评估标准碎片化。OpenJudge 提供了一套标准化的评估流程和奖励机制，能够对智能体的行为进行细粒度、多维度的评分，包括任务完成度、步骤合理性、技能使用正确性等。其核心能力包括：支持多种评估场景（如技能调用、多轮对话、工具使用）、可自定义评估规则、输出结构化质量报告，并可与强化学习（RLHF）流程集成，为智能体训练提供质量奖励信号。项目基于 Python，采用模块化设计，便于扩展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1081

技术标签

agent agent-skills ai-agent alignment evaluation

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 10 分钟部署方式：库/依赖 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

已安装 Python 与 pip（README 未限定具体版本）
可访问 PyPI 以完成 pip 安装
可选：现代浏览器，用于免安装的在线试用（openjudge.me/app）

安装与启动步骤

1确认 Python 环境

先确认本机已有可用的 Python 与 pip，后续安装依赖它们；README 未限定 Python 版本。
```
python --version
pip --version
```
2安装 OpenJudge

README 给出的唯一安装命令，从 PyPI 安装 py-openjudge 包；建议在虚拟环境中执行以免污染全局环境。
```
pip install py-openjudge
```
3确认安装结果

通过 pip 查询包信息，能看到名称与版本号说明安装完成。
```
pip show py-openjudge
```
4免安装在线试用

不想本地安装时，可直接在浏览器打开官方在线应用体验内置 grader，无需任何配置。
5阅读官方快速上手

具体调用代码与评分流程以官方 Quickstart 文档为准，按其示例编写评估脚本。