gbrain-evals

给 AI Agent 建可复现的自动评分，改提示词不怕退化

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署评测安全 🍴 复刻 83 🐛 待处理 29 👀 关注 4

GitHub ↗

GitHub 星标 ★ 450

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，免费使用

项目预览

gbrain-evals 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类评测安全

开发团队garrytan

GitHubhttps://github.com/garrytan/gbrain-evals

定价模式🏷️完全免费

价格说明开源项目，免费使用

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言TypeScript

GitHub 星标★ 450

上线时间2026-04-22 00:00:00

代码更新2026-11-03

仓库体积1.61 GB

本站数据更新2026-11-04

维护状态活跃

收录时间2026-09-14

浏览次数1

项目介绍

gbrain-evals 是一个用 TypeScript 编写的开源评测框架，面向 AI Agent 与工具调用场景，帮助开发者系统化地衡量模型在真实任务中的表现。它解决的核心问题是：Agent 评测往往依赖零散脚本和人工判断，难以复现和横向对比。项目提供统一的评测用例组织方式、可插拔的执行器与评分器，支持对多轮对话、函数调用、任务完成度等维度进行自动化打分，并输出结构化结果便于回归测试。核心能力包括：定义数据集与期望行为、批量运行不同模型或提示词、对比分数差异、集成到 CI 流程中做持续评测。适合需要为 Agent 建立可量化质量基线的团队，在模型迭代或提示词调整时快速发现退化。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 450

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 35 分钟部署方式：本地安装 4 步

环境要求

Python 3.10+
模型 API Key

安装与启动步骤

1拉仓库

它把数据、对照系统、评分代码与结果都放一起。
```
git clone https://github.com/garrytan/gbrain-evals.git
```
2装依赖

评测依赖不多，但要有模型 key。
```
pip install -r requirements.txt
```
3先跑一遍已有结果

用自己的机器复现一份，看能否对上它公布的数字。
4换一个你自己的数据集

评测套件的价值在于能测你自己的场景。