gbrain-evals

给 AI Agent 建可复现的自动评分，改提示词不怕退化

gbrain-evals 是一个用 TypeScript 编写的开源评测框架，面向 AI Agent 与工具调用场景，帮助开发者系统化地衡量模型在真实任务中的表现。它解决的核心问题是：Agent 评测往往依赖零散脚本和人工判断，难以复现和横向对比。项目提供统一的评测用例组织方式、可插拔的执行器与评分器，支持对多轮对话、函数调用、任务完成度等维度进行自动化打分，并输出结构化结果便于回归测试。核心能力包括：定义数据集与期望行为、批量运行不同模型或提示词、对比分数差异、集成到 CI 流程中做持续评测。适合需要为 Agent 建立可量化质量基线的团队，在模型迭代或提示词调整时快速发现退化。

开源 free 评测安全
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 421
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类评测安全
开发团队garrytan
所属国家
官网地址
GitHubhttps://github.com/garrytan/gbrain-evals
定价模式free
价格说明开源项目，免费使用
访问状态
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型
GitHub 星标★ 421
30天Star增速
HF 下载量
上线时间2026-04-22 00:00:00
最近更新2026-09-17 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-14
浏览次数0

使用教程

核心亮点

  • 用 TypeScript 编写，类型安全，前端/Node 团队接入成本低
  • 支持可插拔评分器，能自定义任务完成度、工具调用正确性等指标
  • 输出结构化评测结果，便于接入 CI 做回归对比

不足之处

  • 项目处于早期，星标 420，生态和预置评测集较少
  • 文档与社区案例待观察

适用场景

  • 为客服/助手类 Agent 建立回归评测，防止提示词改动导致能力退化
  • 对比多个模型或提示词版本在同一任务集上的得分
  • 在 CI 中自动运行 Agent 评测，作为发布前的质量门禁

替代项目

promptfoo、openai/evals

项目介绍

gbrain-evals 是一个评测安全领域的开源项目，官方简介：暂无简介。项目使用 TypeScript 开发，在 GitHub 上获得 420 星标。

上一篇：evals-skills

下一篇：evals-skills

同类项目推荐

akto 开源

给 AI 应用做安全体检，防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1516 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾，自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
Tracely-ai 开源

把生产事故变成回归测试，合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1403 2026-08-24