reforge-ai-evals

用 AI 代理自动生成评测标准、数据集与评分器

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 9 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 102
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,课程官网另售

项目预览

reforge-ai-evals 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队Calibre-Labs
定价模式🏷️完全免费
价格说明开源免费,课程官网另售
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言HTML
技术栈/模型agent-evaluation,agent-skills,ai-evals,ai-product-management,braintrust,claude-code,claude-skills,codex,coding-agents,eval-rubric,evals,llm-as-a-judge,llm-evaluation,prompt-engineering,synthetic-data
GitHub 星标★ 102
上线时间2026-04-16 00:00:00
代码更新2026-11-18
仓库体积3.4 MB
本站数据更新2026-11-19
维护状态活跃
收录时间2026-11-19
浏览次数0

项目介绍

reforge-ai-evals 是来自 Calibre 的 Reforge AI Evals 课程的开源评测工具包,核心形态是一组面向 AI 编码代理的 skills(技能指令),帮助开发者与 AI 产品经理系统化地为 AI 应用搭建评测体系。它解决的是「AI 功能难以量化验证」的问题:通过引导 Claude Code、Codex 等编码代理按步骤产出评测标准(rubric)、评测数据集(User Input Grid)、trace 编码方案、代码化评估器以及 LLM-as-a-judge 提示词,把原本依赖直觉的模型效果判断转化为可复现、可迭代的评测流程。项目以 HTML 为主要语言,内容偏文档与提示词资产,可与 Braintrust 等评测平台配合使用,适合需要为 Agent 或 LLM 产品建立质量基线的团队快速起步。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-19 · 当前星标 ★ 102

核心亮点

  • 把评测流程拆成 rubric、数据集、trace 编码、代码评估器、LLM 评审提示词等可执行步骤,方法论完整
  • 以 agent skills 形式交付,可直接被 Claude Code、Codex 等编码代理调用,上手成本低
  • 源自 Reforge 课程体系,面向 AI 产品经理与工程师双角色,兼顾业务指标与技术实现

不足之处

  • 以 HTML 文档和提示词资产为主,缺少可直接运行的评测框架代码
  • 社区规模小、星标数低,长期维护与更新节奏待观察
  • 对未使用支持 skills 的编码代理的用户,需要手动搬运内容

适用场景

  • 为刚上线的 LLM 功能设计首版评测标准与测试集
  • AI 产品经理与工程师协作定义模型效果的量化验收口径
  • 对 Agent 执行轨迹做 trace 编码与自动化评分

替代项目

promptfoo、DeepEval、OpenAI Evals

上一篇:g-harness-evals

下一篇:没有了!

同类项目推荐

awesome-llm-security 开源

一站式找到 LLM 安全工具和资料,防坑避雷

A curation of awesome tools, documents and projects about LLM Security.

★ 1722 2026-08-09
ragas 开源

给 LLM 应用打分,快速定位 RAG 短板

Supercharge Your LLM Application Evaluations

★ 16372 2026-08-09
Static-to-Dynamic-LLMEval 开源

动态生成评测样本,防数据污染,测出模型真实力

The official GitHub repository of the paper "Recent advances in large language model···

★ 492 2026-08-12
Eval 开源

并行跑 LLM 评测,速度提升最高 17 倍

High-performance LLM evaluation framework with parallel API calls — up to 17× fast···

★ 119 2026-09-15
LLMVault 开源

在真实漏洞靶场中练手,掌握 LLM 安全攻防实战

An intentionally vulnerable OWASP LLM Top 10 training platform for AI Security, Prom···

★ 358 2026-08-09
claw-eval 开源

接入模型跑人工校验任务,快速量化智能体能力

Claw-Eval is an evaluation harness for evaluating LLM as agents. All tasks verified ···

★ 943 2026-09-14
napolab 开源

一站式对比葡萄牙语AI模型,掌握最新性能排名

The Natural Portuguese Language Benchmark (Napolab). Stay up to date with the latest···

★ 71 2026-08-09
PoisonedRAG 开源

看穿 RAG 软肋:用知识投毒测试你的大模型防线

[USENIX Security 2025] PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmen···

★ 311 2026-08-09
CS-Eval 开源

给网络安全大模型打分,快速找出安全能力短板

CS-Eval is a comprehensive evaluation suite for fundamental cybersecurity models or ···

★ 68 2026-08-09