evals-skills

让编码代理手把手帮你搭产品专属 AI 评测

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署评测安全 🍴 复刻 120 🐛 待处理 1 👀 关注 16

GitHub ↗

GitHub 星标 ★ 1707

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源免费，定价信息待确认

项目预览

evals-skills 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类评测安全

开发团队ai-evals-course

GitHubhttps://github.com/ai-evals-course/evals-skills

定价模式🏷️完全免费

价格说明开源免费，定价信息待确认

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

GitHub 星标★ 1707

上线时间2026-06-23 00:00:00

代码更新2026-10-24

仓库体积1.6 MB

本站数据更新2026-11-04

维护状态较活跃

收录时间2026-09-14

浏览次数1

项目介绍

evals-skills 是一组面向 AI 编码代理的技能包，帮助开发者为自己的产品构建专属的 AI 评测（evals）。它解决的核心问题是：通用评测框架往往只提供打分接口，而实际业务中真正难的是如何定义评测目标、设计测试用例、搭建可复现的评测流程。该项目把这些方法论沉淀成代理可执行的技能，让 Claude Code、Cursor 等编码代理在写代码时按步骤引导你完成评测设计、数据集构造、指标选择和结果分析。核心能力包括：面向产品场景的评测规划、测试用例与数据集生成、评测脚本编写指导、结果解读与迭代建议。它不绑定某个模型或框架，更像一套可被代理调用的评测工作流知识库，适合需要把评测落地到具体产品而非跑通用 benchmark 的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 1707

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 5 分钟部署方式：命令行工具 5 步

环境要求

本机已安装 Node.js（安装命令使用 npx，随 Node.js 提供）
一个支持技能调用的 AI 编码代理（如 Claude Code、Cursor）
能访问 GitHub 与 npm 的网络环境

安装与启动步骤

1确认 Node 环境

安装依赖 npx，它随 Node.js 一起提供，请先确保本机已装好 Node.js，否则 npx 命令无法执行。
2安装全部技能

用 npx skills 从 GitHub 仓库拉取并安装整套 evals-skills 技能包到本地代理环境。
```
npx skills add https://github.com/ai-evals-course/evals-skills
```
3只装单个技能

若只想装某一个技能，在安装命令后加 --skill 并跟上技能名，例如 error-discovery。
```
npx skills add https://github.com/ai-evals-course/evals-skills --skill error-discovery
```
4检查并更新

日后可先检查是否有新版本，再执行更新，保持技能内容与仓库同步。
```
npx skills check
npx skills update
```
5从入口技能开始

在编码代理里调用 evals-start 入口技能，它会判断你的情况并把你路由到合适的后续技能。