evals-skills

跟着课程搭 LLM 评测体系，把主观质量变成可复现指标

开源 🏷️纯付费（可含试用） ✅ 目前可打开评测安全 🍴 复刻 173 🐛 待处理 2 👀 关注 18 ⚠️ 作者已归档（停止维护）

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1675

维护状态维护中

是否开源开源

定价模式 🏷️纯付费（可含试用） Maven课程付费，定价信息待确认

项目预览

项目数据

分类评测安全

开发团队hamelsmu

官网地址https://maven.com/parlance-labs/evals?promoCode=evals-info-url

GitHubhttps://github.com/hamelsmu/evals-skills

定价模式🏷️纯付费（可含试用）

价格说明Maven课程付费，定价信息待确认

访问状态✅ 目前可打开

是否开源是

开源协议MIT

GitHub 星标★ 1675

上线时间2026-03-01 00:00:00

代码更新2026-08-16

仓库体积48 KB

本站数据更新2026-11-03

维护状态维护中

收录时间2026-09-14

浏览次数1

项目介绍

evals-skills 是面向 AI 评测领域的技能集合，配套《AI Evals For Engineers & PMs》课程使用，帮助工程师和产品经理系统化地搭建大模型评测体系。它解决的核心问题是：很多人做 AI 产品时不知道如何设计评测集、如何定义评分标准、如何把主观质量转化为可复现的指标。项目把评测方法论拆解成可复用的技能模块，覆盖评测用例设计、评分器编写、结果分析等环节，让团队能像写单元测试一样为 LLM 应用建立回归测试。核心能力包括提供结构化的评测流程模板、可参考的评分维度与提示词范式，以及与课程内容对应的实操练习，降低从零搭建评测框架的门槛。适合正在做 RAG、Agent 或对话产品的团队快速引入评测规范。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 1675

使用教程

难度：入门约 10 分钟部署方式：命令行工具 7 步

环境要求

Claude Code（使用 /plugin 方式安装时需要）
Node.js 环境，可用 npx 命令（使用 npx skills 方式时需要）
可访问 GitHub 的网络环境

安装与启动步骤

1注意仓库已迁移

本仓库已废弃，官方技能已迁移到 ai-evals-course/evals-skills 插件，建议直接用新地址安装。
2注册插件市场

在 Claude Code 中执行，把 hamelsmu/evals-skills 注册为插件来源仓库。
```
/plugin marketplace add hamelsmu/evals-skills
```
3安装插件

仍在 Claude Code 中执行，安装 evals-skills 插件本体。
```
/plugin install evals-skills@hamelsmu-evals-skills
```
4重启 Claude Code

安装完成后必须重启 Claude Code，插件中的技能才会加载生效。
5npx 方式安装

不使用 Claude Code 插件时，可通过开放 Skills CLI 从 GitHub 仓库安装。
```
npx skills add https://github.com/hamelsmu/evals-skills
```
6只装单个技能

只想安装 eval-audit 这一个技能时，加 --skill 参数指定技能名。
```
npx skills add https://github.com/hamelsmu/evals-skills --skill eval-audit
```
7运行评测审计

在 Claude Code 中对你的评测流程调用 eval-audit 技能，逐项排查并汇总报告。
```
/evals-skills:eval-audit
```