项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1444
技术标签
使用教程
环境要求
- macOS/Linux 终端环境,可访问外网(安装脚本站点用 curl 拉取)
- 安装 skill-upper 需要 npx/Node.js 运行环境
- Windows 用户需先阅读官方 Windows 指南,存在特定设置与限制
- skill-upper 需在 Codex、Claude Code 等兼容 Agent 客户端中使用
安装与启动步骤
-
1安装 skill-up CLI
用官方 install.sh 一键安装 CLI,这是 README 给出的手动安装方式,适合手写 eval 的用户。
curl -fsSL https://raw.githubusercontent.com/alibaba/skill-up/main/install.sh | bash -
2安装 skill-upper
全局安装技能:Codex 用 -a codex,Claude Code 用 -a claude-code,按你使用的客户端执行其中一条。
npx skills add https://github.com/alibaba/skill-up/tree/main/skills/skill-upper -g -a codex -y npx skills add https://github.com/alibaba/skill-up/tree/main/skills/skill-upper -g -a claude-code -y -
3初始化配置文件
默认在 ~/.config/skill-up/config.yaml 生成带注释的 YAML 模板;加 --local 则写到当前目录。
skill-up init -
4驱动首次评估
在 Codex 或 Claude Code 打开含 SKILL.md 的项目,把该提示词发给 Agent,让它建用例并跑 skill-up。
Use skill-upper to evaluate this Skill. Read SKILL.md, identify its most important behaviors, create realistic eval cases with appropriate judges, validate the configuration, and run skill-up. Summarize the results and the highest-impact failures. -
5查看评估结果
评估产物落在 skill 同级的 workspace/iteration-1/result.json,据此定位影响最大的失败项。
-
6打包插件(开发)
仅仓库开发需要;skills/skill-upper/ 是唯一可编辑源,生成包输出到被忽略的构建目录。
make bundle-plugins make package-plugins VERSION=1.0.0
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
~/.config/skill-up/config.yaml | 否 | 全局配置文件,skill-up init 默认写入位置(XDG 感知) | ~/.config/skill-up/config.yaml |
$PWD/.skill-up.yaml | 否 | 项目本地配置文件,由 skill-up init --local 生成 | ./.skill-up.yaml |
如何确认成功
skill-up init 后在 ~/.config/skill-up/config.yaml 看到 YAML 模板;评估后 iteration-1/result.json 生成。
常见问题
Q:用 skill-upper 前必须先装 skill-up 吗?
A:不需要。README 说明 skill-upper 运行时会自行检查 CLI,若缺失会引导 Agent 完成安装。
Q:只想看配置模板、不写入文件怎么办?
A:执行 skill-up init --print,模板会直接打印到 stdout,不会落盘。
Q:已有配置文件如何覆盖?
A:在 init 后加 --force,例如 skill-up init --force,会覆盖已存在的目标文件。
Q:Windows 能用吗?
A:README 指向官方 Windows 指南,说明存在特定设置与限制,建议先阅读该文档再安装。
注意事项
- skills/skill-upper/ 是唯一可编辑源,插件包由 make 生成到被忽略的构建目录,不要手工维护副本或软链。
- 本仓库不向外部市场或 npm 发布插件;Codex 与 DSH 归档随 GitHub Release 附带校验和。
- init --config <path> 会校验该文件为合法 skill-up 配置,并原样写入目标,注释与格式保留。
- 更多细节(Getting Started、Writing Evals、CLI Reference、用户配置)见官网用户手册。
核心亮点
- 提供标准化评估框架,覆盖准确性、鲁棒性等多维度,避免主观判断
- 自动化测试流程,减少人工验证成本,提升技能迭代效率
- 支持技能版本管理,方便对比不同版本效果,追踪优化过程
不足之处
- 项目处于早期,文档和社区生态待观察
- 可能依赖特定 Agent 框架,通用性需进一步验证
适用场景
- 开发 Agent 技能时,用于质量把关和上线前测试
- 持续集成流程中,自动评估技能更新是否引入回归
- 对比不同技能实现方案,选择最优版本
替代项目
AgentBench、LangSmith、PromptBench
上一篇:aws-bench
同类项目推荐
search-arena
开源
量化分析搜索增强大模型,看清能力边界
⚔️ [ICLR 2026] Official code of "Search Arena: Analyzing Search-Augmented LLMs".
encord-active
开源
用主动学习挑出最有价值的标注数据,让模型迭代更快更省
The toolkit to test, validate, and evaluate your models and surface, curate, and pri···
ChatGPT-Sentiment-Evaluation
开源
测测ChatGPT懂不懂你的情绪
Can ChatGPT really understand the opinions, sentiments, and emotions contained in th···
LLMeBench
开源
一键跑分,快速对比各大语言模型效果
Benchmarking Large Language Models
CL4R1T4S
开源
看穿AI底牌,一键获取各大模型系统提示词
LEAKED SYSTEM PROMPTS FOR CHATGPT, CLAUDE, GEMINI, GROK, PERPLEXITY, CURSOR, LOVABLE···
llm_chess
开源
让大模型下棋,测出推理和守规则的真实水平
LLM Chess - evaluating Large Language Models' reasoning and instruction-following ab···
seismometer
开源
在 Notebook 里做医疗 AI 模型的分组评测与可视化
AI model evaluation with a focus on healthcare
awesome-ai-eval
开源
一站式收藏AI评估工具,快速选型不踩坑
Assessing the reliability, accuracy, and safety of large language models, RAG pipeli···
langtest
开源
给大模型做全面体检,上线前揪出安全漏洞
Deliver safe & effective language models
