skill-up

给 Agent 技能做体检,自动评估并迭代优化,让智能体更靠谱

skill-up 是阿里巴巴开源的一款 Agent Skills 评估与进化工具,专门用于测试和提升 AI 智能体技能的质量。它解决了 Agent 技能开发中缺乏标准化评估和迭代优化手段的问题,提供了一套系统化的流程来定义、评估和进化技能。核心能力包括:支持多种评估维度(如准确性、鲁棒性)、自动化测试执行、技能版本管理、以及基于评估结果的技能优化建议。通过 skill-up,开发者可以更高效地构建和打磨高质量的 Agent 技能,从而提升智能体在真实场景中的表现。

开源 free 智能体
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1049
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类智能体
开发团队alibaba
所属国家
定价模式free
价格说明开源项目,Apache-2.0 许可证,完全免费,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型agent-skills,ai,ai-agents,alibaba,skills
GitHub 星标★ 1049
30天Star增速
HF 下载量
上线时间2026-05-09 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数7

使用教程

难度:入门 约 10 分钟 部署方式:命令行工具 6 步

环境要求

  • macOS/Linux 终端环境,可访问外网(安装脚本站点用 curl 拉取)
  • 安装 skill-upper 需要 npx/Node.js 运行环境
  • Windows 用户需先阅读官方 Windows 指南,存在特定设置与限制
  • skill-upper 需在 Codex、Claude Code 等兼容 Agent 客户端中使用

安装与启动步骤

  1. 1安装 skill-up CLI

    用官方 install.sh 一键安装 CLI,这是 README 给出的手动安装方式,适合手写 eval 的用户。

    curl -fsSL https://raw.githubusercontent.com/alibaba/skill-up/main/install.sh | bash
  2. 2安装 skill-upper

    全局安装技能:Codex 用 -a codex,Claude Code 用 -a claude-code,按你使用的客户端执行其中一条。

    npx skills add https://github.com/alibaba/skill-up/tree/main/skills/skill-upper -g -a codex -y
    npx skills add https://github.com/alibaba/skill-up/tree/main/skills/skill-upper -g -a claude-code -y
  3. 3初始化配置文件

    默认在 ~/.config/skill-up/config.yaml 生成带注释的 YAML 模板;加 --local 则写到当前目录。

    skill-up init
  4. 4驱动首次评估

    在 Codex 或 Claude Code 打开含 SKILL.md 的项目,把该提示词发给 Agent,让它建用例并跑 skill-up。

    Use skill-upper to evaluate this Skill.
    Read SKILL.md, identify its most important behaviors, create realistic eval
    cases with appropriate judges, validate the configuration, and run skill-up.
    Summarize the results and the highest-impact failures.
  5. 5查看评估结果

    评估产物落在 skill 同级的 workspace/iteration-1/result.json,据此定位影响最大的失败项。

  6. 6打包插件(开发)

    仅仓库开发需要;skills/skill-upper/ 是唯一可编辑源,生成包输出到被忽略的构建目录。

    make bundle-plugins
    make package-plugins VERSION=1.0.0

关键配置

配置项必填说明示例
~/.config/skill-up/config.yaml否全局配置文件,skill-up init 默认写入位置(XDG 感知)~/.config/skill-up/config.yaml
$PWD/.skill-up.yaml否项目本地配置文件,由 skill-up init --local 生成./.skill-up.yaml

如何确认成功

skill-up init 后在 ~/.config/skill-up/config.yaml 看到 YAML 模板;评估后 iteration-1/result.json 生成。

常见问题

Q:用 skill-upper 前必须先装 skill-up 吗?

A:不需要。README 说明 skill-upper 运行时会自行检查 CLI,若缺失会引导 Agent 完成安装。

Q:只想看配置模板、不写入文件怎么办?

A:执行 skill-up init --print,模板会直接打印到 stdout,不会落盘。

Q:已有配置文件如何覆盖?

A:在 init 后加 --force,例如 skill-up init --force,会覆盖已存在的目标文件。

Q:Windows 能用吗?

A:README 指向官方 Windows 指南,说明存在特定设置与限制,建议先阅读该文档再安装。

注意事项

  • skills/skill-upper/ 是唯一可编辑源,插件包由 make 生成到被忽略的构建目录,不要手工维护副本或软链。
  • 本仓库不向外部市场或 npm 发布插件;Codex 与 DSH 归档随 GitHub Release 附带校验和。
  • init --config 会校验该文件为合法 skill-up 配置,并原样写入目标,注释与格式保留。
  • 更多细节(Getting Started、Writing Evals、CLI Reference、用户配置)见官网用户手册。

核心亮点

  • 提供标准化评估框架,覆盖准确性、鲁棒性等多维度,避免主观判断
  • 自动化测试流程,减少人工验证成本,提升技能迭代效率
  • 支持技能版本管理,方便对比不同版本效果,追踪优化过程

不足之处

  • 项目处于早期,文档和社区生态待观察
  • 可能依赖特定 Agent 框架,通用性需进一步验证

适用场景

  • 开发 Agent 技能时,用于质量把关和上线前测试
  • 持续集成流程中,自动评估技能更新是否引入回归
  • 对比不同技能实现方案,选择最优版本

替代项目

AgentBench、LangSmith、PromptBench

项目介绍

skill-up 是评测安全领域的开源项目,由 alibaba 开发,是 2026 年新上线的项目。

在全站 13,109 个收录项目中,它的 GitHub 星标数(1,049)位列前 30%,在评测安全分类中处于中上游。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-23。Apache-2.0 许可证,完全免费,无付费版本。从国内网络环境看,可直接访问。

它主要面向的使用场景是:开发Agent技能时,用于质量把关和上线前测试。同类可对比的替代方案包括 AgentBench、LangSmith、PromptBench。

上一篇:aws-bench

下一篇:secure-ai-tooling

同类项目推荐

akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1517 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击,提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 2937 2026-09-12