waza

把 Agent 技能当代码测，量化质量再迭代

开源 free 开发框架

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1412

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类开发框架

开发团队microsoft

所属国家

官网地址https://microsoft.github.io/waza

GitHubhttps://github.com/microsoft/waza

定价模式free

价格说明开源免费，微软GitHub项目

访问状态

是否开源是

开源协议MIT

主要语言Go

技术栈/模型

GitHub 星标★ 1412

30天Star增速

HF 下载量

上线时间2026-02-27 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-13

浏览次数0

项目介绍

waza 是一个用 Go 编写的命令行工具与框架，专门用于创建、测试、度量并改进 AI Agent 的 Skill（技能）。随着 Agent 应用增多，技能提示词、工具调用逻辑的质量参差不齐，waza 把技能当作可工程化的对象：提供脚手架生成技能结构，内置测试用例运行与效果度量，帮助开发者量化技能在真实任务中的成功率、稳定性与成本，并据此迭代优化。它解决的是技能开发缺乏标准流程和客观评估的问题，让提示词与工具编排从凭感觉调试转向可回归、可对比的工程实践。核心能力包括技能创建、测试执行、质量指标度量与改进建议，适合需要持续维护多个 Agent 技能的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度：入门约 10 分钟部署方式：命令行工具 8 步

环境要求

macOS / Linux，或 Windows 上的 Bash 环境（Git Bash、MSYS2、Cygwin）
原生 Windows 需使用 PowerShell
从源码安装需要 Go 1.26+
可选：使用 azd 扩展方式安装需已安装 Azure Developer CLI (azd)

安装与启动步骤

1用脚本安装 CLI

官方推荐方式。脚本自动识别系统与架构，校验后安装到 /usr/local/bin（无写权限则装到 ~/bin）。
```
curl -fsSL https://raw.githubusercontent.com/microsoft/waza/main/install.sh | bash
```
2Windows 原生安装

在原生 PowerShell 中执行，会下载 Windows 版二进制并安装到已有 waza.exe 位置或 %LOCALAPPDATA%MicrosoftWaza。
```
irm https://raw.githubusercontent.com/microsoft/waza/main/install.ps1 | iex
```
3从源码克隆仓库

需要 Go 1.26+。README 提示因使用 LFS 产物，不能用 go install；克隆后请按仓库内说明自行构建。
```
git clone https://github.com/microsoft/waza.git
cd waza
```
4作为 azd 扩展安装

已安装 Azure Developer CLI 的用户可用扩展方式安装 waza。
```
azd ext install microsoft.azd.waza
```
5运行一次评测

对已有技能跑评测基准；也可指定 eval.yaml 与 fixture 目录并加 -v 查看详细进度。
```
waza run my-skill
```
6录制生成任务 YAML

通过录制一次 prompt 运行，自动生成评测任务 YAML 文件，便于后续回归。
```
waza new task from-prompt "Explain this code and suggest fixes" evals/code-explainer/tasks/recorded-task.yaml
```
7快照与回放

运行时把每个任务的结果保存为快照，之后可回放快照做确定性检查。
```
waza run eval.yaml --snapshot ./snapshots/
waza replay ./snapshots/my-task-run1.json
```
8对抗测试包

先列出内置的离线对抗/故障注入包，再针对指定技能和模型运行。
```
waza adversarial --list-packs
waza adversarial --skill ./skills/my-skill --model gpt-4o
```

关键配置

配置项	必填	说明	示例
`storage.provider`	是	云端结果存储的提供方，目前支持 azure-blob	`azure-blob`
`storage.accountName`	是	Azure 存储账户名称	`myteamwaza`
`storage.containerName`	否	Blob 容器名称，默认 waza-results	`waza-results`
`storage.enabled`	否	是否启用结果上传	`true`

如何确认成功

执行 waza run my-skill 或 waza run examples/code-explainer/eval.yaml -v，能看到评测进度与结果输出即安装成功。

常见问题

Q：为什么不能用 go install 安装 waza？

A：README 说明由于项目使用了 LFS 产物，无法通过 go install 安装，需要克隆仓库后按官方发布方式或源码构建安装。

Q：在 Windows PowerShell 里执行 Bash 安装命令会怎样？

A：README 提示在 PowerShell 中管道执行该 Bash 命令可能调用 WSL，从而在 WSL 内安装 Linux 版二进制；原生 Windows 请改用 PowerShell 安装脚本。

Q：二进制默认安装到什么位置？

A：Bash 脚本装到 /usr/local/bin，无写权限时装到 ~/bin；PowerShell 脚本装到已有的 waza.exe 位置或 %LOCALAPPDATA%MicrosoftWaza。

Q：如何对比两次运行的结果？

A：使用 waza results compare 加两次运行编号，例如 waza results compare run-20250226-001 run-20250226-002。

注意事项

README 未给出源码克隆后的具体构建命令，需自行查阅仓库文档。
重复运行评测可加 --cache 启用结果缓存以加速，缓存目录默认 .waza-cache。
--output 与 --output-dir 互斥，不能同时使用。
对抗测试与录制/模拟结果不代表真实 Agent 质量，仅用于回归与故障注入检查。

核心亮点

用 Go 单二进制分发，安装和跨平台运行成本低
把技能质量量化成可对比指标，支持回归测试
覆盖创建、测试、度量、改进的完整工作流，而非只做提示词管理

不足之处

项目 star 数约 1400，生态与文档成熟度仍在早期
具体指标体系和与主流 Agent 框架的集成深度需进一步验证

适用场景

为客服 Agent 批量开发并回归测试技能
对比不同提示词版本的技能成功率与成本
CI 中自动检测技能质量下降并告警

替代项目

promptfoo、LangSmith

上一篇：arcade-mcp

下一篇：agent-spec