workshop

让编码代理自己写评测、跑评测，回归验证不再靠手测

开源 🏷️定价信息待确认 ✅ 目前可打开评测安全 🍴 复刻 73 🐛 待处理 14

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1116

维护状态活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

项目数据

分类评测安全

开发团队raindrop-ai

官网地址https://www.raindrop.ai/workshop

GitHubhttps://github.com/raindrop-ai/workshop

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态✅ 目前可打开

是否开源是

开源协议MIT

主要语言TypeScript

技术栈/模型llm,raindrop,tracing

GitHub 星标★ 1116

上线时间2026-05-01 00:00:00

代码更新2026-11-02

仓库体积1.6 MB

本站数据更新2026-11-03

维护状态活跃

收录时间2026-09-14

浏览次数1

项目介绍

workshop 是一个面向 AI 编码代理的评测工具，帮助开发者让 coding agent 具备编写和运行 agent 评测的能力。它解决的核心问题是：当开发者用 Claude Code、Cursor 等编码代理构建 LLM 应用时，往往缺乏系统化验证代理行为的手段，只能靠人工试错。workshop 提供了一套可编程的评测框架，让代理能自动生成测试用例、执行评测、追踪调用链路，并输出可对比的结果。项目基于 TypeScript 构建，集成了 LLM 调用、Raindrop 追踪等能力，支持对代理的输入输出、工具调用、多步推理过程进行断言和打分。开发者可以用它来回归测试提示词改动、比较不同模型表现、监控代理在生产环境中的行为漂移，从而把评测从一次性脚本升级为可持续的工程实践。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 1116

技术标签

llm tracing

使用教程

难度：入门约 10 分钟部署方式：命令行工具 5 步

环境要求

macOS / Linux 等可执行 bash 的环境
能访问 https://raindrop.sh/install 的网络
已安装 Claude Code 等 AI 编码代理（用于执行 /instrument-agent）
本地需可运行常驻守护进程（默认占用 5899 端口）

安装与启动步骤

1一键安装 Workshop

README 明确指出无需 clone、无需构建，一条命令即可完成安装并运行本地守护进程。注意此步骤会执行 raindrop setup 并启动本地 daemon。
```
curl -fsSL https://raindrop.sh/install | bash
```
2给代理埋点

在你的代码仓库中打开常用的编码代理，执行 /instrument-agent，它会为代理接入 Raindrop tracing 并自动在浏览器中打开 Workshop。
```
/instrument-agent
```
3查看实时追踪

代理一运行，每个 token、工具调用和 span 都会实时流入 Workshop UI，无需轮询或刷新页面。
4可选：连接 Raindrop 云

如果想用 Raindrop Cloud 而不是本地守护进程，可在安装脚本后加 --cloud，此时执行 raindrop cloud setup 且不启动任何 daemon。
```
curl -fsSL https://raindrop.sh/install | bash -s -- --cloud
```
5可选：回放生产轨迹

执行 /setup-agent-replay，脚手架会生成一个 HTTP 端点，把生产环境中的 trace 回放到你真实的代理代码上。
```
/setup-agent-replay
```

关键配置

配置项	必填	说明	示例
`RAINDROP_WORKSHOP_PORT`	否	Workshop 的 HTTP + WebSocket 端口	`5899`
`RAINDROP_WORKSHOP_DB_PATH`	否	SQLite 数据库文件存放路径	`~/.raindrop/raindrop_workshop.db`
`RAINDROP_LOCAL_DEBUGGER`	否	SDK 侧参数，指定 trace 镜像到哪里，默认不设置	`unset`