Tracely

把生产事故变成 CI 回归测试，自动拦截坏 PR

Tracely 是一个面向 AI 智能体的原生 CI/CD 工具，旨在解决 LLM 应用在生产环境中失败后难以复现和回归测试的问题。它能自动检测生产环境中的 Agent 失败案例，进行聚类分析，并将这些失败冻结为密封的测试用例，随后在 CI 流程中零成本重放，从而阻止带有相同问题的 PR 合并。核心能力包括失败自动发现、聚类、用例生成和 CI 集成，帮助团队将生产事故转化为持续回归测试资产，提升 AI 应用的可靠性。

开源 freemium 智能体

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1361

维护状态活跃

是否开源是

定价模式 freemium

项目数据

分类智能体

开发团队Jwuthri

所属国家

官网地址https://tracely-ai.com

GitHubhttps://github.com/Jwuthri/Tracely

定价模式freemium

价格说明提供免费额度，基础功能免费，高级功能或更多用量需付费。具体价格未明确，需访问官网查看。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型agent,agent-observability,ai-agents,ci-cd,clickhouse,evals,evaluation,llm,llm-as-judge,llm-evaluation,llm-observability,llm-ops,llmops,mcp,monitoring,opentelemetry,python,self-hosted,tracing

GitHub 星标★ 1361

30天Star增速

HF 下载量

上线时间2026-06-03 00:00:00

最近更新2026-09-24 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

难度：入门约 10 分钟部署方式：Docker 4 步

环境要求

Docker（需支持 docker compose）
Docker Compose 插件
本地开发另需 uv 与 Node 20+ / pnpm（非必需）
主机 3001（Web）和 8000（后端）端口可用

安装与启动步骤

1克隆仓库

从 GitHub 拉取 Tracely 源码并进入项目目录，后续的 compose 命令都要在这个目录里执行。
```
git clone https://github.com/Jwuthri/Tracely-ai && cd Tracely
```
2一键启动全栈

用 demo profile 拉起 ClickHouse、Postgres、Redis、MinIO、API、worker 与前端，自动迁移并写入示例 traces、clusters、cases 和 gates。首次构建耗时较长。
```
docker compose --profile demo up -d --build --wait
```
3打开界面

浏览器访问 http://localhost:3001，应看到已填充数据的控制台而非空壳；后端接口在 8000 端口。
```
open http://localhost:3001
```
4停止或清空

停止所有容器用 docker compose down；加上 -v 参数会同时删除数据卷，把演示数据一并清空。
```
docker compose down
```

关键配置

配置项	必填	说明	示例
`TRACELY_WEB_PORT`	否	自定义前端访问端口，默认 3001	`8080`
`TRACELY_BACKEND_PORT`	否	自定义后端 API 端口，默认 8000	`9000`
`SESSION_SECRET`	是	部署到 Railway 等云平台时需设置的会话密钥	`openssl rand -hex 32 生成的值`
`SECRETS_ENCRYPTION_KEY`	是	云部署时用于加密密钥的密钥，需另行生成	`openssl rand -hex 32 生成的值`

如何确认成功

执行 up -d --wait 后命令正常结束，访问 http://localhost:3001 能看到已填充的 traces、clusters、cases 等页面即成功。

常见问题

Q：默认项目和数据怎么来的？

A：demo profile 启动时会自动迁移数据库、创建默认项目并生成 ingest key（默认值为 tracely_dev_key），同时填充演示用的 traces、clusters、cases 和 gates。

Q：改了源码要怎么生效？

A：backend、worker、frontend 使用源码卷挂载，多数改动执行 docker compose restart <服务名> 即可生效；但 Celery worker 不热重载，需重建该服务。

Q：怎么彻底重置数据？

A：执行 docker compose down -v，-v 会删除数据卷，下次启动即回到初始状态。

Q：不想本地跑，怎么上云？

A：README 提供 Railway 一键部署整栈，或参考 deploy/railway/README.md 手动配置，生产加固步骤见 guides/DEPLOY.md。

注意事项

README 的克隆地址写的是 Tracely-ai，而项目页给出的仓库地址为 Tracely，请自行核对实际仓库名。
云部署时务必自行生成并设置 SESSION_SECRET 与 SECRETS_ENCRYPTION_KEY（各用 openssl rand -hex 32 生成）。
host 端口默认 Web 3001、后端 8000，被占用时用环境变量重映射。
Celery worker 不支持热重载，修改相关代码后需重建容器。

核心亮点

自动将生产失败聚类并转为密封测试用例，无需手动构造
CI 重放零成本，直接阻断问题 PR 合并
专为 AI Agent 设计，贴合 LLM 应用测试痛点

不足之处

早期项目，文档和社区生态待观察
仅支持 Python，技术栈覆盖有限

适用场景

AI Agent 生产环境故障快速复现与回归
LLM 应用 CI 流程中自动化质量门禁
团队维护 Agent 行为基线，防止回归

替代项目

LangSmith、Braintrust、AgentOps

项目介绍

Tracely 是评测安全领域的开源项目，由 Jwuthri 开发，是 2026 年新上线的项目。

在全站 13,090 个收录项目中，它的 GitHub 星标数（1,361）位列前 30%，在评测安全分类中处于中上游。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-24。提供免费额度，基础功能免费，高级功能或更多用量需付费。具体价格未明确，需访问官网查看。从国内网络环境看，可直接访问。

它主要面向的使用场景是：AIAgent生产环境故障快速复现与回归。同类可对比的替代方案包括 LangSmith、Braintrust、AgentOps。

上一篇：ClawdSecbot

下一篇：Doberman-Core