Tracely-ai

把生产事故变成回归测试,合并前自动拦截 AI 故障

开源 🏷️基础免费,高级付费 ✅ 目前可打开 评测安全 🍴 复刻 97 🐛 待处理 22 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1122
维护状态 活跃
是否开源 开源
定价模式 🏷️基础免费,高级付费 支持限时试用 · 开源自托管免费,云端服务可能付费,具体定价待确认

项目预览

Tracely-ai 项目界面预览图
图片来源:项目官网

项目数据

分类评测安全
开发团队Jwuthri
定价模式🏷️基础免费,高级付费
价格说明开源自托管免费,云端服务可能付费,具体定价待确认
访问状态✅ 目前可打开
是否开源是
开源协议MIT
主要语言Python
技术栈/模型agent,agent-observability,ai-agents,ci-cd,clickhouse,evals,evaluation,llm,llm-as-judge,llm-evaluation,llm-observability,llm-ops,llmops,mcp,monitoring,opentelemetry,python,self-hosted,tracing
GitHub 星标★ 1122
上线时间2026-06-03 00:00:00
代码更新2026-11-21
仓库体积23.7 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-08-24
浏览次数15

项目介绍

Tracely-ai 是一个面向 AI 代理(agent)的 CI/CD 原生可观测与评测工具,旨在解决 AI 应用在生产环境中出现故障后难以复现和回归测试的问题。它自动检测生产环境中的 agent 失败案例,进行聚类分析,并将这些失败冻结为封闭的回归测试用例,然后在 CI 流程中零成本重放,从而在代码合并前阻断问题。核心能力包括:自动故障检测与聚类、将生产事故转化为可复现的测试用例、与 CI/CD 流水线深度集成、基于 LLM-as-judge 的评测机制、以及使用 ClickHouse 存储可观测数据。项目采用 Python 编写,技术栈覆盖 agent 可观测性、LLM 评估和持续集成,旨在降低 AI 应用迭代中的回归风险,提升生产稳定性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-24 · 当前星标 ★ 1122

使用教程

难度:入门 约 15 分钟 部署方式:Docker 6 步

环境要求

  • Docker 与 Docker Compose(运行整套服务的前提)
  • 本地开发额外需要 uv(Python 包管理器)
  • 本地开发额外需要 Node 20+ 与 pnpm
  • 可访问的 GitHub 网络环境以克隆仓库

安装与启动步骤

  1. 1克隆仓库

    从 GitHub 拉取 Tracely 源码并进入项目目录,后续所有命令都在该目录下执行。

    git clone https://github.com/Jwuthri/Tracely-ai && cd Tracely
  2. 2一键启动全栈

    用 demo profile 拉起 ClickHouse、Postgres、Redis、MinIO 及 API/worker/前端,并自动执行迁移与种子数据。

    docker compose --profile demo up -d --build --wait
  3. 3打开控制台

    启动完成后访问 Web 界面,应能看到 traces、clusters、cases 和 gates 的示例数据,而不是空壳页面。

    open http://localhost:3001
  4. 4停止或清空数据

    停止所有容器;若想连数据卷一起清空,加上 -v 参数重新执行。

    docker compose down
  5. 5改代码后重启服务

    backend/worker/frontend 以源码卷挂载,多数改动只需重启对应服务;Celery worker 不支持热重载。

    docker compose restart backend
  6. 6部署到云端(可选)

    也可用 Railway 一键部署整套栈;提示时需设置 SESSION_SECRET 与 SECRETS_ENCRYPTION_KEY 两个密钥。

    openssl rand -hex 32

关键配置

配置项必填说明示例
TRACELY_WEB_PORT否前端 Web 服务对外暴露的宿主端口3001
TRACELY_BACKEND_PORT否后端 API 对外暴露的宿主端口8000
SESSION_SECRET是云端部署时的会话签名密钥,需自行生成openssl rand -hex 32 生成的值
SECRETS_ENCRYPTION_KEY是云端部署时的密钥加密用密钥,需自行生成openssl rand -hex 32 生成的值

如何确认成功

浏览器打开 http://localhost:3001,能看到已填充 traces、clusters、cases、gates 的工作区即启动成功。

常见问题

Q:默认的接入密钥是什么?

A:demo 种子会创建默认项目与 ingest key,值为 tracely_dev_key,可直接用它向本地实例发送 OTLP 追踪数据。

Q:3001 或 8000 端口被占用怎么办?

A:通过环境变量 TRACELY_WEB_PORT 与 TRACELY_BACKEND_PORT 重新映射宿主端口后再启动。

Q:改了代码需要重新 build 吗?

A:backend、worker、frontend 使用源码卷挂载,多数改动只需 docker compose restart <svc>;但 Celery worker 不会热重载。

Q:怎么把演示数据全部清掉?

A:执行 docker compose down -v,-v 会连同数据卷一起删除,下次启动是干净环境。

Q:本地不用 Docker 开发需要什么?

A:除 Docker 外还需 uv,以及 Node 20+ 与 pnpm,README 中未给出更多本地裸机启动命令。

注意事项

  • demo profile 会自动执行迁移、种子默认项目与 ingest key,并填充 traces、clusters、cases、gates 示例数据。
  • 生产/自托管部署参考 deploy/railway/README.md 与 .env.railway.example,硬化和备份流程见 guides/DEPLOY.md。
  • 部署到 Railway 时需在提示处填入用 openssl rand -hex 32 生成的 SESSION_SECRET 和 SECRETS_ENCRYPTION_KEY。
  • 首次执行 docker compose --profile demo up -d --build 需要构建镜像,耗时可能长于 15 分钟。

核心亮点

  • 自动将生产失败案例聚类并转化为封闭测试,无需手动构造用例
  • 与 CI/CD 深度集成,在 PR 阶段即可阻断回归,成本为零
  • 基于 ClickHouse 存储,支持大规模 agent 行为追踪和回放

不足之处

  • 文档/社区待观察
  • 依赖特定 CI/CD 环境,集成配置可能有一定学习成本

适用场景

  • AI agent 应用上线后,快速定位并复现生产环境偶发故障
  • 在 CI 流程中自动添加回归测试,防止旧问题随代码更新复发
  • 团队需要统一管理 agent 行为日志和评测结果的场景

替代项目

LangSmith、Arize Phoenix、Helicone

上一篇:NiceEval

下一篇:Doberman-Core

同类项目推荐

prompt-guard 开源

给 AI 智能体装上防注入防火墙,自动识别恶意提示并评分。

Advanced prompt injection defense system for AI agents. Multi-language detection, se···

★ 181 2026-08-09
lighteval 开源

一套配置,多后端跑分,模型对比不再各说各话

Lighteval is your all-in-one toolkit for evaluating LLMs across multiple backends

★ 2587 2026-10-23
MMStar 开源

更公平地测出大模型真实视觉能力,避免作弊分

[NeurIPS 2024] This repo contains evaluation code for the paper "Are We on the Right···

★ 218 2026-08-09
Awesome-LM-SSP 开源

一网打尽大模型安全、隐私攻防的精华资料,快速跟上前沿。

A reading list for large models safety, security, and privacy (including Awesome LLM···

★ 2106 2026-08-09
TravelPlanner 开源

测测你的AI会不会做旅行攻略,一测便知规划能力

[ICML'24 Spotlight] "TravelPlanner: A Benchmark for Real-World Planning with Languag···

★ 573 2026-08-09
awesome-eu-ai-act 开源

一页看懂欧盟AI法案合规资源

Curated tools, official sources, OSS, templates, and guides for EU AI Act compliance···

★ 141 2026-11-16
stride-gpt 开源

输入应用描述,几分钟自动生成 STRIDE 威胁模型

An AI-powered threat modeling tool that leverages OpenAI's GPT models to generate th···

★ 1156 2026-09-16
terminal-bench-science 开源

让 AI 在终端里跑通真实科研任务并自动打分

Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific···

★ 956 2026-09-22
SECA 开源

用语义等价攻击,自动逼出 LLM 的幻觉破绽

[NeurIPS 2025] SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM ···

★ 73 2026-08-09