项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-24 · 当前星标 ★ 1122
使用教程
环境要求
- Docker 与 Docker Compose(运行整套服务的前提)
- 本地开发额外需要 uv(Python 包管理器)
- 本地开发额外需要 Node 20+ 与 pnpm
- 可访问的 GitHub 网络环境以克隆仓库
安装与启动步骤
-
1克隆仓库
从 GitHub 拉取 Tracely 源码并进入项目目录,后续所有命令都在该目录下执行。
git clone https://github.com/Jwuthri/Tracely-ai && cd Tracely -
2一键启动全栈
用 demo profile 拉起 ClickHouse、Postgres、Redis、MinIO 及 API/worker/前端,并自动执行迁移与种子数据。
docker compose --profile demo up -d --build --wait -
3打开控制台
启动完成后访问 Web 界面,应能看到 traces、clusters、cases 和 gates 的示例数据,而不是空壳页面。
open http://localhost:3001 -
4停止或清空数据
停止所有容器;若想连数据卷一起清空,加上 -v 参数重新执行。
docker compose down -
5改代码后重启服务
backend/worker/frontend 以源码卷挂载,多数改动只需重启对应服务;Celery worker 不支持热重载。
docker compose restart backend -
6部署到云端(可选)
也可用 Railway 一键部署整套栈;提示时需设置 SESSION_SECRET 与 SECRETS_ENCRYPTION_KEY 两个密钥。
openssl rand -hex 32
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
TRACELY_WEB_PORT | 否 | 前端 Web 服务对外暴露的宿主端口 | 3001 |
TRACELY_BACKEND_PORT | 否 | 后端 API 对外暴露的宿主端口 | 8000 |
SESSION_SECRET | 是 | 云端部署时的会话签名密钥,需自行生成 | openssl rand -hex 32 生成的值 |
SECRETS_ENCRYPTION_KEY | 是 | 云端部署时的密钥加密用密钥,需自行生成 | openssl rand -hex 32 生成的值 |
如何确认成功
浏览器打开 http://localhost:3001,能看到已填充 traces、clusters、cases、gates 的工作区即启动成功。
常见问题
Q:默认的接入密钥是什么?
A:demo 种子会创建默认项目与 ingest key,值为 tracely_dev_key,可直接用它向本地实例发送 OTLP 追踪数据。
Q:3001 或 8000 端口被占用怎么办?
A:通过环境变量 TRACELY_WEB_PORT 与 TRACELY_BACKEND_PORT 重新映射宿主端口后再启动。
Q:改了代码需要重新 build 吗?
A:backend、worker、frontend 使用源码卷挂载,多数改动只需 docker compose restart <svc>;但 Celery worker 不会热重载。
Q:怎么把演示数据全部清掉?
A:执行 docker compose down -v,-v 会连同数据卷一起删除,下次启动是干净环境。
Q:本地不用 Docker 开发需要什么?
A:除 Docker 外还需 uv,以及 Node 20+ 与 pnpm,README 中未给出更多本地裸机启动命令。
注意事项
- demo profile 会自动执行迁移、种子默认项目与 ingest key,并填充 traces、clusters、cases、gates 示例数据。
- 生产/自托管部署参考 deploy/railway/README.md 与 .env.railway.example,硬化和备份流程见 guides/DEPLOY.md。
- 部署到 Railway 时需在提示处填入用 openssl rand -hex 32 生成的 SESSION_SECRET 和 SECRETS_ENCRYPTION_KEY。
- 首次执行 docker compose --profile demo up -d --build 需要构建镜像,耗时可能长于 15 分钟。
核心亮点
- 自动将生产失败案例聚类并转化为封闭测试,无需手动构造用例
- 与 CI/CD 深度集成,在 PR 阶段即可阻断回归,成本为零
- 基于 ClickHouse 存储,支持大规模 agent 行为追踪和回放
不足之处
- 文档/社区待观察
- 依赖特定 CI/CD 环境,集成配置可能有一定学习成本
适用场景
- AI agent 应用上线后,快速定位并复现生产环境偶发故障
- 在 CI 流程中自动添加回归测试,防止旧问题随代码更新复发
- 团队需要统一管理 agent 行为日志和评测结果的场景
替代项目
LangSmith、Arize Phoenix、Helicone
上一篇:NiceEval
下一篇:Doberman-Core
同类项目推荐
prompt-guard
开源
给 AI 智能体装上防注入防火墙,自动识别恶意提示并评分。
Advanced prompt injection defense system for AI agents. Multi-language detection, se···
lighteval
开源
一套配置,多后端跑分,模型对比不再各说各话
Lighteval is your all-in-one toolkit for evaluating LLMs across multiple backends
MMStar
开源
更公平地测出大模型真实视觉能力,避免作弊分
[NeurIPS 2024] This repo contains evaluation code for the paper "Are We on the Right···
Awesome-LM-SSP
开源
一网打尽大模型安全、隐私攻防的精华资料,快速跟上前沿。
A reading list for large models safety, security, and privacy (including Awesome LLM···
TravelPlanner
开源
测测你的AI会不会做旅行攻略,一测便知规划能力
[ICML'24 Spotlight] "TravelPlanner: A Benchmark for Real-World Planning with Languag···
awesome-eu-ai-act
开源
一页看懂欧盟AI法案合规资源
Curated tools, official sources, OSS, templates, and guides for EU AI Act compliance···
stride-gpt
开源
输入应用描述,几分钟自动生成 STRIDE 威胁模型
An AI-powered threat modeling tool that leverages OpenAI's GPT models to generate th···
terminal-bench-science
开源
让 AI 在终端里跑通真实科研任务并自动打分
Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific···
SECA
开源
用语义等价攻击,自动逼出 LLM 的幻觉破绽
[NeurIPS 2025] SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM ···
