Tracely-ai

把生产事故变成回归测试，合并前自动拦截 AI 故障

Tracely-ai 是一个面向 AI 代理（agent）的 CI/CD 原生可观测与评测工具，旨在解决 AI 应用在生产环境中出现故障后难以复现和回归测试的问题。它自动检测生产环境中的 agent 失败案例，进行聚类分析，并将这些失败冻结为封闭的回归测试用例，然后在 CI 流程中零成本重放，从而在代码合并前阻断问题。核心能力包括：自动故障检测与聚类、将生产事故转化为可复现的测试用例、与 CI/CD 流水线深度集成、基于 LLM-as-judge 的评测机制、以及使用 ClickHouse 存储可观测数据。项目采用 Python 编写，技术栈覆盖 agent 可观测性、LLM 评估和持续集成，旨在降低 AI 应用迭代中的回归风险，提升生产稳定性。

开源 freemium 评测安全

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1039

维护状态活跃

是否开源是

定价模式 freemium

项目数据

分类评测安全

开发团队Jwuthri

所属国家

官网地址https://tracely-ai.com

GitHubhttps://github.com/Jwuthri/Tracely-ai

定价模式freemium

价格说明开源自托管免费，云端服务可能付费，具体定价待确认

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型agent,agent-observability,ai-agents,ci-cd,clickhouse,evals,evaluation,llm,llm-as-judge,llm-evaluation,llm-observability,llm-ops,llmops,mcp,monitoring,opentelemetry,python,self-hosted,tracing

GitHub 星标★ 1039

30天Star增速

HF 下载量

上线时间2026-06-03 00:00:00

最近更新2026-08-23 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-24

浏览次数0

核心亮点

自动将生产失败案例聚类并转化为封闭测试，无需手动构造用例
与 CI/CD 深度集成，在 PR 阶段即可阻断回归，成本为零
基于 ClickHouse 存储，支持大规模 agent 行为追踪和回放

不足之处

文档/社区待观察
依赖特定 CI/CD 环境，集成配置可能有一定学习成本

适用场景

AI agent 应用上线后，快速定位并复现生产环境偶发故障
在 CI 流程中自动添加回归测试，防止旧问题随代码更新复发
团队需要统一管理 agent 行为日志和评测结果的场景

替代项目

LangSmith、Arize Phoenix、Helicone

项目介绍

Tracely-ai 是一个评测安全领域的开源项目，官方简介：Trace-native CI/CD for AI agents — production failures become regression tests that block the PR. Auto-detect, cluster, freeze into hermetic cases, replay in CI for $0.。项目使用 Python 开发，在 GitHub 上获得 1039 星标。

上一篇：NiceEval

下一篇：没有了！