
latitude-llm
追踪 Agent 失败点,派编码助手修好并用真实轨迹验证
Latitude 是一个面向 AI Agent 的开源可观测性平台。它解决的核心问题是:当 LLM Agent 在生产环境中表现异常时,开发者往往只能看到最终输出,难以定位是哪一步推理、哪次工具调用或哪段提示词出了问题。Latitude 通过采集真实运行轨迹(traces),把 Agent 的完整执行链路可视化,帮助团队快速发现失败点。更进一步,它支持把失败样本直接派发给编码 Agent 进行自动修复,并用真实 trace 回归验证修复效果,形成“发现—修复—验证”的闭环。项目使用 TypeScript 编写,可自托管,适合需要深度调试和持续优化 Agent 质量的工程团队。
项目数据
使用教程
环境要求
- 已安装 Node.js(可使用 npm 安装依赖)
- 已注册 latitude.so 账号,可获取 API Key 与项目 slug(免费含 20K credits/月)
- 应用已接入某个 LLM SDK(README 示例使用 OpenAI)
- 环境变量 LATITUDE_API_KEY 与 LATITUDE_PROJECT_SLUG 可用
安装与启动步骤
-
1注册并获取凭证
到 latitude.so 注册,免费额度含每月 20K credits、30 天数据保留、席位不限;注册后在控制台取得 API Key 和项目 slug。
-
2安装遥测 SDK
在你的 TypeScript/Node 项目根目录安装官方遥测包,npm 会自动写入 package.json 依赖。
npm install @latitude-data/telemetry -
3导出环境变量
把 API Key 与项目 slug 写入环境变量,避免硬编码进代码;示例值需替换为你自己的真实值。
export LATITUDE_API_KEY=sk-xxxxxxxx export LATITUDE_PROJECT_SLUG=my-project -
4初始化 Latitude 客户端
在应用入口创建 Latitude 实例,apiKey 与 project 从环境变量读取,并在 instrumentations 中注册你使用的 LLM SDK(示例为 OpenAI)。
import { Latitude } from "@latitude-data/telemetry"; import OpenAI from "openai"; const latitude = new Latitude({ apiKey: process.env.LATITUDE_API_KEY!, project: process.env.LATITUDE_PROJECT_SLUG!, instrumentations: { openai: OpenAI }, }); const client = new OpenAI(); -
5正常发起 LLM 调用
保持原有业务代码不变,照常调用 chat.completions.create;已注册的 SDK 调用会被自动采集为 trace,无需手动埋点。
await client.chat.completions.create({ model: "gpt-4o", messages: [{ role: "user", content: "Hello" }], }); -
6关闭客户端上报数据
进程结束前调用 shutdown(),确保缓冲区中的 trace 全部发送到 Latitude,否则可能丢失末尾数据。
await latitude.shutdown();
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
LATITUDE_API_KEY | 是 | Latitude 控制台生成的 API Key,用于鉴权上报 trace | sk-xxxxxxxx |
LATITUDE_PROJECT_SLUG | 是 | 项目标识 slug,决定数据上报到哪个 Latitude 项目 | my-project |
apiKey | 是 | Latitude 构造函数参数,一般传 process.env.LATITUDE_API_KEY | process.env.LATITUDE_API_KEY! |
project | 是 | Latitude 构造函数参数,传项目 slug | process.env.LATITUDE_PROJECT_SLUG! |
instrumentations | 是 | 注册需要自动埋点的 LLM SDK,键为 SDK 名、值为 SDK 类 | { openai: OpenAI } |
如何确认成功
在 Latitude 控制台中能看到刚才那次 LLM 调用对应的 trace,说明接入成功。
常见问题
Q:需要付费吗?
A:可以免费使用,包含每月 20K credits、30 天数据保留和不限席位的成员名额。
Q:我的应用不用 OpenAI 怎么办?
A:README 示例仅为演示,把示例中的 OpenAI 替换成你应用里已在用的 LLM SDK,并在 instrumentations 中注册即可。
Q:需要手动写埋点代码吗?
A:通常不需要。受支持的 LLM 调用会自动显示为 trace;若想附加用户 ID、会话 ID、标签或元数据,可在请求、会话或 Agent 边界使用 capture()。
Q:只支持 TypeScript 吗?
A:不是,Python 以及任何兼容 OpenTelemetry 的运行时同样受支持,完整配置与 provider 指南见官方 Start tracing 文档。
注意事项
- README 未提供自托管部署命令,本文只覆盖官方推荐的 SDK 接入方式。
- API Key 请通过环境变量注入,不要硬编码或提交到代码仓库。
- 进程退出前务必执行 await latitude.shutdown(),避免 trace 未上报。
核心亮点
- 提供完整的 Agent 执行链路追踪,能定位到具体推理步骤和工具调用
- 支持将失败 trace 派发给编码 Agent 自动修复,并用真实数据回归验证
- 开源且可自托管,数据留在自己环境,适合对隐私和合规有要求的团队
不足之处
- 项目相对年轻,生态集成和文档完善度仍在成长中
- 自动修复闭环依赖外部编码 Agent,实际效果受模型能力影响
适用场景
- 生产环境中 LLM Agent 偶发失败,需要快速定位根因
- 团队希望用真实用户 trace 持续回归测试 Agent 改动
- 把线上失败样本自动转化为修复任务,减少人工排查成本
替代项目
Langfuse、Phoenix
项目介绍
上一篇:llm-gateway
下一篇:LLMRouter
同类项目推荐
freebuff-proxy
开源
聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。
OpenAI-compatible gateway for FreeBuff coding models. Token pool, session lifecycle,···
microduck
开源
用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型,免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···