latitude-llm

追踪 Agent 失败点,派编码助手修好并用真实轨迹验证

Latitude 是一个面向 AI Agent 的开源可观测性平台。它解决的核心问题是:当 LLM Agent 在生产环境中表现异常时,开发者往往只能看到最终输出,难以定位是哪一步推理、哪次工具调用或哪段提示词出了问题。Latitude 通过采集真实运行轨迹(traces),把 Agent 的完整执行链路可视化,帮助团队快速发现失败点。更进一步,它支持把失败样本直接派发给编码 Agent 进行自动修复,并用真实 trace 回归验证修复效果,形成“发现—修复—验证”的闭环。项目使用 TypeScript 编写,可自托管,适合需要深度调试和持续优化 Agent 质量的工程团队。

开源 freemium 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 4654
维护状态 活跃
是否开源
定价模式 freemium

项目数据

分类基础设施
开发团队latitude-dev
所属国家
定价模式freemium
价格说明开源可自部署,官网提供云服务,定价信息待确认
访问状态
是否开源
开源协议MIT
主要语言TypeScript
技术栈/模型agent-monitoring,agent-observability,ai-error-monitor,ai-monitoring,ai-observability,llm-error-tracing,llm-observability,llm-tools
GitHub 星标★ 4654
30天Star增速
HF 下载量
上线时间2024-06-28 00:00:00
最近更新2026-09-18 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-16
浏览次数0

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 6 步

环境要求

  • 已安装 Node.js(可使用 npm 安装依赖)
  • 已注册 latitude.so 账号,可获取 API Key 与项目 slug(免费含 20K credits/月)
  • 应用已接入某个 LLM SDK(README 示例使用 OpenAI)
  • 环境变量 LATITUDE_API_KEY 与 LATITUDE_PROJECT_SLUG 可用

安装与启动步骤

  1. 1注册并获取凭证

    到 latitude.so 注册,免费额度含每月 20K credits、30 天数据保留、席位不限;注册后在控制台取得 API Key 和项目 slug。

  2. 2安装遥测 SDK

    在你的 TypeScript/Node 项目根目录安装官方遥测包,npm 会自动写入 package.json 依赖。

    npm install @latitude-data/telemetry
  3. 3导出环境变量

    把 API Key 与项目 slug 写入环境变量,避免硬编码进代码;示例值需替换为你自己的真实值。

    export LATITUDE_API_KEY=sk-xxxxxxxx
    export LATITUDE_PROJECT_SLUG=my-project
  4. 4初始化 Latitude 客户端

    在应用入口创建 Latitude 实例,apiKey 与 project 从环境变量读取,并在 instrumentations 中注册你使用的 LLM SDK(示例为 OpenAI)。

    import { Latitude } from "@latitude-data/telemetry";
    import OpenAI from "openai";
    
    const latitude = new Latitude({
      apiKey: process.env.LATITUDE_API_KEY!,
      project: process.env.LATITUDE_PROJECT_SLUG!,
      instrumentations: { openai: OpenAI },
    });
    
    const client = new OpenAI();
  5. 5正常发起 LLM 调用

    保持原有业务代码不变,照常调用 chat.completions.create;已注册的 SDK 调用会被自动采集为 trace,无需手动埋点。

    await client.chat.completions.create({
      model: "gpt-4o",
      messages: [{ role: "user", content: "Hello" }],
    });
  6. 6关闭客户端上报数据

    进程结束前调用 shutdown(),确保缓冲区中的 trace 全部发送到 Latitude,否则可能丢失末尾数据。

    await latitude.shutdown();

关键配置

配置项必填说明示例
LATITUDE_API_KEYLatitude 控制台生成的 API Key,用于鉴权上报 tracesk-xxxxxxxx
LATITUDE_PROJECT_SLUG项目标识 slug,决定数据上报到哪个 Latitude 项目my-project
apiKeyLatitude 构造函数参数,一般传 process.env.LATITUDE_API_KEYprocess.env.LATITUDE_API_KEY!
projectLatitude 构造函数参数,传项目 slugprocess.env.LATITUDE_PROJECT_SLUG!
instrumentations注册需要自动埋点的 LLM SDK,键为 SDK 名、值为 SDK 类{ openai: OpenAI }

如何确认成功

在 Latitude 控制台中能看到刚才那次 LLM 调用对应的 trace,说明接入成功。

常见问题

Q:需要付费吗?

A:可以免费使用,包含每月 20K credits、30 天数据保留和不限席位的成员名额。

Q:我的应用不用 OpenAI 怎么办?

A:README 示例仅为演示,把示例中的 OpenAI 替换成你应用里已在用的 LLM SDK,并在 instrumentations 中注册即可。

Q:需要手动写埋点代码吗?

A:通常不需要。受支持的 LLM 调用会自动显示为 trace;若想附加用户 ID、会话 ID、标签或元数据,可在请求、会话或 Agent 边界使用 capture()。

Q:只支持 TypeScript 吗?

A:不是,Python 以及任何兼容 OpenTelemetry 的运行时同样受支持,完整配置与 provider 指南见官方 Start tracing 文档。

注意事项

  • README 未提供自托管部署命令,本文只覆盖官方推荐的 SDK 接入方式。
  • API Key 请通过环境变量注入,不要硬编码或提交到代码仓库。
  • 进程退出前务必执行 await latitude.shutdown(),避免 trace 未上报。

核心亮点

  • 提供完整的 Agent 执行链路追踪,能定位到具体推理步骤和工具调用
  • 支持将失败 trace 派发给编码 Agent 自动修复,并用真实数据回归验证
  • 开源且可自托管,数据留在自己环境,适合对隐私和合规有要求的团队

不足之处

  • 项目相对年轻,生态集成和文档完善度仍在成长中
  • 自动修复闭环依赖外部编码 Agent,实际效果受模型能力影响

适用场景

  • 生产环境中 LLM Agent 偶发失败,需要快速定位根因
  • 团队希望用真实用户 trace 持续回归测试 Agent 改动
  • 把线上失败样本自动转化为修复任务,减少人工排查成本

替代项目

Langfuse、Phoenix

项目介绍

latitude-llm 是一个基础设施领域的开源项目,官方简介:Open-source observability for AI agents. Find where your agents fail, dispatch your coding agent to fix it, and verify the fix against real traces.。项目使用 TypeScript 开发,在 GitHub 上获得 4646 星标。

上一篇:llm-gateway

下一篇:LLMRouter

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

OpenAI-compatible gateway for FreeBuff coding models. Token pool, session lifecycle,···

★ 202 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8433 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 435 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181124 2026-08-09