openllmetry

用 OpenTelemetry 一键监控你的大模型应用,看清每次调用和成本。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 1188 🐛 待处理 838 👀 关注 20
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 7527
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,基于OpenTelemetry的LLM可观测性工具,可自行部署,完全免费。

项目预览

openllmetry 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队traceloop
定价模式🏷️完全免费
价格说明开源项目,基于OpenTelemetry的LLM可观测性工具,可自行部署,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型artifical-intelligence,datascience,generative-ai,good-first-issue,good-first-issues,help-wanted,llm,llmops,metrics,ml,model-monitoring,monitoring,observability,open-source,open-telemetry,opentelemetry,opentelemetry-python,python
GitHub 星标★ 7527
上线时间2023-09-02 00:00:00
代码更新2026-11-05
仓库体积62.9 MB
本站数据更新2026-11-08
维护状态活跃
收录时间2026-08-09
浏览次数8

项目介绍

openllmetry 是一个面向 GenAI 和 LLM 应用的开源可观测性平台,基于 OpenTelemetry 标准构建。它解决了 LLM 应用在生产环境中缺乏标准化监控和追踪的问题,帮助开发者深入理解模型调用、提示词、令牌消耗、延迟和成本等关键指标。核心能力包括:自动追踪 LLM 调用链路,采集丰富的元数据(如模型名称、参数、令牌数),提供可视化仪表盘和告警,并支持与主流 LLM 框架(如 LangChain、OpenAI)无缝集成。通过 OpenTelemetry 的开放生态,它能够与现有监控系统(如 Prometheus、Grafana)协同工作,实现统一的可观测性视图。项目采用 Python 编写,社区活跃,适合需要精细化管理 LLM 应用性能与成本的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 7527

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 5 分钟 部署方式:库/依赖 4 步

环境要求

  • 已安装 Python 环境,且 pip 可用
  • 网络可访问 PyPI 以安装 traceloop-sdk

安装与启动步骤

  1. 1安装 SDK

    README 明确给出的最快上手方式:通过 pip 从 PyPI 安装官方 traceloop-sdk。

    pip install traceloop-sdk
  2. 2初始化追踪

    在代码中导入 Traceloop 并调用 init(),即会自动为你的 LLM 调用生成追踪数据。

    from traceloop.sdk import Traceloop
    
    Traceloop.init()
  3. 3本地调试模式

    本地运行时 README 建议关闭批量发送,这样能立即看到 traces,便于排查问题。

    from traceloop.sdk import Traceloop
    
    Traceloop.init(disable_batch=True)
  4. 4查看完整文档

    README 指向官方文档获取完整接入指南(含各框架集成与后端配置),链接见 https://traceloop.com/docs/openllmetry/getting-started-python。

关键配置

配置项必填说明示例
disable_batch否关闭批量发送,本地调试时可立即看到 tracesTraceloop.init(disable_batch=True)

如何确认成功

运行后代码无报错,本地模式下能立即看到 LLM 调用的 trace 输出即表示接入成功。

常见问题

Q:本地运行时看不到 trace 输出怎么办?

A:README 说明本地运行时可以关闭批量发送,改用 Traceloop.init(disable_batch=True),这样 traces 会立即显示。

Q:有更完整的接入教程吗?

A:README 提供了官方文档链接 https://traceloop.com/docs/openllmetry/getting-started-python,其中有完整的 Python 上手指南。

Q:遇到问题去哪里求助?

A:可加入官方 Slack 社区 https://traceloop.com/slack,或在 GitHub Issues 中提问。

注意事项

  • README 只给出 SDK 安装与初始化方式,追踪数据的导出目标等配置请参考官方文档。
  • 生产环境建议保留默认的批量发送以降低开销,仅在本地调试时设置 disable_batch=True。

核心亮点

  • 基于 OpenTelemetry 标准,与现有监控生态无缝集成,避免锁定
  • 自动追踪 LLM 调用全链路,覆盖令牌、延迟、成本等关键指标
  • 支持多种主流 LLM 框架和模型,快速接入无需大量改造

不足之处

  • 文档和社区支持仍在完善中,部分高级功能需自行探索
  • 对非 OpenTelemetry 用户有一定学习门槛

适用场景

  • 生产环境 LLM 应用性能监控与故障排查
  • 多模型调用成本分析与优化
  • 与现有 Prometheus/Grafana 监控体系统一整合

替代项目

Langfuse、Helicone、Wandb

上一篇:evidently

下一篇:bifrost

同类项目推荐

tokentab 开源

一条命令,算清所有 AI 编程工具花了多少钱

A CLI that reads Claude Code, Codex, and Gemini CLI session logs and works out how m···

★ 269 2026-08-09
NeumAI 开源

一键搭建大规模向量数据管道,让 RAG 应用数据实时同步

Neum AI is a best-in-class framework to manage the creation and synchronization of v···

★ 868 2026-08-09
memobase 开源

给 AI 聊天机器人装上长期记忆,让对话更懂你

User Profile-Based Long-Term Memory for AI Chatbot Applications.

★ 2952 2026-08-09
seldon-core 开源

K8s 上大规模部署、监控和管理生产级 ML 模型

An MLOps framework to package, deploy, monitor and manage thousands of production ma···

★ 4785 2026-08-09
tokscale 开源

终端里统一看 AI 编程 token 消耗,参与全球排行。

️ Track token usage across AI coding agents from your terminal. Global leaderboard···

★ 5809 2026-08-09
backlot 开源

本地跑通企业SaaS API,带真实分页鉴权和ACL

A local emulator for enterprise SaaS APIs — Slack, Gmail, Google Drive, GitHub, Jir···

★ 223 2026-09-12
OctoBus 开源

给AI智能体装上安全闸门,只放行企业批准的API调用。

A secure local gateway for AI agents to reliably call approved enterprise APIs, tool···

★ 210 2026-08-09
NeuroAPI 开源

俄罗斯开发者一键接入全球主流 AI 模型,绕过支付和地域限制。

NeuroAPI: российский AI API для Codex CLI и Claude Code — безопа···

★ 1317 2026-08-09
scalax 开源

让 JAX 程序轻松跑满多卡,分布式训练不再复杂。

A simple library for scaling up JAX programs

★ 149 2026-08-09