用 OpenTelemetry 一键监控你的大模型应用，看清每次调用和成本。
openllmetry 是一个面向 GenAI 和 LLM 应用的开源可观测性平台，基于 OpenTelemetry 标准构建。它解决了 LLM 应用在生产环境中缺乏标准化监控和追踪的问题，帮助开发者深入理解模型调用、提示词、令牌消耗、延迟和成本等关键指标。核心能力包括：自动追踪 LLM 调用链路，采集丰富的元数据（如模型名称、参数、令牌数），提供可视化仪表盘和告警，并支持与主流 LLM 框架（如 LangChain、OpenAI）无缝集成。通过 OpenTelemetry 的开放生态，它能够与现有监控系统（如 Prometheus、Grafana）协同工作，实现统一的可观测性视图。项目采用 Python 编写，社区活跃，适合需要精细化管理 LLM 应用性能与成本的团队。
1安装 SDK
README 明确给出的最快上手方式：通过 pip 从 PyPI 安装官方 traceloop-sdk。
pip install traceloop-sdk2初始化追踪
在代码中导入 Traceloop 并调用 init()，即会自动为你的 LLM 调用生成追踪数据。
from traceloop.sdk import Traceloop
Traceloop.init()3本地调试模式
本地运行时 README 建议关闭批量发送，这样能立即看到 traces，便于排查问题。
from traceloop.sdk import Traceloop
Traceloop.init(disable_batch=True)4查看完整文档
README 指向官方文档获取完整接入指南（含各框架集成与后端配置），链接见 https://traceloop.com/docs/openllmetry/getting-started-python。
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
disable_batch | 否 | 关闭批量发送，本地调试时可立即看到 traces | Traceloop.init(disable_batch=True) |
运行后代码无报错，本地模式下能立即看到 LLM 调用的 trace 输出即表示接入成功。
Q：本地运行时看不到 trace 输出怎么办？
A：README 说明本地运行时可以关闭批量发送，改用 Traceloop.init(disable_batch=True)，这样 traces 会立即显示。
Q：有更完整的接入教程吗？
A：README 提供了官方文档链接 https://traceloop.com/docs/openllmetry/getting-started-python，其中有完整的 Python 上手指南。
Q：遇到问题去哪里求助？
A：可加入官方 Slack 社区 https://traceloop.com/slack，或在 GitHub Issues 中提问。
Langfuse、Helicone、Wandb
openllmetry 是基础设施领域的开源项目，由 traceloop 开发，2023 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（7,443）位列前 7%，在基础设施分类的 1,130 个项目里位列前 9%。
近 44 天，它的 GitHub 星标从 7,368 增加到 7,443，净增 75。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。基于OpenTelemetry的LLM可观测性工具，可自行部署，完全免费。
它主要面向的使用场景是：生产环境LLM应用性能监控与故障排查。同类可对比的替代方案包括 Langfuse、Helicone、Wandb。
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···