openinference

给 AI 应用装上标准监控,一键追踪 LLM 调用全链路

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 381 🐛 待处理 284 👀 关注 14
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1313
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。

项目预览

openinference 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队Arize-ai
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型aiops,gemini,hacktoberfest,haystack,langchain,langraph,llamaindex,llmops,llms,mcp,openai,openai-agents,opentelemetry,pydantic-ai,smolagents,telemetry,tracing,vercel,vertex
GitHub 星标★ 1313
上线时间2023-12-26 00:00:00
代码更新2026-11-10
仓库体积26.2 MB
本站数据更新2026-11-10
维护状态活跃
收录时间2026-08-09
浏览次数5

项目介绍

OpenInference 是一个面向 AI 应用的可观测性开源项目,基于 OpenTelemetry 标准构建。它解决的是 AI 应用(如 LLM 应用、Agent、RAG 系统)在生产环境中缺乏标准化监控和追踪的问题。核心能力包括:为 LLM 调用、向量数据库检索、Agent 决策等提供自动埋点;生成符合 OpenTelemetry 语义的追踪数据;支持与主流可观测性后端(如 Arize Phoenix、Langfuse 等)集成。通过 OpenInference,开发者可以统一收集 AI 应用的推理日志、性能指标和调用链路,从而快速定位问题、优化提示词和评估模型行为。项目提供 Python 和 TypeScript 库,支持多种框架(如 LangChain、LlamaIndex),并定义了 AI 特有的追踪语义规范。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1313

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:进阶 约 15 分钟 部署方式:库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(用于安装 Python 版埋点库)
  • 一个兼容 OpenTelemetry 的可观测性后端(如 Arize Phoenix、Arize AX)
  • 按需选择使用的机器学习 SDK/框架(如 LLM、RAG、Agent 相关框架)

安装与启动步骤

  1. 1克隆项目仓库

    README 未提供安装命令,先获取源码以便查看规范与各语言埋点插件的说明文档。

    git clone https://github.com/Arize-ai/openinference.git
  2. 2阅读 OpenInference 规范

    规范以 markdown 文件形式放在仓库的 spec 目录中,先理解 LLM 调用、向量库检索、外部工具使用的追踪语义约定。

    ls spec
  3. 3挑选对应框架埋点库

    README 的 Instrumentation 章节按语言列出针对主流机器学习 SDK/框架的埋点插件,Python 部分以包列表形式给出,请按你使用的框架选择。

  4. 4接入可观测性后端

    OpenInference 生成的追踪遵循 OpenTelemetry,可对接 Arize Phoenix、Arize AX,或任意兼容 OpenTelemetry 的后端。

如何确认成功

在所选的可观测性后端界面中,能看到 AI 应用的 LLM 调用与检索链路追踪数据。

常见问题

Q:是否必须使用 Arize 的产品?

A:不是。README 说明 OpenInference 被 Arize Phoenix 和 Arize AX 原生支持,但也可以配合任何兼容 OpenTelemetry 的后端使用。

Q:支持哪些框架?

A:README 表示提供多种语言、面向热门机器学习 SDK 和框架的埋点插件(Instrumentation),Python 版本以包列表形式列出。

Q:规范文件在哪里?

A:规范以 markdown 文件形式编辑,存放在仓库的 spec 目录中,且与传输协议和文件格式无关。

Q:为什么没有具体安装命令?

A:本页面节选的 README 只包含规范与埋点介绍,未给出具体安装步骤,实际安装命令请以仓库中各子包文档为准。

注意事项

  • 本教程仅依据所给 README 节选推断,节选中未出现任何 pip install、docker run 等安装命令,具体命令请查阅仓库对应子目录的说明。
  • OpenInference 是规范加插件的集合,本身不是独立服务,需与 OpenTelemetry 后端配合才能看到追踪数据。
  • 规范设计上与 JSON、ProtoBuf、DataFrames 等其他规范配合使用,不绑定特定传输或文件格式。

核心亮点

  • 基于 OpenTelemetry 标准,与主流可观测性生态无缝集成
  • 支持 LangChain、LlamaIndex 等主流 AI 框架的自动埋点
  • 定义了 AI 专属追踪语义,覆盖 LLM、向量检索等场景

不足之处

  • 文档/社区待观察

适用场景

  • 生产环境 AI 应用性能监控与故障排查
  • LLM 调用成本与延迟分析
  • RAG 系统检索质量评估

替代项目

Langfuse、Phoenix、LangSmith

上一篇:emmy

下一篇:busbar

同类项目推荐

snip 开源

给 AI 编程工具装上过滤器,Token 立省 60%

CLI proxy that reduces LLM token usage by 60-90%. Declarative YAML filters for Claud···

★ 483 2026-08-09
swiftLLM 开源

用 2000 行代码实现 vLLM 级推理性能,研究利器

A tiny yet powerful LLM inference system tailored for researching purpose. vLLM-equi···

★ 364 2026-08-09
d-inference 开源

把闲置 Mac 组成私有推理集群

Private Inference Network on Idle Macs

★ 573 2026-10-25
nvidia_gpu_exporter 开源

一条命令把 NVIDIA GPU 监控接入 Prometheus,实时掌握显卡状态。

Nvidia GPU exporter for prometheus using nvidia-smi binary OR using NVML

★ 1584 2026-08-09
janas 开源

纯 C 写的本地推理引擎,小内存也能跑超大模型

37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for···

★ 687 2026-11-06
node-replicate 开源

在 Node.js 里几行代码调用 Replicate 上的 AI 模型

A Node.js client for Replicate.

★ 61 2026-08-09
digiRunner-Open-Source 开源

快速搭建微服务API网关,统一入口、安全可控。

digiRunner: Your API Gateway for Microservices

★ 307 2026-08-09
Axon 开源

终端里实时看穿 LLM 调用链,调试智能体快人一步

OpenTelemetry-native LLM observability CLI. Point any OTEL exporter at it and watch ···

★ 91 2026-08-09
gateway 开源

一个 API 接入 1600+ 模型,内置安全护栏,AI 应用开发提速。

A blazing fast AI Gateway with integrated guardrails. Route to 1,600+ LLMs, 50+ AI G···

★ 13360 2026-08-09