openinference

给 AI 应用装上标准监控,一键追踪 LLM 调用全链路

OpenInference 是一个面向 AI 应用的可观测性开源项目,基于 OpenTelemetry 标准构建。它解决的是 AI 应用(如 LLM 应用、Agent、RAG 系统)在生产环境中缺乏标准化监控和追踪的问题。核心能力包括:为 LLM 调用、向量数据库检索、Agent 决策等提供自动埋点;生成符合 OpenTelemetry 语义的追踪数据;支持与主流可观测性后端(如 Arize Phoenix、Langfuse 等)集成。通过 OpenInference,开发者可以统一收集 AI 应用的推理日志、性能指标和调用链路,从而快速定位问题、优化提示词和评估模型行为。项目提供 Python 和 TypeScript 库,支持多种框架(如 LangChain、LlamaIndex),并定义了 AI 特有的追踪语义规范。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1232
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类基础设施
开发团队Arize-ai
所属国家
定价模式free
价格说明开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型aiops,gemini,hacktoberfest,haystack,langchain,langraph,llamaindex,llmops,llms,mcp,openai,openai-agents,opentelemetry,pydantic-ai,smolagents,telemetry,tracing,vercel,vertex
GitHub 星标★ 1232
30天Star增速
HF 下载量
上线时间2023-12-26 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:进阶 约 15 分钟 部署方式:库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(用于安装 Python 版埋点库)
  • 一个兼容 OpenTelemetry 的可观测性后端(如 Arize Phoenix、Arize AX)
  • 按需选择使用的机器学习 SDK/框架(如 LLM、RAG、Agent 相关框架)

安装与启动步骤

  1. 1克隆项目仓库

    README 未提供安装命令,先获取源码以便查看规范与各语言埋点插件的说明文档。

    git clone https://github.com/Arize-ai/openinference.git
  2. 2阅读 OpenInference 规范

    规范以 markdown 文件形式放在仓库的 spec 目录中,先理解 LLM 调用、向量库检索、外部工具使用的追踪语义约定。

    ls spec
  3. 3挑选对应框架埋点库

    README 的 Instrumentation 章节按语言列出针对主流机器学习 SDK/框架的埋点插件,Python 部分以包列表形式给出,请按你使用的框架选择。

  4. 4接入可观测性后端

    OpenInference 生成的追踪遵循 OpenTelemetry,可对接 Arize Phoenix、Arize AX,或任意兼容 OpenTelemetry 的后端。

如何确认成功

在所选的可观测性后端界面中,能看到 AI 应用的 LLM 调用与检索链路追踪数据。

常见问题

Q:是否必须使用 Arize 的产品?

A:不是。README 说明 OpenInference 被 Arize Phoenix 和 Arize AX 原生支持,但也可以配合任何兼容 OpenTelemetry 的后端使用。

Q:支持哪些框架?

A:README 表示提供多种语言、面向热门机器学习 SDK 和框架的埋点插件(Instrumentation),Python 版本以包列表形式列出。

Q:规范文件在哪里?

A:规范以 markdown 文件形式编辑,存放在仓库的 spec 目录中,且与传输协议和文件格式无关。

Q:为什么没有具体安装命令?

A:本页面节选的 README 只包含规范与埋点介绍,未给出具体安装步骤,实际安装命令请以仓库中各子包文档为准。

注意事项

  • 本教程仅依据所给 README 节选推断,节选中未出现任何 pip install、docker run 等安装命令,具体命令请查阅仓库对应子目录的说明。
  • OpenInference 是规范加插件的集合,本身不是独立服务,需与 OpenTelemetry 后端配合才能看到追踪数据。
  • 规范设计上与 JSON、ProtoBuf、DataFrames 等其他规范配合使用,不绑定特定传输或文件格式。

核心亮点

  • 基于 OpenTelemetry 标准,与主流可观测性生态无缝集成
  • 支持 LangChain、LlamaIndex 等主流 AI 框架的自动埋点
  • 定义了 AI 专属追踪语义,覆盖 LLM、向量检索等场景

不足之处

  • 文档/社区待观察

适用场景

  • 生产环境 AI 应用性能监控与故障排查
  • LLM 调用成本与延迟分析
  • RAG 系统检索质量评估

替代项目

Langfuse、Phoenix、LangSmith

项目介绍

openinference 是基础设施领域的开源项目,由 Arize-ai 开发,2023 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(1,232)位列前 30%,在基础设施分类中处于中上游。

近 42 天,它的 GitHub 星标从 1,140 增加到 1,232,净增 92。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-23。Apache-2.0 许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:生产环境AI应用性能监控与故障排查。同类可对比的替代方案包括 Langfuse、Phoenix、LangSmith。

上一篇:emmy

下一篇:busbar

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09