opik

一站式追踪、评估、监控你的 LLM 应用,从调试到上线全程掌控。

Opik 是一个开源的大语言模型(LLM)应用可观测性与评估平台,旨在帮助开发者调试、评估和监控基于 LLM 的应用,包括 RAG 系统和智能体工作流。它通过全面的追踪(tracing)能力,记录每次 LLM 调用的输入、输出、元数据及性能指标,解决 LLM 应用调试困难、行为不可控的问题。Opik 提供自动化的评估功能,支持用户自定义评估指标或使用内置评估器,对模型输出进行系统化评测,并生成生产级仪表盘,用于实时监控应用运行状态、成本和质量。项目支持与 LangChain、LlamaIndex 等主流框架集成,适合从开发到生产的全生命周期管理。其核心能力包括:端到端追踪、批量评估、在线监控、数据集管理以及基于反馈的持续优化,帮助团队提升 LLM 应用的可靠性、安全性和效率。

开源 freemium 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 22198
维护状态 活跃
是否开源
定价模式 freemium

项目数据

分类基础设施
开发团队comet-ml
所属国家
定价模式freemium
价格说明开源版免费自托管,云服务提供免费额度,付费升级获取更多功能与支持。
访问状态
是否开源
开源协议Apache-2.0
主要语言Python
技术栈/模型evaluation,hacktoberfest,hacktoberfest2025,langchain,llama-index,llm,llm-evaluation,llm-observability,llmops,open-source,openai,playground,prompt-engineering
GitHub 星标★ 22198
30天Star增速
HF 下载量
上线时间2023-05-10 00:00:00
最近更新2026-09-22 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 7 步

环境要求

  • Python 环境并可使用 pip(README 使用 pip install opik)
  • 可选:使用 uv 作为包管理器(uv pip install opik)
  • 自托管本地服务器需 Docker Compose,支持 Linux 或 Mac 环境
  • 使用 Comet.com 托管版需准备 API Key 与 workspace
  • 生产级自托管需 Kubernetes 集群与 Helm 图表

安装与启动步骤

  1. 1安装 Python SDK

    用 pip 直接安装 Opik 的 Python SDK,这是接入平台的最快方式。

    pip install opik
  2. 2或用 uv 安装

    如果你使用 uv 管理依赖,可改用 uv 安装同一个包,效果一致,二选一即可。

    uv pip install opik
  3. 3运行配置命令

    执行后按提示输入 Opik 服务器地址(自托管),或输入 API Key 与 workspace(Comet.com)。

    opik configure
  4. 4代码中配置本地模式

    不想交互式配置时,可在 Python 代码里直接让 SDK 指向本地自托管实例。

    import opik
    opik.configure(use_local=True)
  5. 5用 @track 记录调用

    给函数加上 @track 装饰器,每次调用都会写入 Opik,嵌套调用同样会被记录。

    from opik import track
    
    @track
    def my_function(input: str) -> str:
        return input
  6. 6启动自托管服务器

    本地开发或测试时用 Docker Compose 启动 Opik 服务器,Linux/Mac 下执行仓库提供的安装脚本。

    ./opik.sh
  7. 7Kubernetes 部署

    生产或大规模自托管场景改用 Helm 图表部署,具体步骤见官方 Kubernetes 安装指南。

关键配置

配置项必填说明示例
use_local让 SDK 使用本地自托管 Opik 实例而非 Comet.comTrue

如何确认成功

调用被 @track 装饰的函数后,在 Opik 界面或自托管服务器中能看到对应的 trace 记录。

常见问题

Q:没有 Comet.com 账号可以使用吗?

A:可以。选择自托管,用 opik configure 填入本地服务器地址,或在代码中调用 opik.configure(use_local=True)。

Q:@track 只能追踪单次 LLM 调用吗?

A:不是。README 说明包括嵌套调用也会被记录,因此适用于完整智能体与流水线的追踪。

Q:支持 TypeScript 吗?

A:README 提到提供 TypeScript SDK,具体方式请参考官方 Quickstart 指南中的其他安装选项。

Q:生产环境怎么自托管?

A:使用 Kubernetes 与 Helm 图表部署,参见官方 Kubernetes 安装指南;本地测试用 Docker Compose 脚本即可。

注意事项

  • Apache-2.0 许可,完整平台可免费自托管。
  • README 中的自托管脚本仅说明适用于 Linux 或 Mac 环境。
  • Comet.com 托管方式需要 API Key 与 workspace 信息。

核心亮点

  • 提供完整的 LLM 调用追踪,包含输入输出、延迟和成本,调试效率高
  • 内置自动化评估框架,支持自定义指标和数据集,减少人工评测成本
  • 生产级仪表盘实时监控,快速发现异常和性能瓶颈

不足之处

  • 文档/社区待观察
  • 高级功能(如复杂评估场景)可能需要一定学习成本

适用场景

  • 开发阶段调试 LLM 应用,定位 prompt 或模型输出问题
  • 上线前对 RAG 系统或智能体进行批量评估和回归测试
  • 生产环境监控 LLM 调用的质量、成本和异常,支持持续优化

替代项目

Langfuse、LangSmith、Phoenix (Arize)

项目介绍

opik 是评测安全领域的开源项目,由 comet-ml 开发,2023 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(22,198)位列前 3%,在评测安全分类的 458 个项目里位列前 1%。

近 44 天,它的 GitHub 星标从 21,251 增加到 22,198,净增 947。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-22。开源版免费自托管,云服务提供免费额度,付费升级获取更多功能与支持。从国内网络环境看,可直接访问。

它主要面向的使用场景是:开发阶段调试LLM应用,定位prompt或模型输出问题。同类可对比的替代方案包括 Langfuse、LangSmith、Phoenix (Arize)。

上一篇:promptfoo

下一篇:giskard-oss

同类项目推荐

akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1517 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击,提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 2937 2026-09-12
Tracely-ai 开源

把生产事故变成回归测试,合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1362 2026-08-24