opik

一站式追踪、评估、监控你的 LLM 应用,从调试到上线全程掌控。

开源 🏷️基础免费,高级付费 ✅ 目前可打开 基础设施 🍴 复刻 1931 🐛 待处理 184 👀 关注 133
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 23256
维护状态 活跃
是否开源 开源
定价模式 🏷️基础免费,高级付费 支持限时试用 · 开源版免费自托管,云服务提供免费额度,付费升级获取更多功能与支持。

项目预览

opik 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队comet-ml
定价模式🏷️基础免费,高级付费
价格说明开源版免费自托管,云服务提供免费额度,付费升级获取更多功能与支持。
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型evaluation,hacktoberfest,hacktoberfest2025,langchain,llama-index,llm,llm-evaluation,llm-observability,llmops,open-source,openai,playground,prompt-engineering
GitHub 星标★ 23256
上线时间2023-05-10 00:00:00
代码更新2026-11-07
仓库体积847.8 MB
本站数据更新2026-11-08
维护状态活跃
收录时间2026-08-09
浏览次数6

项目介绍

Opik 是一个开源的大语言模型(LLM)应用可观测性与评估平台,旨在帮助开发者调试、评估和监控基于 LLM 的应用,包括 RAG 系统和智能体工作流。它通过全面的追踪(tracing)能力,记录每次 LLM 调用的输入、输出、元数据及性能指标,解决 LLM 应用调试困难、行为不可控的问题。Opik 提供自动化的评估功能,支持用户自定义评估指标或使用内置评估器,对模型输出进行系统化评测,并生成生产级仪表盘,用于实时监控应用运行状态、成本和质量。项目支持与 LangChain、LlamaIndex 等主流框架集成,适合从开发到生产的全生命周期管理。其核心能力包括:端到端追踪、批量评估、在线监控、数据集管理以及基于反馈的持续优化,帮助团队提升 LLM 应用的可靠性、安全性和效率。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 23256

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 7 步

环境要求

  • Python 环境并可使用 pip(README 使用 pip install opik)
  • 可选:使用 uv 作为包管理器(uv pip install opik)
  • 自托管本地服务器需 Docker Compose,支持 Linux 或 Mac 环境
  • 使用 Comet.com 托管版需准备 API Key 与 workspace
  • 生产级自托管需 Kubernetes 集群与 Helm 图表

安装与启动步骤

  1. 1安装 Python SDK

    用 pip 直接安装 Opik 的 Python SDK,这是接入平台的最快方式。

    pip install opik
  2. 2或用 uv 安装

    如果你使用 uv 管理依赖,可改用 uv 安装同一个包,效果一致,二选一即可。

    uv pip install opik
  3. 3运行配置命令

    执行后按提示输入 Opik 服务器地址(自托管),或输入 API Key 与 workspace(Comet.com)。

    opik configure
  4. 4代码中配置本地模式

    不想交互式配置时,可在 Python 代码里直接让 SDK 指向本地自托管实例。

    import opik
    opik.configure(use_local=True)
  5. 5用 @track 记录调用

    给函数加上 @track 装饰器,每次调用都会写入 Opik,嵌套调用同样会被记录。

    from opik import track
    
    @track
    def my_function(input: str) -> str:
        return input
  6. 6启动自托管服务器

    本地开发或测试时用 Docker Compose 启动 Opik 服务器,Linux/Mac 下执行仓库提供的安装脚本。

    ./opik.sh
  7. 7Kubernetes 部署

    生产或大规模自托管场景改用 Helm 图表部署,具体步骤见官方 Kubernetes 安装指南。

关键配置

配置项必填说明示例
use_local否让 SDK 使用本地自托管 Opik 实例而非 Comet.comTrue

如何确认成功

调用被 @track 装饰的函数后,在 Opik 界面或自托管服务器中能看到对应的 trace 记录。

常见问题

Q:没有 Comet.com 账号可以使用吗?

A:可以。选择自托管,用 opik configure 填入本地服务器地址,或在代码中调用 opik.configure(use_local=True)。

Q:@track 只能追踪单次 LLM 调用吗?

A:不是。README 说明包括嵌套调用也会被记录,因此适用于完整智能体与流水线的追踪。

Q:支持 TypeScript 吗?

A:README 提到提供 TypeScript SDK,具体方式请参考官方 Quickstart 指南中的其他安装选项。

Q:生产环境怎么自托管?

A:使用 Kubernetes 与 Helm 图表部署,参见官方 Kubernetes 安装指南;本地测试用 Docker Compose 脚本即可。

注意事项

  • Apache-2.0 许可,完整平台可免费自托管。
  • README 中的自托管脚本仅说明适用于 Linux 或 Mac 环境。
  • Comet.com 托管方式需要 API Key 与 workspace 信息。

核心亮点

  • 提供完整的 LLM 调用追踪,包含输入输出、延迟和成本,调试效率高
  • 内置自动化评估框架,支持自定义指标和数据集,减少人工评测成本
  • 生产级仪表盘实时监控,快速发现异常和性能瓶颈

不足之处

  • 文档/社区待观察
  • 高级功能(如复杂评估场景)可能需要一定学习成本

适用场景

  • 开发阶段调试 LLM 应用,定位 prompt 或模型输出问题
  • 上线前对 RAG 系统或智能体进行批量评估和回归测试
  • 生产环境监控 LLM 调用的质量、成本和异常,支持持续优化

替代项目

Langfuse、LangSmith、Phoenix (Arize)

上一篇:promptfoo

下一篇:giskard-oss

同类项目推荐

Omni-SafetyBench 开源

给音视频大模型做安全体检,发现隐藏风险

[ACM MM 2026] Code for paper "Omni-SafetyBench: A Benchmark for Safety Evaluation of···

★ 116 2026-08-09
agentdojo 开源

搭建 LLM 智能体攻防演练场,量化安全风险

A Dynamic Environment to Evaluate Attacks and Defenses for LLM Agents.

★ 1002 2026-08-09
VBench 开源

给视频生成模型打分,16个维度看清谁强谁弱

[CVPR2024 Highlight] VBench - We Evaluate Video Generation

★ 1841 2026-08-09
safelabs-eval 开源

给 AI 智能体做红队体检,上线前先找出被越狱和注入的漏洞

Red-teaming and evaluation framework for AI agents, built around an OWASP-inspired A···

★ 829 2026-09-11
Awesome-MLLM-Uncertainty 开源

一页看尽多模态模型不确定性研究,快速定位关键论文

✨A curated list of papers on the uncertainty in multi-modal large language model (M···

★ 59 2026-08-09
PromptMe 开源

10 个动手挑战,亲手打穿 LLM 安全漏洞

PromptMe is an educational project that showcases security vulnerabilities in large ···

★ 113 2026-09-15
Tracely-ai 开源

把线上 agent 失败轨迹变成 CI 回归测试,退化就拦 PR

Trace-native CI/CD for AI agents: grade production traces, cluster failures, freeze ···

★ 978 2026-10-22
presidio 开源

一键检测并脱敏文本/图片中的敏感信息,守护数据隐私合规。

An open-source framework for detecting, redacting, masking, and anonymizing sensitiv···

★ 11775 2026-08-10
watchtower 开源

用 LLM 编排本地网站渗透测试,自动出报告

Watchtower - AI-powered penetration testing automation CLI tool that leverages LLMs ···

★ 220 2026-10-21