oss-llmops-stack

一套组合拳，搞定 LLM 应用的路由、监控与调优

oss-llmops-stack 是一个模块化的开源 LLMOps 技术栈，旨在将 LLM 应用开发中的不同关注点分离，解决工具碎片化和集成复杂的问题。它整合了 LiteLLM 和 Langfuse 两大核心组件：LiteLLM 负责统一接入多家 LLM API，提供路由、成本控制和高可用保障；Langfuse 则专注于可观测性、提示词版本管理和性能评估。该项目的核心能力在于提供一套开箱即用的组合方案，让开发者无需从零搭建即可获得完整的 LLM 应用运维能力，包括请求转发、令牌计量、日志追踪、提示词迭代和效果分析等。通过模块化设计，用户可按需替换或扩展组件，降低 LLMOps 的落地门槛。

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 152

维护状态维护中

是否开源是

定价模式 free

项目数据

分类基础设施

开发团队langfuse

所属国家

官网地址https://oss-llmops-stack.com

GitHubhttps://github.com/langfuse/oss-llmops-stack

定价模式free

价格说明开源项目，MIT许可证，可自由部署使用，无收费版本。

访问状态

是否开源是

开源协议MIT

主要语言

技术栈/模型ai-gateway,gateway,llm,llm-evaluation,llm-gateway,llm-observability,llmops,monitoring,open-source,openai-proxy,prompt-management,self-hosted,ycombinator

GitHub 星标★ 152

30天Star增速

HF 下载量

上线时间2025-02-08 00:00:00

最近更新2026-09-15 00:00:00

维护状态维护中

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

核心亮点

整合 LiteLLM 和 Langfuse，开箱即用，避免自行集成多个工具的繁琐
模块化设计，各组件可独立替换，灵活适配不同业务需求
内置成本控制与高可用路由，适合生产环境直接部署

不足之处

项目处于早期阶段（145 星），文档和社区生态尚待完善
依赖第三方服务（LiteLLM 和 Langfuse），可能受上游更新影响

适用场景

快速搭建 LLM 应用的可观测性与成本管理基础设施
多模型接入场景下，统一 API 路由和负载均衡
需要提示词版本管理和效果评估的 LLM 产品迭代

替代项目

LangChain、Helicone、PromptLayer

项目介绍

oss-llmops-stack 是基础设施领域的开源项目，由 langfuse 开发，2025 年首次发布。

它收录于基础设施分类，该分类目前共有 1,130 个项目，GitHub 星标数为 152。

项目仍在小幅维护中，最近一次代码更新于 2026-09-15。MIT许可证，可自由部署使用，无收费版本。

它主要面向的使用场景是：快速搭建LLM应用的可观测性与成本管理基础设施。同类可对比的替代方案包括 LangChain、Helicone、PromptLayer。

上一篇：bella-openapi

下一篇：heron