oss-llmops-stack

一套组合拳,搞定 LLM 应用的路由、监控与调优

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 9 🐛 待处理 1 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 155
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可自由部署使用,无收费版本。

项目预览

oss-llmops-stack 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队langfuse
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可自由部署使用,无收费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
技术栈/模型ai-gateway,gateway,llm,llm-evaluation,llm-gateway,llm-observability,llmops,monitoring,open-source,openai-proxy,prompt-management,self-hosted,ycombinator
GitHub 星标★ 155
上线时间2025-02-08 00:00:00
代码更新2026-07-28
仓库体积435 KB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数9

项目介绍

oss-llmops-stack 是一个模块化的开源 LLMOps 技术栈,旨在将 LLM 应用开发中的不同关注点分离,解决工具碎片化和集成复杂的问题。它整合了 LiteLLM 和 Langfuse 两大核心组件:LiteLLM 负责统一接入多家 LLM API,提供路由、成本控制和高可用保障;Langfuse 则专注于可观测性、提示词版本管理和性能评估。该项目的核心能力在于提供一套开箱即用的组合方案,让开发者无需从零搭建即可获得完整的 LLM 应用运维能力,包括请求转发、令牌计量、日志追踪、提示词迭代和效果分析等。通过模块化设计,用户可按需替换或扩展组件,降低 LLMOps 的落地门槛。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 155

核心亮点

  • 整合 LiteLLM 和 Langfuse,开箱即用,避免自行集成多个工具的繁琐
  • 模块化设计,各组件可独立替换,灵活适配不同业务需求
  • 内置成本控制与高可用路由,适合生产环境直接部署

不足之处

  • 项目处于早期阶段(145 星),文档和社区生态尚待完善
  • 依赖第三方服务(LiteLLM 和 Langfuse),可能受上游更新影响

适用场景

  • 快速搭建 LLM 应用的可观测性与成本管理基础设施
  • 多模型接入场景下,统一 API 路由和负载均衡
  • 需要提示词版本管理和效果评估的 LLM 产品迭代

替代项目

LangChain、Helicone、PromptLayer

上一篇:bella-openapi

下一篇:heron

同类项目推荐

agentcat-typescript-sdk 开源

给 MCP 服务器装上监控,一眼看清工具调用数据

AgentCat is an analytics platform for MCP server owners .

★ 127 2026-08-09
sd4j 开源

Java 里跑 Stable Diffusion,无需 Python,直接集成图像生成

Stable diffusion pipeline in Java using ONNX Runtime

★ 181 2026-08-09
ncnn 开源

手机端跑深度模型,快、小、零依赖

ncnn is a high-performance neural network inference framework optimized for the mobi···

★ 24030 2026-11-08
darwin 开源

一站式管理 ML 模型,从实验到上线更省心

ML Platform at Dream11

★ 63 2026-08-09
GUNDAM 开源

用语言模型自动给数据排优先级,让系统先处理最重要的。

GUNDAM is a data management system that prioritizes data using language models.

★ 187 2026-08-09
pooled 开源

多台设备浏览器组队,本地跑大模型聊天写代码

Peer-to-peer LLM inference in the browser: pool your devices to run big open models,···

★ 637 2026-10-04
lance 开源

两行代码转换 Parquet,让多模态 AI 数据访问快 100 倍

Open Lakehouse Format for Multimodal AI. Convert from Parquet in 2 lines of code for···

★ 7272 2026-08-09
voiceblender 开源

用 API 快速搭建语音 AI 应用,通话、混音、识别全搞定。

A programmable Voice AI platform: SIP and WebRTC call control, multi-party mixing, r···

★ 138 2026-08-09