ome

用 K8s 声明式管理大模型推理与 GPU 调度

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 106 🐛 待处理 118 👀 关注 12
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 525
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，无付费版本

项目预览

ome 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队ome-projects
官网地址http://ome-projects.github.io/ome
GitHubhttps://github.com/ome-projects/ome
定价模式🏷️完全免费
价格说明开源免费，无付费版本
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型deepseek,k8s,kimi-k2,llama,llm,llm-inference,model-as-a-service,model-serving,multi-node-kubernetes,oracle-cloud,pd-disaggregation,qwen,sglang,vllm
GitHub 星标★ 525
上线时间2025-05-19 00:00:00
代码更新2026-11-10
仓库体积43.4 MB
本站数据更新2026-11-11
维护状态活跃
收录时间2026-11-11
浏览次数0

项目介绍

OME（Open Model Engine）是一个用 Go 编写的 Kubernetes Operator，面向大模型推理服务场景，把模型部署、GPU 调度和模型生命周期管理统一交给 K8s 声明式 API 处理。它解决的核心问题是：在集群里手工编排 vLLM、SGLang、TensorRT-LLM、Triton 等推理引擎的部署、扩缩容和 GPU 资源分配既繁琐又容易出错。OME 通过自定义资源定义（CRD）描述模型服务，自动完成推理引擎 Pod 的创建、GPU 资源调度、多节点分布式推理编排以及模型版本更新与下线。项目支持 PD 分离（Prefill/Decode 解耦）等推理优化形态，适配 DeepSeek、Kimi-K2、Llama 等主流模型，并提供 Model-as-a-Service 式的服务抽象，让平台团队可以用统一方式管理多种推理后端，降低运维复杂度。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 525

核心亮点

  • 以 Operator 和 CRD 方式管理推理服务，与 K8s 原生运维体系一致
  • 同时适配 vLLM、SGLang、TensorRT-LLM、Triton 多种推理引擎
  • 覆盖 GPU 调度、多节点分布式推理和模型生命周期管理

不足之处

  • 项目处于早期阶段，功能与 API 可能频繁变动
  • 文档和社区生态相对薄弱，生产落地案例待观察

适用场景

  • 在自有 K8s 集群上统一部署和管理多种 LLM 推理服务
  • 为多节点大模型推理做 GPU 资源调度与分布式编排
  • 平台团队构建内部 Model-as-a-Service 能力

替代项目

KServe、Ray Serve、vLLM Production Stack

上一篇：llamactl

下一篇：djev-run

同类项目推荐

automlops 开源

几分钟搭好MLOps流水线，告别繁琐工程配置

Build MLOps Pipelines in Minutes

★ 258 2026-08-09
pipeshub-ai 开源

统一企业数据，让 AI 搜索和智能体更懂业务

The open-source context layer for AI agents. PipesHub turns your company's knowledge···

★ 4068 2026-08-09
BharatMLStack 开源

一套打通训练到推理的 ML 基础设施，让大规模模型上线更稳更快。

BharatMLStack is an open-source, end-to-end machine learning infrastructure stack bu···

★ 716 2026-08-09
picollm 开源

让大模型在手机和嵌入式设备上流畅跑起来

On-device LLM Inference Powered by X-Bit Quantization

★ 319 2026-08-09
infinity 开源

为LLM应用而生的极速混合搜索数据库，毫秒级检索知识

The AI-native database built for LLM applications, providing incredibly fast hybrid ···

★ 4764 2026-08-09
zon-TS 开源

用 ZON 格式替代 JSON，提示词 token 成本直降 35-70%

ZON → 35-70% cheaper LLM prompts than JSON/TOON. Zero overhead.

★ 51 2026-08-09
ck 开源

一键自动化AI基准测试与调优，跨硬件高效跑通MLPerf

Collective Knowledge (CK), Collective Mind (CM/CMX) and MLPerf automations: communit···

★ 649 2026-08-09
agent-console 开源

看清每轮 AI 编码花了多少 token 和钱

Local-first observability for AI coding agents. Every Claude Code and Codex session'···

★ 803 2026-10-02