llm-on-openshift
在 OpenShift 上快速跑通 LLM 部署与推理
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 150
核心亮点
- 提供大量可直接运行的 Notebook 和 YAML 示例，覆盖 vLLM、TGI、Caikit 等主流推理后端
- 与 OpenShift AI/Open Data Hub 深度集成，包含模型服务、RAG、微调、监控等端到端配方
- 由 Red Hat 官方维护，内容随平台版本更新，适合企业内做 PoC 和参考架构
不足之处
- 项目定位是资源集合而非独立产品，缺少统一 CLI 或一键部署工具
- 部分示例依赖较新的 OpenShift AI 版本和特定 GPU 环境，通用性受限
适用场景
- 企业内基于 OpenShift 搭建 LLM 推理服务并对外提供 API
- 数据科学家用 Jupyter Notebook 在集群上做模型微调与 RAG 实验
- 平台团队参考官方配方设计 GPU 资源调度、自动扩缩容和监控方案
替代项目
KServe、vLLM、Ray Serve
下一篇：eLLM
同类项目推荐
lilypad
开源
像管代码一样管模型，一键追踪、标注、迭代
Open-source versioning, tracing, and annotation tooling.
openai-compatible-api-migration-···
开源
换 AI 网关不翻车，示例+回滚+清单一次给齐
OpenAI-compatible API migration kit: drop-in /v1/images/generations and chat example···
mlops-guide.github.io
开源
跟着教程，用开源工具搭建完整MLOps流水线
MLOps end-to-end guide and tutorial website, using IBM Watson, DVC, CML, Terraform, ···
uzu
开源
用 Rust 打造超快本地音频 AI 推理，秒级生成声音
A high-performance inference engine for AI models
doc2vec-api
开源
用 doc2vec 快速训练文本向量，搭建简单对话机器人
document embedding and machine learning script for beginners
station
开源
自托管智能体运行时，让 AI 部署完全可控
Station is our open-source runtime that lets teams deploy agents on their own infras···
Orion
开源
在苹果 ANE 上直接跑小 LLM，离线微调不联网
Local AI runtime for training & running small LLMs directly on Apple Neural Engine (···
LLMKube
开源
用 kubectl 在混搭 GPU 集群上跑大模型推理
Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: ···
logto
开源
开箱即用的登录与权限系统，让 SaaS 和 AI 应用快速上线认证
Authentication and authorization infrastructure for SaaS and AI apps, built on OI···