llm-on-openshift

在 OpenShift 上快速跑通 LLM 部署与推理

llm-on-openshift 是 Red Hat 官方维护的开源资源集合，面向在 OpenShift 上运行大语言模型（LLM）的工程师与数据科学家。它解决的核心问题是：把 LLM 从本地实验搬到企业级 Kubernetes 平台时，缺少可复用的部署模板、示例和最佳实践。项目提供大量 Jupyter Notebook、YAML 清单、Helm 风格配方和演示，覆盖模型服务（如 vLLM、TGI、Caikit）、推理优化、RAG 检索增强、微调、向量数据库集成、监控与自动扩缩容等环节。所有内容围绕 OpenShift AI 或 Open Data Hub 技术栈设计，能直接跑在集群里，帮助团队快速搭建从模型加载、API 暴露到应用集成的完整链路，降低平台落地门槛。