llm-d

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• 可用的 Kubernetes 集群及集群访问权限（llm-d 面向 Kubernetes 生产部署）
• GPU 等硬件加速器节点（适配多数加速器，如 NVIDIA A100/H100）
• 已部署的模型服务器运行时：vLLM 或 SGLang
• 能访问互联网以获取 llm-d 仓库与官方文档

安装与启动步骤

1. 1准备 Kubernetes 集群

   llm-d 是运行在 Kubernetes 之上的分布式推理服务栈，部署前需先具备可用集群与访问权限；README 未给出具体版本要求。

2. 2准备加速器资源

   确认集群节点具备 GPU 等加速器，llm-d 目标是在各类加速器上达到 SOTA 推理性能。

3. 3获取 llm-d 仓库

   从 GitHub 克隆 llm-d 项目，后续按仓库内脚本与官方指南进行部署；README 未列出具体安装命令。

   git clone https://github.com/llm-d/llm-d.git

   复制

4. 4选择模型服务器

   先确定底层模型服务器为 vLLM 或 SGLang，llm-d 在其之上提供编排与优化能力。

5. 5查阅官方部署指南

   README 仅给出方向性说明，实际部署请以官网文档中的 Well-Lit Paths 指南为准，如优化基线路径。

如何确认成功

README 未提供启动验证方法，请以 llm-d 官网文档对应指南中的健康检查与基准测试结果为准。

常见问题

注意事项

• README 节选未包含任何安装命令，本教程中的步骤为基础准备动作，实际部署请以 https://www.llm-d.ai 官方文档为准。
• 项目主要使用 Shell 脚本编写，部署流程依赖 Kubernetes 与加速器环境，建议具备一定云原生运维经验。
• llm-d 提供智能路由（前缀缓存、负载感知均衡）和分层 KV-Cache 管理等能力，可按需在官方指南中选择对应路径。