vLLM-Kunlun
让昆仑芯 XPU 直接跑起 vLLM 大模型推理服务
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 480
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- 昆仑 XPU
- Python
- vLLM 环境
安装与启动步骤
-
1拉代码并装插件
它是 vLLM 的硬件插件，先按仓库说明装。
git clone https://github.com/baidu/vLLM-Kunlun.git -
2确认昆仑卡驱动
插件只做硬件适配，驱动和固件要在系统侧就绪。
-
3起兼容接口服务
以 OpenAI 兼容方式起服务，方便复用现有客户端。
python -m vllm.entrypoints.openai.api_server -
4跑通一个模型
先用小模型验证链路，再换大模型。
如何确认成功
服务起来后能用 OpenAI 兼容客户端正常对话，且日志里确实走的是昆仑卡而非回落到 CPU
注意事项
- 它把昆仑 XPU 接进 vLLM，属硬件插件，解决的是能不能在国产卡上跑主流推理引擎的问题。
- 插件只负责适配层，驱动固件与运行时版本对不上时会在加载阶段失败。
- 支持的模型范围随版本变化，换模型前先查仓库里的兼容列表。
- 国产卡上的算子覆盖不完整，部分特性（如某些量化）可能不可用。
核心亮点
- 复用 vLLM 生态，昆仑 XPU 上可直接获得 PagedAttention、连续批处理等推理优化
- 作为插件形式接入，不改动 vLLM 主干代码，便于跟随上游版本迭代
- 面向国产 AI 加速卡，为使用昆仑芯的团队提供开箱即用的 LLM 部署方案
不足之处
- 项目处于早期，星标和贡献者规模有限，功能完整度与稳定性待验证
- 文档和社区支持相对薄弱，遇到硬件相关问题排查成本可能较高
适用场景
- 在昆仑芯 XPU 服务器上部署开源大模型推理 API 服务
- 国产算力集群中替代 GPU 跑 vLLM 推理，降低对英伟达依赖
- 需要 OpenAI 兼容接口、又必须用昆仑芯硬件的企业私有化部署
替代项目
vLLM、SGLang
上一篇：llm-scaler
同类项目推荐
pandaprobe
开源
给 AI Agent 装上追踪和评测，调试不再靠猜
open source agent engineering platform: traces, evals, and metrics to debug and impr···
TE-Speed-MiniMaxH3-OSS
开源
给 MiniMax-H3 视频生成提速，缓存加速让出片更快
MiniMax-H3超级缓存加速插件
local-llms-on-android
开源
把大模型装进口袋，离线也能智能对话
Run local LLMs like Gemma, Qwen, and LLaMA on Android for offline, private, real-tim···
cactus
开源
让手机和机器人秒级跑起 AI 模型，省电又流畅
Quantization, kernels, runtime and inference engine for mobiles, wearables, smart ho···
terraform-genai-rag
开源
填几个变量，云上 RAG 环境一键搭好
Deploys a Generative AI RAG solution
uteke
开源
给 AI 装上本地大脑，离线记忆秒级召回
Long-term memory for any AI agent. One Rust binary, offline, 98.2% recall@5 on LongM···
graphjin
开源
给AI代理一个统一数据入口，安全读写数据库和API
One governed graph for AI agents — GraphQL + MCP over your databases, files, APIs, ···
moe-l2
开源
8GB 显卡也能跑 100B+ MoE 大模型
MoE expert offload for low-VRAM GPUs — run 100B+ MoE models (DeepSeek, Qwen, Mixtra···
OpenMemory
开源
AI 工具共用一份记忆，关掉重开照样记得你
Local persistent memory store for LLM applications including claude desktop, github ···