让 vLLM 在昇腾 NPU 上跑起来，无缝用上大模型推理
vllm-ascend 是 vLLM 在华为昇腾（Ascend）硬件上的社区维护插件，旨在让 vLLM 这一主流大模型推理框架能够无缝运行在昇腾 NPU 上。它解决了昇腾用户无法直接使用 vLLM 生态的问题，通过适配层将 vLLM 的算子、内存管理和调度逻辑映射到昇腾 CANN 平台，从而支持高性能的大模型推理。核心能力包括：提供与 vLLM 一致的 API 接口，支持主流大模型（如 Llama、Qwen 等）在昇腾设备上的推理，并利用昇腾的硬件特性进行优化。该项目由华为和社区共同维护，是昇腾 AI 生态中重要的开源组件，帮助开发者降低在昇腾平台上部署大模型的门槛，同时保持与上游 vLLM 的同步更新。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1确认版本对应关系
先看 Support Matrix，确认自家昇腾硬件、CANN 版本与插件版本的对应关系，再决定装哪个版本。
2选择发行版本
v0.23.0 为最新稳定版，v0.26.0rc1 为候选版本；生产环境建议使用稳定版 v0.23.0。
3按官方文档安装
打开所选版本对应的 Installation 文档页，按其给出的步骤和命令完成安装，不要混用不同版本的文档。
4可选：克隆仓库
如需查看源码、示例或自行构建，可克隆仓库；具体构建参数以官方文档为准。
git clone https://github.com/vllm-project/vllm-ascend.git5运行快速开始
按所选版本对应的 QuickStart 文档启动服务并发起推理请求，验证插件在昇腾设备上可用。
按官方 QuickStart 运行示例推理请求，若能正常返回生成结果，说明 vLLM Ascend 插件已成功运行在昇腾 NPU 上。
Q：README 里为什么没有具体的安装命令？
A：本项目把安装细节放在官方文档中，README 只给出获取方式。请按所选版本打开对应版本的 Installation 与 QuickStart 页面，照着执行。
Q：应该安装哪个版本？
A：v0.23.0 是当前最新稳定版本，建议优先使用；v0.26.0rc1 为候选版本，适合尝鲜和验证，不建议直接用于生产。
Q：没有昇腾 NPU 设备能安装吗？
A：本项目是 vLLM 在昇腾硬件上的插件，README 未说明可在无昇腾设备的环境使用，请先准备昇腾 NPU 及匹配的 CANN 环境。
Q：安装或使用中遇到问题去哪里问？
A：可加入 Slack 频道 #SIG-Ascend，或在 vLLM 用户论坛的 vLLM Ascend Support 版块提问，也可参加每周例会。
vllm-cpu、vllm-rocm、TensorRT-LLM
vllm-ascend 是基础设施领域的开源项目，由 vllm-project 开发，2025 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（2,882）位列前 30%，在基础设施分类中处于中上游。
近 42 天，它的 GitHub 星标从 2,612 增加到 2,882，净增 270。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。基于Apache-2.0许可证，可免费使用和部署。
它主要面向的使用场景是：在华为昇腾服务器上部署大模型推理服务。同类可对比的替代方案包括 vllm-cpu、vllm-rocm、TensorRT-LLM。
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···