⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1查阅官方安装文档
README 未给出具体安装命令，安装步骤必须以官方 Installation 文档为准，先打开该页面确认最新要求。
2确认硬件与驱动
README 提到支持在 GPU 和 NPU 上部署，先确认本机具备对应加速卡及可用驱动，再选择安装方式。
3拉取 nightly 镜像
如需 Docker 部署，打开 Docker Hub 的 vllm/vllm-omni 标签页，筛选 nightly 标签并复制页面给出的拉取命令执行。
4查看支持的模型
在官方支持模型列表中确认你要部署的模型是否在列，避免选到尚未支持的多模态模型。
5按 Quickstart 启动服务
参考官方 Quickstart 步骤启动推理服务，并按对应模型的部署配方（Deployment Recipes）调整参数。
README 未给出具体验证命令，请按官方 Quickstart 文档确认服务成功返回推理结果。
Q：这个项目支持哪些模态？
A：支持文本、图像、视频、音频等多种模态的全模态模型推理，具体模型清单见官方文档的 Supported Models 页面。
Q：有官方 Docker 镜像可以直接用吗？
A：有。Docker Hub 提供 vllm/vllm-omni 的 nightly CUDA 镜像，由最新 main 分支构建，可在其 tags 页面选择标签拉取。
Q：为什么教程里没有具体安装命令？
A：README 只给出了文档链接，没有写明安装命令，为保证准确，请以官方 Installation 与 Quickstart 页面为准。
Q：遇到问题去哪里求助？
A：可使用官方用户论坛 discuss.vllm.ai、开发者 Slack slack.vllm.ai，或查阅 DeepWiki 文档。
vLLM、TGI (Hugging Face Text Generation Inference)、OpenVINO
vllm-omni 是基础设施领域的开源项目，由 vllm-project 开发，2025 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（6,995）位列前 7%，在基础设施分类的 1,130 个项目里位列前 10%。
近 44 天，它的 GitHub 星标从 5,987 增加到 6,995，净增 1,008。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。Apache-2.0 许可，完全免费，可自行部署使用。
它主要面向的使用场景是：多模态AI应用开发，如智能助手、内容生成平台。同类可对比的替代方案包括 vLLM、TGI (Hugging Face Text Generation Inference)、OpenVINO。
上一篇：LocalAI
下一篇：SageAttention
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
