vllm

同一个模型跑出几倍速度，机器成本省一半

面向 LLM 的高吞吐、内存高效的推理与 serving 引擎，支持 PagedAttention 等核心技术，是大规模模型部署与在线服务的事实标准之一。

开源 开源免费 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗

项目数据

分类开源模型
开发团队vllm-project
所属国家
官网地址https://vllm.ai
GitHubhttps://github.com/vllm-project/vllm
定价模式开源免费
价格区间
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型amd,blackwell,cuda,deepseek,deepseek-v3,gpt,gpt-oss,inference,kimi,llama
GitHub 星标★ 88556
30天Star增速
HF 下载量
上线时间2023-02-09 00:00:00
最近更新2026-08-09 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数0

核心亮点

    不足之处

      适用场景

        替代项目

        项目介绍

        vllm 是一个开源模型领域的开源项目，官方简介：A high-throughput and memory-efficient inference and serving engine for LLMs。项目使用 Python 开发，在 GitHub 上获得 88556 星标。

        上一篇：TradingAgents

        下一篇：OpenHands

        同类项目推荐

        minimind 开源

        「大模型」2小时完全从0训练64M的小参数LLM！Train a 64M-parameter LLM from scratch in ···

        ★ 54472 2026-08-09
        KAG 开源

        KAG is a logical form-guided reasoning and retrieval framework based on OpenSPG engi···

        ★ 8962 2026-08-09
        PocketFlow 开源

        Pocket Flow: 100-line LLM framework. Let Agents build Agents!

        ★ 11085 2026-08-09
        mem0 开源

        Universal memory layer for AI Agents

        ★ 62844 2026-08-09