vllm

同一个模型跑出几倍速度,机器成本省一半

面向 LLM 的高吞吐、内存高效的推理与 serving 引擎,支持 PagedAttention 等核心技术,是大规模模型部署与在线服务的事实标准之一。

开源 开源免费 开源模型
GitHub 星标 ★ 88597
维护状态 活跃
是否开源
定价模式 开源免费

项目数据

分类开源模型
开发团队vllm-project
所属国家
官网地址https://vllm.ai
定价模式开源免费
价格区间
是否开源
开源协议Apache-2.0
主要语言Python
技术栈/模型amd,blackwell,cuda,deepseek,deepseek-v3,gpt,gpt-oss,inference,kimi,llama,llm,llm-serving,model-serving,moe,openai,pytorch,qwen,qwen3,tpu,transformer
GitHub 星标★ 88597
30天Star增速
HF 下载量
上线时间2023-02-09 00:00:00
最近更新2026-08-09 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2

核心亮点

    不足之处

      适用场景

        替代项目

        项目介绍

        vllm 是一个开源模型领域的开源项目,官方简介:A high-throughput and memory-efficient inference and serving engine for LLMs。项目使用 Python 开发,在 GitHub 上获得 88556 星标。

        上一篇:TradingAgents

        下一篇:OpenHands

        同类项目推荐

        AutoGPT 开源

        开箱即用的 AI 员工,交代任务就自己干完

        AutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mis···

        ★ 186456 2026-08-09
        LLMs-from-scratch 开源

        手把手从零造出 ChatGPT,原理代码一次搞懂

        Implement a ChatGPT-like LLM in PyTorch from scratch, step by step

        ★ 101953 2026-08-09
        open-webui 开源

        给本地模型配个漂亮聊天室,全家都能用

        User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

        ★ 148319 2026-08-09
        transformers 开源

        全球最大的模型仓库全家桶,想用的模型一把抓

        Transformers: the model-definition framework for state-of-the-art machine learning m···

        ★ 163500 2026-08-09