lmdeploy

一键压缩部署大模型，推理快、显存省、吞吐高

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 772 🐛 待处理 634 👀 关注 55

GitHub ↗

GitHub 星标 ★ 8137

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源工具，Apache-2.0 许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队InternLM

GitHubhttps://github.com/InternLM/lmdeploy

定价模式🏷️完全免费

价格说明开源工具，Apache-2.0 许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型codellama,cuda-kernels,deepspeed,fastertransformer,internlm,llama,llama2,llama3,llm,llm-inference,turbomind

GitHub 星标★ 8137

上线时间2023-06-15 00:00:00

代码更新2026-11-06

仓库体积17.3 MB

本站数据更新2026-11-08

维护状态活跃

收录时间2026-08-09

浏览次数5

项目介绍

LMDeploy 是一个专为大语言模型（LLM）设计的压缩、部署和服务工具包。它解决了 LLM 在实际生产环境中推理速度慢、显存占用高、部署复杂等核心问题。其核心能力包括：高效的 4-bit 权重量化（AWQ 算法）以显著降低显存需求；首创的持久批处理（Persistent Batch）推理引擎，通过调度策略提升吞吐量；支持张量并行和多机多卡部署，可无缝对接 HuggingFace 模型；提供 OpenAI 兼容的 API 服务，并集成 KV Cache 管理、连续批处理等优化技术。LMDeploy 旨在让开发者能够轻松地将大型模型高效地部署到生产环境，实现低延迟、高吞吐的推理服务。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 8137

技术标签

llama llama2 llama3 llm llm-inference

使用教程

难度：入门约 10 分钟部署方式：库/依赖 4 步

环境要求

已安装 conda（用于创建独立虚拟环境）
Python 3.10 - 3.13，README 示例使用 3.12
可访问 PyPI 以执行 pip 安装
NVIDIA GPU 环境建议使用 v0.13.0 及以上版本（默认 wheel 基于 CUDA 12.8）

安装与启动步骤

1创建 conda 环境

用 conda 新建名为 lmdeploy 的独立环境，Python 版本指定 3.12，与 README 示例一致。
```
conda create -n lmdeploy python=3.12 -y
```
2激活环境

切换到刚创建的环境，后续所有安装与运行都在该环境内进行。
```
conda activate lmdeploy
```
3安装 lmdeploy

通过 pip 从 PyPI 安装官方预编译 wheel，常规环境无需额外编译 CUDA 算子。
```
pip install lmdeploy
```
4查阅快速上手

安装完成后按官方 Quick Start 与文档继续模型部署、量化与服务化操作。