一键压缩部署大模型，推理快、显存省、吞吐高
LMDeploy 是一个专为大语言模型（LLM）设计的压缩、部署和服务工具包。它解决了 LLM 在实际生产环境中推理速度慢、显存占用高、部署复杂等核心问题。其核心能力包括：高效的 4-bit 权重量化（AWQ 算法）以显著降低显存需求；首创的持久批处理（Persistent Batch）推理引擎，通过调度策略提升吞吐量；支持张量并行和多机多卡部署，可无缝对接 HuggingFace 模型；提供 OpenAI 兼容的 API 服务，并集成 KV Cache 管理、连续批处理等优化技术。LMDeploy 旨在让开发者能够轻松地将大型模型高效地部署到生产环境，实现低延迟、高吞吐的推理服务。
1创建 conda 环境
用 conda 新建名为 lmdeploy 的独立环境，Python 版本指定 3.12，与 README 示例一致。
conda create -n lmdeploy python=3.12 -y2激活环境
切换到刚创建的环境，后续所有安装与运行都在该环境内进行。
conda activate lmdeploy3安装 lmdeploy
通过 pip 从 PyPI 安装官方预编译 wheel，常规环境无需额外编译 CUDA 算子。
pip install lmdeploy4查阅快速上手
安装完成后按官方 Quick Start 与文档继续模型部署、量化与服务化操作。
在 lmdeploy 环境中执行 pip show lmdeploy，能显示包名与版本号即表示安装成功。
Q：pip 上能直接装到最新版本吗？
A：可以。README 提到 PyPI 已恢复 LMDeploy 的上传配额，v0.12.3 起可直接通过 pip install lmdeploy 安装。
Q：GeForce RTX 50 系列显卡需要额外配置吗？
A：不需要。从 v0.13.0 开始，PyPI 上的默认预编译 wheel 基于 CUDA 12.8 构建，pip install lmdeploy 即可覆盖包括 RTX 50 系列在内的常见环境。
Q：对 Python 版本有什么要求？
A：README 建议在 conda 环境中使用 pip 安装，支持的 Python 版本为 3.10 至 3.13。
Q：支持哪些量化方式？
A：项目提供 AWQ 4-bit 权重量化，2026/02 起还支持 vllm-project/llm-compressor 的 4bit 对称与非对称量化。
vLLM、TGI、TensorRT-LLM
lmdeploy 是基础设施领域的开源项目，由 InternLM 开发，2023 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（8,091）位列前 6%，在基础设施分类的 1,130 个项目里位列前 9%。
近 41 天，它的 GitHub 星标从 8,002 增加到 8,091，净增 89。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。开源工具，Apache-2.0 许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：大模型私有化部署，降低显存成本。同类可对比的替代方案包括 vLLM、TGI、TensorRT-LLM。
上一篇：GenieX
下一篇：mistral.rs
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···