AngelSlim

一键压缩大模型，部署更快更省资源

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 197 🐛 待处理 69 👀 关注 19

GitHub ↗

GitHub 星标 ★ 1787

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源模型压缩工具包，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队Tencent

GitHubhttps://github.com/Tencent/AngelSlim

定价模式🏷️完全免费

价格说明开源模型压缩工具包，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型audio,deepseek,dflash,diffusion,eagle,fp4,hunyuan,llm,llm-compression,quantization,qwen,speculative-decoding,vlm

GitHub 星标★ 1787

上线时间2025-07-04 00:00:00

代码更新2026-10-31

仓库体积89.8 MB

本站数据更新2026-11-09

维护状态较活跃

收录时间2026-08-09

浏览次数8

项目介绍

AngelSlim 是一个面向大语言模型的开源压缩工具包，旨在让模型压缩更易用、更全面、更高效。它解决了模型部署中体积大、推理慢、成本高的问题，提供从剪枝、量化到蒸馏的一站式压缩方案。核心能力包括：支持多种主流模型架构（如LLaMA、Qwen等），提供统一的压缩接口和自动化配置，能显著减少模型参数量和显存占用，同时尽量保持模型性能。工具包设计上强调用户友好，通过简单的API调用即可完成复杂的压缩流程，并内置了压缩后模型的效果评估功能，帮助用户在压缩率与精度损失之间找到平衡。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1787

技术标签

audio deepseek diffusion llm quantization

使用教程

难度：进阶约 30 分钟部署方式：库/依赖 8 步

环境要求

Python 环境（可执行 pip 命令）
安装 vLLM 时建议 vllm>=0.8.5.post1，MOE INT8 量化模型需 vllm>=0.9.0
安装 SGLang 时建议 sglang>=0.4.6.post1
单机快速开始示例需要 4 张 GPU（2 张推理 + 2 张训练）
克隆源码需支持 git submodule 的 git 环境

安装与启动步骤

1安装 AngelSlim

官方推荐用 pip 直接安装最新稳定版 AngelSlim，最省事，装完即可调用压缩接口。
```
pip install angelslim
```
2源码方式安装

想改代码或跟踪最新功能时，用递归克隆仓库并以可编辑/源码方式安装，注意必须带 --recursive。
```
git clone --recursive https://github.com/Tencent/AngelSlim.git
cd AngelSlim && python setup.py install
```
3初始化子模块

AngelSpec 以 git submodule 形式放在 third_party/AngelSpec/，已克隆的仓库要手动初始化拉取。
```
git submodule update --init --recursive
```
4装 AngelSpec 与 vLLM

进入子模块目录安装 AngelSpec 及其 vLLM 后端，这是跑投机解码训练与推理的前置依赖。
```
cd third_party/AngelSpec
pip install -e ".[vllm]"
```
5装 mooncake 传输引擎

隐藏状态传输组件不在 extras 里，必须单独安装，否则分布式训练链路会缺依赖。
```
pip install mooncake-transfer-engine
```
6运行单机快速开始

仓库自带 qwen3-8b 单机示例脚本，默认用 4 张卡（2 推理 + 2 训练），先确保卡空闲。
```
./examples/qwen3-8b-single-node/run.sh
```
7部署 vLLM 服务

把 MODEL_PATH 换成你的量化模型路径，用脚本拉起 OpenAI 兼容接口；-d 选卡、-t 张量并行、-p 流水并行、-g 显存利用率。
```
bash scripts/deploy/run_vllm.sh --model-path /your/model/path --port 8080 -d 0,1,2,3 -t 4 -p 1 -g 0.8 --max-model-len 4096
```
8部署 SGLang 服务

不想用 vLLM 时可换 SGLang 脚本部署同样的 OpenAI 兼容服务，参数含义与 vLLM 脚本基本一致。
```
bash scripts/deploy/run_sglang.sh --model-path /your/model/path --port 8080 -d 0,1,2,3 -t 4 -g 0.8
```

关键配置

配置项	必填	说明	示例
`--model-path`	是	指定已量化好的模型目录路径	`/your/model/path`
`--port`	否	API 服务监听端口	`8080`
`-d`	否	可见的 GPU 设备编号列表	`0,1,2,3`
`-t`	否	张量并行大小（tensor parallel size）	`4`
`-p`	否	流水并行大小，vLLM 脚本参数	`1`
`-g`	否	GPU 显存利用率，显存不足可调小	`0.8`