FlexLLMGen

单卡跑大模型，吞吐量翻倍，省钱又高效

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 588 🐛 待处理 58 👀 关注 7 ⚠️ 作者已归档（停止维护）

GitHub ↗

GitHub 星标 ★ 9340

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0许可证，可免费使用和部署。

项目预览

项目数据

分类开源模型

开发团队FMInference

GitHubhttps://github.com/FMInference/FlexLLMGen

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0许可证，可免费使用和部署。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型deep-learning,gpt-3,high-throughput,large-language-models,machine-learning,offloading,opt

GitHub 星标★ 9340

上线时间2023-02-15 00:00:00

代码更新2024-10-28

仓库体积38.0 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数5

项目介绍

FlexLLMGen是一个专注于在单张GPU上高效运行大语言模型的开源推理框架，主要面向高吞吐量场景。它解决了单卡显存有限、难以部署大模型以及推理吞吐量低的问题，通过创新的内存管理和调度策略，让用户无需多卡集群即可获得接近数据中心的推理性能。核心能力包括动态批处理、连续内存池、以及针对吞吐量优化的内核融合，支持主流模型架构（如GPT、LLaMA等），并提供简洁的Python接口，方便集成到现有系统中。该框架特别适合资源受限但需要处理大量并发请求的环境，如本地服务、边缘设备或研究实验，能显著提升单卡利用率，降低推理成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 9340

技术标签

deep-learning gpt-3 large-language-models machine-learning

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶约 30 分钟部署方式：命令行工具 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境（README 未指定具体版本）
PyTorch >= 1.12
单张 GPU（示例使用 T4 16GB）
示例配置需要约 200GB DRAM
HELM 相关依赖：crfm-helm

安装与启动步骤

1安装 PyTorch

README 安装要求仅列出 PyTorch >= 1.12，请按官方指引选择与本机 CUDA 匹配的版本安装。
```
pip install torch
```
2获取项目代码

从项目 GitHub 仓库克隆源码到本地，后续以该目录为工作目录执行示例命令。
```
git clone https://github.com/FMInference/FlexLLMGen.git
```
3安装 HELM 依赖

运行 HELM 基准测试前需先安装 crfm-helm，这是 README 中明确给出的依赖包。
```
pip install crfm-helm
```

4跑 MMLU 示例

用单张 T4（16GB）加 200GB 内存跑 abstract_algebra 场景，opt-30b 模型，通过 percent 参数把权重分布到 GPU/CPU/磁盘。

python3 -m flexllmgen.apps.helm_run --description mmlu:model=text,subject=abstract_algebra,data_augmentation=canonical --pad-to-seq-len 512 --model facebook/opt-30b --percent 20 80 0 100 0 100 --gpu-batch-size 48 --num-gpu-batches 3 --max-eval-instance 100

关键配置

配置项	必填	说明	示例
`--description`	是	指定 HELM 评测场景，如 mmlu 及其子任务	`mmlu:model=text,subject=abstract_algebra,data_augmentation=c`
`--model`	是	指定要推理的模型名称	`facebook/opt-30b`
`--percent`	是	控制模型权重在 GPU/CPU/磁盘间的卸载比例	`20 80 0 100 0 100`
`--gpu-batch-size`	否	单次送入 GPU 的批大小，影响显存占用	`48`
`--num-gpu-batches`	否	每个请求在 GPU 上执行的批次数	`3`
`--pad-to-seq-len`	否	将序列补齐到指定长度，便于批处理	`512`

如何确认成功

命令开始输出 MMLU 评测进度与结果、且无报错信息，即表示运行成功。

常见问题

Q：只有一张显卡能跑 30B 大模型吗？

A：可以。FlexLLMGen 通过 IO 高效的 offloading、压缩和大批处理，在有限显存下实现高吞吐推理，示例即为单张 T4 16GB。

Q：显存或内存不足怎么办？

A：调整 --percent 参数，把更多权重卸载到 CPU 或磁盘，并适当减小 --gpu-batch-size。

Q：支持所有 HELM 场景吗？

A：README 明确说明只测试了 HELM 场景的一个子集，更多已测场景见 flexllmgen/apps/helm_passed_30b.sh。

Q：除了 HELM 还能做什么？

A：README 还提供了数据整理（Data Wrangling）任务示例，说明见 flexllmgen/apps/data_wrangle 目录。

注意事项

README 的 Installation 只给出 PyTorch >= 1.12，未提供 FlexLLMGen 本体的 pip 安装命令，克隆后以源码方式运行。
示例资源需求为单张 T4（16GB）GPU 加约 200GB DRAM，硬件不满足时需调整参数。
该框架面向吞吐量优先的离线批量任务，对延迟不敏感。