bitsandbytes

把大模型塞进小显存，量化微调一条龙

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 944 🐛 待处理 120 👀 关注 51

GitHub ↗

GitHub 星标 ★ 8536

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源库，MIT许可证，完全免费，无付费版本。

项目预览

bitsandbytes 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队bitsandbytes-foundation

GitHubhttps://github.com/bitsandbytes-foundation/bitsandbytes

定价模式🏷️完全免费

价格说明开源库，MIT许可证，完全免费，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型llm,machine-learning,pytorch,qlora,quantization

GitHub 星标★ 8536

上线时间2021-06-04 00:00:00

代码更新2026-11-02

仓库体积6.3 MB

本站数据更新2026-11-10

维护状态较活跃

收录时间2026-08-09

浏览次数6

项目介绍

bitsandbytes 是一个为 PyTorch 提供 k-bit 量化支持的开源库，旨在让大语言模型（LLM）的部署和微调更加高效、可访问。它解决了大模型显存占用过高、普通硬件难以运行的问题，通过将模型权重从 32 位浮点数压缩到 8 位或 4 位整数，显著降低显存需求，同时尽量保持模型精度。核心能力包括：支持 8 位和 4 位量化、QLoRA 微调（在量化模型上做低秩适配）、以及多种量化算法（如 absmax、zeropoint、GPTQ 兼容）。该库与 Hugging Face Transformers 紧密集成，用户只需简单配置即可加载量化模型，无需修改现有代码。它特别适合在消费级 GPU（如 RTX 3090/4090）上运行 7B-70B 参数级别的模型，推动了 LLM 的本地化和民主化。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 8536

技术标签

llm machine-learning pytorch qlora quantization

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 10 分钟部署方式：库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境（bitsandbytes 通过 PyPI 分发，支持版本以 PyPI 页面标注为准）
已安装 PyTorch（README 明确该库为 PyTorch 提供 k-bit 量化支持）
网络可访问 PyPI 以完成安装包下载

安装与启动步骤

1检查 Python 环境

确认本机已安装 Python 且可正常调用 pip，版本需满足 PyPI 页面标注的要求。
```
python --version
pip --version
```
2确认 PyTorch 就绪

bitsandbytes 依赖 PyTorch 运行，先确认 torch 可导入并查看版本，避免后续量化调用失败。
```
python -c "import torch; print(torch.__version__)"
```
3安装 bitsandbytes

从 PyPI 安装官方发行包，建议在虚拟环境中执行，避免污染系统 Python 环境。
```
pip install bitsandbytes
```
4验证导入是否成功

导入库并打印对象信息，无报错即说明安装路径与依赖正常。
```
python -c "import bitsandbytes as bnb; print(bnb)"
```