BitNet

把大模型权重压到1-bit，省显存省算力

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 175 🐛 待处理 4 👀 关注 38

GitHub ↗

GitHub 星标 ★ 1949

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费，遵循开源许可证

项目预览

项目数据

分类开源模型

开发团队kyegomez

GitHubhttps://github.com/kyegomez/BitNet

定价模式🏷️完全免费

价格说明开源免费，遵循开源许可证

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型artificial-intelligence,deep-neural-networks,deeplearning,gpt4,machine-learning,multimodal,multimodal-deep-learning

GitHub 星标★ 1949

上线时间2023-10-18 00:00:00

代码更新2026-11-02

仓库体积37.4 MB

本站数据更新2026-11-04

维护状态活跃

收录时间2026-09-15

浏览次数1

项目介绍

BitNet 是微软论文《BitNet: Scaling 1-bit Transformers for Large Language Models》的 PyTorch 开源实现，核心思路是把 Transformer 中的线性层权重压缩到 1-bit（三值 -1/0/1），从而大幅降低大语言模型的显存占用与计算开销。项目提供可训练的三值线性层（BitLinear），用 BitNet 架构替换标准 nn.Linear，让研究者能在普通显卡上训练和推理更小的类 GPT 模型。它解决的是大模型参数膨胀带来的部署成本问题，通过量化感知训练让模型在低比特下仍保持可用语言建模能力。代码结构简洁，包含模型定义、训练脚本与示例配置，适合作为低比特 LLM 研究的起点，也可用于验证 1-bit 量化对生成质量的实际影响。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 1949

技术标签

artificial-intelligence deep-neural-networks deeplearning gpt4 machine-learning

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 10 分钟部署方式：库/依赖 5 步

环境要求

Python 环境，且可使用 pip3 安装包
已安装 PyTorch（示例代码中 import torch）
使用 HuggingFace 用法时需安装 transformers
示例代码使用 CUDA 与 float16，如需照抄示例建议有 NVIDIA 显卡

安装与启动步骤

1安装 bitnet

README 给出的唯一安装方式，直接用 pip3 从 PyPI 安装 bitnet 包，建议在虚拟环境中执行。
```
pip3 install bitnet
```
2验证导入成功

安装完成后导入包内函数，确认环境无缺失依赖，能导入即说明基础安装成功。
```
python -c "from bitnet import replace_linears_in_hf"
```
3用 BitLinear 替换线性层

BitLinear 内部流程为 tensor→layernorm→二值化→abs max 量化→反量化；把 Transformer 里的 nn.Linear 换成 BitLinear，还可把 BitLinear 接入注意力得到 BitMGQ
4替换 HuggingFace 模型

README 示例从 bitnet 导入 replace_linears_in_hf，用于把 HuggingFace 模型中的线性层批量替换为 BitLinear，随后即可加载模型推理。
```
import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
from bitnet import replace_linears_in_hf
```
5参考示例脚本

README 指出 examples 目录下有大量示例脚本，按自己的使用场景挑选对应脚本阅读或运行，具体文件名请以仓库 examples 文件夹为准。

关键配置

配置项	必填	说明	示例
`device`	否	示例张量所在设备，README 中统一使用 CUDA	`cuda`
`dtype`	否	示例张量精度，README 中统一使用半精度	`torch.half`
`w_scale`	否	权重量化使用的缩放因子示例值	`1.0`
`x_scale`	否	激活量化使用的缩放因子示例值	`1.0`