BitNet

环境要求

• Python 环境，且可使用 pip3 安装包
• 已安装 PyTorch（示例代码中 import torch）
• 使用 HuggingFace 用法时需安装 transformers
• 示例代码使用 CUDA 与 float16，如需照抄示例建议有 NVIDIA 显卡

安装与启动步骤

1. 1安装 bitnet

   README 给出的唯一安装方式，直接用 pip3 从 PyPI 安装 bitnet 包，建议在虚拟环境中执行。

   pip3 install bitnet

   复制

2. 2验证导入成功

   安装完成后导入包内函数，确认环境无缺失依赖，能导入即说明基础安装成功。

   python -c "from bitnet import replace_linears_in_hf"

   复制

3. 3用 BitLinear 替换线性层

   BitLinear 内部流程为 tensor→layernorm→二值化→abs max 量化→反量化；把 Transformer 里的 nn.Linear 换成 BitLinear，还可把 BitLinear 接入注意力得到 BitMGQ

4. 4替换 HuggingFace 模型

   README 示例从 bitnet 导入 replace_linears_in_hf，用于把 HuggingFace 模型中的线性层批量替换为 BitLinear，随后即可加载模型推理。

   import torch
   from transformers import AutoModelForSequenceClassification, AutoTokenizer
   from bitnet import replace_linears_in_hf

   复制

5. 5参考示例脚本

   README 指出 examples 目录下有大量示例脚本，按自己的使用场景挑选对应脚本阅读或运行，具体文件名请以仓库 examples 文件夹为准。

关键配置

如何确认成功

能执行 python -c "from bitnet import replace_linears_in_hf" 且无报错，即表示 bitnet 包安装成功。

常见问题

注意事项

• 本仓库是论文的 PyTorch 研究实现，README 未提供训练数据集、显存需求或性能指标。
• BitLinear 1.5 与 1.58-bit 新迭代仍在开发中，存在已知 bug，不建议直接用于生产。
• README 中的量化/反量化只给出流程描述与缩放因子示例，具体数值需按自己的模型调整。