Baichuan2

环境要求

• 已安装 Python 与 pip（项目为 Python 实现，依赖见 requirements.txt）
• 已安装 Git，用于克隆仓库
• 可访问 Hugging Face 的网络环境（程序会自动下载模型权重与配置）
• 建议具备 GPU 环境；仅 CPU 也可推理，但速度较慢

安装与启动步骤

1. 1克隆项目仓库

   把 Baichuan2 官方仓库拉到本地，后续推理与微调脚本都在该目录下。

   git clone https://github.com/baichuan-inc/Baichuan2.git

   复制

2. 2安装推理依赖

   进入仓库根目录，按 requirements.txt 安装推理所需的 Python 依赖，建议使用虚拟环境。

   cd Baichuan2
   pip install -r requirements.txt

   复制

3. 3准备模型权重

   模型权重、源码与配置已发布在 Hugging Face，README 说明程序会自动从 Hugging Face 下载所需资源，无需手动下载。

4. 4选择量化或 CPU 部署

   显存不足可用 Chat 版的 4bits 量化版本；CPU 部署需按 README 说明修改模型加载方式，速度相对较慢。

5. 5安装微调依赖

   如需自己微调，进入 fine-tune 目录并安装该目录下的依赖清单。

   cd Baichuan2/fine-tune
   pip install -r requirements.txt

   复制

6. 6安装可选加速依赖

   使用 LoRA 等轻量微调方法需额外安装 peft；使用 xFormers 训练加速需额外安装 xFormers。

   pip install peft
   pip install xformers

   复制

如何确认成功

pip 安装过程无报错；运行仓库内推理脚本时能自动拉取 Hugging Face 上的模型权重与配置，并正常输出结果。

常见问题

注意事项

• README 未给出具体推理启动脚本名与端口参数，请以仓库最新文档为准。
• 模型权重由程序自动从 Hugging Face 下载，确保网络可访问该站点。
• Intel 酷睿/至强处理器或锐炫 GPU 平台推荐使用 BigDL-LLM 以获得更好推理性能。
• 使用前请阅读并遵守模型的开源协议与商用许可要求。