TigerBot

环境要求

• Linux 环境，已安装 conda 与 git
• Python 3.8（README 使用 conda 创建 tigerbot 环境）
• NVIDIA GPU 及与 CUDA 11.7 匹配的驱动
• 启动 tigerbot-7b 训练至少需 1 x A100 (40GB)，180b 至少需 16 x A100 (40GB)
• 量化推理需 transformers、bitsandbytes 升级到最新版（transfomers==4.33.1、bitsandbytes==0.41.1

安装与启动步骤

1. 1创建激活环境

   用 conda 创建名为 tigerbot 的 Python 3.8 环境并激活，后续所有命令都在该环境中执行。

   conda create --name tigerbot python=3.8
   conda activate tigerbot

   复制

2. 2安装 PyTorch

   通过 conda 安装与 CUDA 11.7 对应的 PyTorch、torchvision、torchaudio，注意与显卡驱动匹配。

   conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

   复制

3. 3克隆仓库装依赖

   拉取 TigerBot 代码并安装 requirements.txt 中的 Python 依赖，需在仓库根目录执行 pip 安装。

   git clone https://github.com/TigerResearch/TigerBot
   cd TigerBot
   pip install -r requirements.txt

   复制

4. 4安装 exllamav2

   量化推理依赖 exllamav2，需单独克隆并安装其依赖，安装后建议回到 TigerBot 目录。

   git clone https://github.com/turboderp/exllamav2
   cd exllamav2
   pip install -r requirements.txt

   复制

5. 5升级量化依赖

   使用量化方式推理时，需把 transformers、bitsandbytes 等包升级到最新版，避免加载失败。

   pip install -U transformers bitsandbytes

   复制

6. 6启动模型推理

   用 exllamav2 推理脚本加载量化模型，model_path 指向量化权重路径，CUDA_VISIBLE_DEVICES 指定使用的显卡。

   CUDA_VISIBLE_DEVICES=0 python other_infer/exllamav2_hf_infer.py --model_path TigerResearch/tigerbot-70b-chat-v4-4bit-exl2

   复制

7. 7启动 Web 演示

   设置 PYTHONPATH 与显卡后运行 streamlit 网页 Demo；可根据实际硬件调整 max_input/generate_length。

   export PYTHONPATH='./' ; export CUDA_VISIBLE_DEVICES=0 ; streamlit run apps/web_demo.py --

   复制

8. 8启动训练/微调

   用 deepspeed 启动预训练与 SFT，需指定 zero3 配置和基础模型；--include 里填实际使用的 GPU 编号。

   deepspeed --include="localhost:0,1,2,3" ./train_sft.py --deepspeed ./ds_config/ds_config_zero3.json --model_name_or_path TigerResearch/tigerbot-7b-base --dataset_name TigerResearch/dev_sft --do_train --output_dir ./ckpt-sft --overwrite_output_dir --preprocess_num_workers 8 --num_train_epochs 5 --learning_rate 1e-5 --evaluation_strategy steps --eval_steps 10 --bf16 True --save_strategy steps --save_steps 10 --save_total_limit 2 --logging_steps 10 --tf32 True --per_device_train_batch_size 2 --per_device_eval_batch_size 2

   复制

关键配置

如何确认成功

推理脚本能正常输出生成结果；streamlit 启动后终端会打印访问地址，浏览器打开该地址可看到对话页面即成功。

常见问题

注意事项

• 所有命令需在 conda activate tigerbot 后的 Python 3.8 环境中执行。
• README 未提供默认端口、模型下载命令和 API Key 配置，相关内容以官方文档和终端输出为准。
• 训练脚本中的 --include="localhost:0,1,2,3" 需按实际机器 GPU 编号修改。
• 模型权重可从 Hugging Face 的 TigerResearch 组织页或 ModelScope 获取。