llama2-webui

环境要求

• 支持 Linux / Windows / Mac 系统，需 Git、git-lfs 与 Python 环境
• Nvidia GPU 运行：Llama-2-7b 约需 14GB 显存，13b 约需 28GB 显存
• CPU 运行：需 GGML 格式模型，如 llama-2-7b-chat.ggmlv3.q4_0.bin 至少 6GB 内存
• 下载 Meta 官方 Llama 2 模型前需在 ai.meta.com/llama 与 HuggingFace 仓库申请访问权限

安装与启动步骤

1. 1处理 bitsandbytes 兼容

   若 bitsandbytes >= 0.39 在较老的 NVIDIA GPU 上不可用，需降级安装才能启用 LOAD_IN_8BIT 的 8 位推理。

   pip install bitsandbytes==0.38.1

   复制

2. 2Windows 安装 bitsandby

   Windows 用户需卸载默认包后，改为安装专门的 Windows wheel 才能正常使用。

   pip uninstall bitsandbytes
   pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.0-py3-none-win_amd64.whl

   复制

3. 3安装后端依赖

   llama2-wrapper 是项目的本地 Llama 2 后端，默认基于 llama.cpp 运行，也可集成到自己的应用中。

   pip install llama2-wrapper

   复制

4. 4下载 Llama 2 模型

   先安装 git-lfs，再从 HuggingFace 克隆模型仓库；需提前获得 Meta 与仓库的访问授权，审核通常数小时内完成。

   git lfs install
   git clone git@hf.co:meta-llama/Llama-2-7b-chat-hf

   复制

5. 5选择并配置 .env

   从 env_examples 中挑选与模型匹配的示例文件复制为 .env，再按需修改后端类型、模型路径等参数。

   cp env_examples/.env.7b_ggmlv3_q4_0_example .env

   复制

6. 6启动 Web 界面

   在项目目录执行启动命令，终端会输出本地访问地址，用浏览器打开即可进入 Gradio 聊天界面。

   python app.py

   复制

关键配置

如何确认成功

执行 python app.py 后终端无报错并输出本地访问地址，浏览器打开该地址能看到 Gradio 聊天界面即可。

常见问题

注意事项

• 官方 Llama 2 模型需申请授权后才能下载，TheBloke 的 GPTQ、GGML 模型可直接下载
• 多张 GPU 时模型会自动加载并拆分显存，例如 2 张 11GB 显卡可跑 7B 模型
• 8 位压缩会小幅降低模型质量，但兼容 CPU、GPU 与 Metal 后端
• CPU 运行需使用 llama.cpp 与 GGML 模型，相关依赖已随项目安装