LMFlow

环境要求

• Linux 系统（README 基于 Ubuntu 20.04 测试，MacOS/Windows 未充分测试）
• 已安装 Git 与 Conda
• Python 3.9（由 conda 创建的环境提供）
• 本地需自备 LLaMA 基座模型路径，及 LoRA 权重（如 robin-7b）
• 部署聊天界面需额外安装 gradio

安装与启动步骤

1. 1克隆仓库

   拉取 v1.0.0 分支代码，README 说明最新版改动较大，此处按官方命令指定版本

   git clone -b v1.0.0 https://github.com/OptimalScale/LMFlow.git

   复制

2. 2进入项目目录

   后续所有安装命令都在该目录下执行

   cd LMFlow

   复制

3. 3创建 conda 环境

   使用 Python 3.9 新建名为 lmflow 的独立环境，避免污染系统环境

   conda create -n lmflow python=3.9 -y

   复制

4. 4激活环境

   切换到刚创建的 lmflow 环境，之后的 pip 安装都作用于它

   conda activate lmflow

   复制

5. 5安装依赖并安装项目

   先通过 conda 安装 mpi4py，再以可编辑模式安装 LMFlow 本体

   conda install mpi4py
   pip install -e .

   复制

6. 6安装 Gradio

   部署本地聊天界面需要 gradio，README 中单独给出安装命令

   pip install gradio

   复制

7. 7启动对话 Demo

   按 README 命令启动基于 Gradio 的聊天机器人，需把 YOUR-LLAMA 换成本地 LLaMA 模型路径

   python ./examples/chatbot_gradio.py --deepspeed configs/ds_config_chatbot.json --model_name_or_path YOUR-LLAMA  --lora_model_path ./robin-7b --prompt_structure "A chat between a curious human and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the human's questions.###Human: {input_text}###Assistant:"       --end_string "#" --max_new_tokens 200

   复制

关键配置

如何确认成功

命令运行无报错并输出 Gradio 访问地址，浏览器打开该地址可与模型正常对话，即部署成功。

常见问题

注意事项

• README 明确建议首次使用者在 Linux 机器或 Google Colab 上尝试，避免非 Linux 平台的兼容问题。
• 仓库需按 v1.0.0 分支克隆，直接使用 main 分支可能与教程命令不一致。
• 示例中的 YOUR-LLAMA 与 ./robin-7b 均为占位，需替换为你自己的模型与 LoRA 权重路径。
• 安装全程应在已激活的 lmflow conda 环境中执行，否则依赖会装到错误环境。