Qwen

环境要求

• 已安装 Docker 并可正常启动服务
• NVIDIA GPU 与驱动，且已安装 nvidia-container-toolkit
• 已下载 Qwen 模型权重（如 Qwen-7B-Chat）到本地目录
• 非 Docker 方式需 Python 环境并安装 requirements.txt 依赖

安装与启动步骤

1. 1安装 Python 依赖

   非 Docker 方式部署时，先在项目根目录安装依赖库；Docker 方式可跳过此步。

   pip install -r requirements.txt

   复制

2. 2可选装 flash-attention

   设备支持 fp16/bf16 时安装可降低显存、提升效率；不装也能正常运行，编译较慢。

   git clone https://github.com/Dao-AILab/flash-attention
   cd flash-attention && pip install .

   复制

3. 3启动 Docker 服务

   在宿主机上启动 Docker 守护进程，确保后续容器命令可用。

   sudo systemctl start docker

   复制

4. 4验证 Docker 与 GPU

   先跑 hello-world 确认 Docker 正常，再用 nvidia 运行时确认容器可用 GPU。

   sudo docker run hello-world
   sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

   复制

5. 5下载模型权重

   按官方 DownloadModel 说明把模型权重和代码下载到本地，得到 CHECKPOINT_PATH 目录。

6. 6配置部署变量

   在终端设置镜像名、端口和模型权重路径，后续脚本会引用这三个变量。

   IMAGE_NAME=qwenllm/qwen:cu117
   PORT=8901
   CHECKPOINT_PATH=/path/to/Qwen-7B-Chat

   复制

7. 7启动 OpenAI API

   脚本会自动拉取镜像并在后台启动 OpenAI 兼容接口，端口由 PORT 决定。

   bash docker/docker_openai_api.sh -i ${IMAGE_NAME} -c ${CHECKPOINT_PATH} --port ${PORT}

   复制

8. 8启动 Web UI 与 CLI

   二选一执行：Web UI 浏览器访问，CLI Demo 在终端直接对话；服务会自动重启。

   bash docker/docker_web_demo.sh -i ${IMAGE_NAME} -c ${CHECKPOINT_PATH} --port ${PORT}
   bash docker/docker_cli_demo.sh -i ${IMAGE_NAME} -c ${CHECKPOINT_PATH}

   复制

关键配置

如何确认成功

看到 Successfully started web demo 输出后，浏览器打开 http://localhost:${PORT} 即可；用 docker logs qwen 查看运行状态。

常见问题

注意事项

• 本仓库已不再积极维护，官方建议关注并迁移到 QwenLM/Qwen2。
• Docker 脚本会自动下载镜像并以后台方式启动，服务具备自动重启能力。
• 微调脚本 finetune.py 支持全参数微调、LoRA 和 Q-LoRA，需先把样本整理成 JSON 列表。
• flash-attention 的 csrc/layer_norm 与 csrc/rotary 为可选组件，安装可能较慢。