gpustack

环境要求

• 已安装 Docker（服务端与 worker 节点均需）
• 具备 sudo/root 权限执行 docker 命令
• GPU worker 节点需配置 nvidia 容器运行时（--runtime nvidia）
• 服务端主机 80 端口可访问，worker 能访问服务端 URL
• 浏览器用于访问 GPUStack Web UI

安装与启动步骤

1. 1启动 GPUStack 服务

   用 Docker 启动服务端，映射 80 端口并挂载数据卷做持久化；命令需 sudo 权限执行。

   sudo docker run -d --name gpustack 
       --restart unless-stopped 
       -p 80:80 
       --volume gpustack-data:/var/lib/gpustack 
       gpustack/gpustack

   复制

2. 2查看启动日志

   持续跟踪容器日志，确认服务正常启动，无拉取镜像失败、端口占用等报错。

   sudo docker logs -f gpustack

   复制

3. 3获取管理员密码

   从容器内读取初始管理员密码文件，复制密码备用，登录用户名固定为 admin。

   sudo docker exec gpustack cat /var/lib/gpustack/initial_admin_password

   复制

4. 4登录 Web 界面

   浏览器打开 http://your_host_ip，用 admin 和上一步获取的密码登录，进入 GPUStack 管理台。

5. 5添加 GPU 集群

   在 Clusters 页点 Add Cluster，provider 选 Docker，填写 Name 与 Description 后点 Save。

6. 6接入 Worker 节点

   按 UI 指引在 worker 节点执行生成的命令，替换 server 地址、token 与本机 IP；需 privileged 和 nvidia runtime。

   sudo docker run -d --name gpustack-worker 
         --restart=unless-stopped 
         --privileged 
         --network=host 
         --volume /var/run/docker.sock:/var/run/docker.sock 
         --volume gpustack-data:/var/lib/gpustack 
         --runtime nvidia 
         gpustack/gpustack 
         --server-url http://your_gpustack_server_url 
         --token your_worker_token 
         --advertise-address 192.168.1.2

   复制

7. 7部署模型

   进入 Catalog 页选模型（如 Qwen3.5-0.8B），兼容性检查通过后点 Save，等待状态变为 Running。

8. 8验证模型对话

   进入 Playground - Chat，确认右上角 Model 下拉选中已部署模型，直接对话测试推理效果。

关键配置

如何确认成功

docker logs 显示服务正常启动后，浏览器访问 http://your_host_ip，用 admin 与 initial_admin_password 登录成功即部署完成。

常见问题

注意事项

• 服务端与 worker 均以 Docker 方式部署，README 未给出非 Docker 的本地安装方式
• worker 节点必须带 --privileged、--network=host 并挂载 /var/run/docker.sock 才能正常纳管
• 获取初始管理员密码需在服务启动后执行，登录后建议尽快修改默认密码
• 示例中的 server 地址、token、IP 为占位值，实际执行时须替换为真实值