lucebox

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• NVIDIA GPU（CUDA 12+）或 AMD GPU（ROCm 6+），需能运行自研 CUDA 内核
• 已安装 Docker，可拉取 GHCR（ghcr.io）上的镜像
• 准备好目标模型权重及其匹配的草稿（drafter）模型权重
• 足够容纳目标模型与草稿模型的显存

安装与启动步骤

1. 1克隆项目仓库

   把 lucebox 仓库拉到本地，推荐配置文档与服务指南都在仓库内，后续步骤都基于该目录。

   git clone https://github.com/Luce-Org/lucebox.git
   cd lucebox

   复制

2. 2查阅推荐配置

   README 指向推荐服务器配置矩阵，先确认自己的单卡或混插 GPU 属于哪套 profile，再决定镜像与参数。

   cat server/docs/RECOMMENDED_SETUPS.md

   复制

3. 3准备模型权重

   按 README 要求，目标模型放在 server/models/ 下，与之匹配的草稿模型放在 server/models/draft/ 下。

   mkdir -p server/models/draft

   复制

4. 4选择对应镜像标签

   GHCR 预构建镜像跟踪 main 分支，NVIDIA（CUDA 12+）用 :cuda12，AMD（ROCm 6+）用 :rocm；README 节选中拉取命令被截断，镜像完整名称请以仓库文档或 GHCR 页面为准。

5. 5挂载权重并启动服务

   运行时挂载模型目录并对外暴露 8000 端口，服务提供 OpenAI 兼容 API；完整可用参数见 server/README.md 的 server parameter reference。

关键配置

如何确认成功

容器启动后请求 http://localhost:8000/v1/models，能返回模型列表即表示 OpenAI 兼容 API 已正常服务。

常见问题

注意事项

• 必须使用 NVIDIA CUDA 12+ 或 AMD ROCm 6+，依赖自定义内核，不是纯 CPU 方案。
• 预构建镜像跟踪 main 分支，内容会变化，生产使用建议固定具体 tag。
• README 节选中 docker run 命令被截断，未给出完整镜像名与参数，正式部署前请以仓库 server/README.md 为准。
• 项目为 Apache 2.0 协议，官网 lucebox.com，模型权重在 HuggingFace 的 Lucebox 组织下。