halogen-flash-server

环境要求

• 搭载 AMD Strix Halo（gfx1151）APU 的设备
• 已安装 podman（README 使用 podman 运行容器）
• BIOS 中 UMA frame buffer（显存分配）需设为最小值而非 Auto
• 预留足够的宿主内存与磁盘用于存放模型权重
• 可访问 ghcr.io 拉取镜像，并能联网下载模型权重

安装与启动步骤

1. 1调整 BIOS 显存分配

   进 BIOS 把 UMA frame buffer / 显存划分设为最小值，不要用 Auto。该引擎主要吃宿主内存而非专用显存，配错会明显影响可用内存。

2. 2创建模型目录

   在用户主目录下建一个模型存放目录，后面会挂载进容器的 /models，模型权重会下载到这里并持久保存。

   mkdir -p ~/halogen-models

   复制

3. 3启动推理容器

   用 podman 拉起官方镜像，映射 8731 端口、直通 /dev/kfd 与 /dev/dri、开启 keep-groups 与 ipc=host，并通过 HALOGEN_DOWNLOAD 指定要下载的模型仓库。

   podman run --rm -p 8731:8731 \
     --device /dev/kfd --device /dev/dri --group-add keep-groups \
     --ipc=host --ulimit memlock=-1:-1 \
     -e HALOGEN_DOWNLOAD=peonist-ai/halogen-qwen3.8-flash-next \
     -v ~/halogen-models:/models \
     ghcr.io/peonist-ai/halogen-flash-server:0.18.7

   复制

4. 4等待模型就绪

   首次运行会下载 peonist-ai/halogen-qwen3.8-flash-next 权重，耗时取决于带宽；权重会落在宿主 ~/halogen-models 中，下次启动无需重下。

关键配置

如何确认成功

容器日志显示模型加载完成后，本机 8731 端口即可作为 OpenAI 兼容接口调用，能正常返回生成结果即启动成功。

常见问题

注意事项

• 引擎针对 AMD Strix Halo（gfx1151）单一硬件与 Qwen3.8-Flash-Next 模型系列优化，不具备跨硬件可移植性。
• 首次启动包含模型下载，耗时较长，建议在稳定网络环境下执行；更换版本标签时注意模型目录的一致挂载。
• 官方 Quickstart 文档（docs/getting-started.md）还包含 Docker、compose 文件与旧 checkpoint 升级说明，遇到问题优先查阅该文档。
• 命令中的 0.18.7 为镜像版本、0.18.0 为默认配置版本，切勿混用不同版本的配置说明。