ds4

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• macOS 苹果芯片（Metal 后端）：Qwen3.8 Flash Next 建议 64GB 内存，DeepSeek 与 GLM 系列建议 96GB 以上
• NVIDIA 显卡（CUDA 后端），DGX Spark 为主要目标平台，也支持多卡系统
• AMD Strix Halo 平台（ROCm 后端），如 Framework Desktop
• 必须使用本项目自身产出的 GGUF 模型文件，不能使用通用 GGUF 模型
• 本地需具备 C 语言编译环境（项目为纯 C 实现）

安装与启动步骤

1. 1核对硬件后端

   先确认你的机器属于 Metal、CUDA、ROCm 三者之一，并对照文档核对内存或显存容量是否满足所选模型。

2. 2克隆项目仓库

   把源码取到本地，后续编译与模型工具都在该目录内。注意仓库体积与磁盘余量。

   git clone https://github.com/antirez/ds4.git

   复制

3. 3进入项目目录

   切换到仓库根目录，查看随仓库提供的文档、工具与数据说明，确认本机后端对应的构建方式。

   cd ds4

   复制

4. 4准备官方 GGUF 模型

   README 明确要求使用项目自己产出的 GGUF 文件，通用 GGUF 模型无法直接加载，请按仓库说明获取。

5. 5按后端构建引擎

   README 未给出具体编译命令，需依据仓库内文档为 Metal、CUDA 或 ROCm 中选择对应目标进行构建。

6. 6大模型启用 SSD 流式

   内存或显存不足以整模型驻留时（如 128GB 机器跑完整 GLM 5.x），按文档启用 SSD 流式加载。

如何确认成功

README 未提供启动命令，需按仓库内文档与集成测试说明，确认模型加载、HTTP 服务与工具调用均可用。

常见问题

注意事项

• README 未给出任何编译与运行命令，请以仓库内文档、工具和集成测试说明为准，不要照搬其他推理框架的命令。
• 项目面向消费级自有硬件，属于窄范围专用引擎，不适合当作通用模型运行器使用。
• 不同模型对后端支持不同（例如部分模型仅在 Metal 或 CUDA 上可用），部署前先核对模型与后端组合。