在桌面级 AI 超算上，一键部署本地大模型推理服务
dgx-spark-inference-stack 是一个面向 NVIDIA DGX Spark（Grace Blackwell 桌面级 AI 超算）的推理服务栈，主要基于 vLLM 构建，当前支持单机（single-spark）部署。它旨在让个人开发者或小团队能够利用 DGX Spark 的高性能算力，快速搭建本地或私有的 LLM 推理服务，解决云端推理成本高、数据隐私和延迟等问题。项目提供了一整套配置和脚本，简化了 vLLM 的部署和调优，使非专业运维人员也能轻松上手。目前处于早期阶段，功能相对基础，但为后续扩展（如多机、多模型支持）预留了空间。
vLLM、TGI (Hugging Face Text Generation Inference)、Ollama
dgx-spark-inference-stack 是基础设施领域的开源项目，由 jdaln 开发，是 2026 年新上线的项目。
它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 52。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-16。基于Apache-2.0许可证，可自由使用和部署，无付费版本。
它主要面向的使用场景是：个人开发者本地调试大模型推理。同类可对比的替代方案包括 vLLM、TGI (Hugging Face Text Generation Inference)、Ollama。
上一篇：a-guide-to-mlops
下一篇：truss-examples
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
