dgx-spark-inference-stack
在桌面级 AI 超算上，一键部署本地大模型推理服务
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 52
核心亮点
- 针对 DGX Spark 硬件优化，充分发挥 Grace Blackwell 算力
- 基于 vLLM，利用其高吞吐和低延迟特性
- 提供脚本化部署，降低上手门槛
不足之处
- 仅支持单机（single-spark），扩展性有限
- 文档/社区待观察
适用场景
- 个人开发者本地调试大模型推理
- 小团队私有化部署 LLM 服务，保障数据隐私
- 边缘或离线环境下的 AI 推理
替代项目
vLLM、TGI (Hugging Face Text Generation Inference)、Ollama
上一篇：a-guide-to-mlops
下一篇：truss-examples
同类项目推荐
foxglove-sdk
开源
多语言记录机器人数据，一键回放可视化
Log and visualize multimodal data for robotics and physical AI
Meterless
开源
夜间批量跑实验，早上只留能用的结果
Turn your Win, Mac or DGX Spark into an AI hotspot. Nightshift races hundreds of att···
grafana
开源
一个面板看遍所有监控数据，快速定位故障
The open and composable observability and data visualization platform. Visualize met···
vllm-plugin-FL
开源
让 vLLM 一套代码跑多种国产芯片
A vLLM plugin built on the FlagOS unified multi-chip backend.
clawk
开源
给 AI 编码代理一个一次性 Linux 虚拟机，保护你的电脑。
Give coding agents a disposable Linux VM, not your laptop
BYOKEY
开源
把 AI 订阅变成标准 API，让编程工具直接调用
Turn AI subscriptions into standard API endpoints. OpenAI & Anthropic compatible gat···
rainbond
开源
一键把 AI 项目跑在 Kubernetes 上，自动运维不折腾
Rainbond is an open-source container platform that requires no Kubernetes expertise.···
CodeProject.AI-Server
开源
给应用一键接入本地 AI 视觉能力，无需云服务
CodeProject.AI Server is a self contained service that software developers can inclu···
redis
开源
高性能内存数据库，搞定缓存、队列和实时查询
For developers, who are building real-time data-driven applications, Redis is the pr···