项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 412
核心亮点
- 把 NVFP4 量化、vLLM 与双机张量并行配置整合成一套可照抄的部署流程
- 针对 DGX Spark 这一具体硬件给出实测参数，减少显存与并行度试错
- 以文档页面形式组织，步骤清晰，便于按硬件条件裁剪
不足之处
- 项目早期，代码与脚本较少，主要依赖文档，自动化程度低
- 强绑定 DGX Spark 与特定软件版本，通用性有限，社区反馈尚少
适用场景
- 已有两台 DGX Spark、想本地部署 Qwen3.8-Flash-Next 的团队快速起步
- 需要评估 NVFP4 量化在该硬件上的显存占用与推理吞吐
- 为内部私有化推理服务搭建双机 vLLM 集群的参考方案
替代项目
vLLM、SGLang、llama.cpp
上一篇：MOSS-Image
下一篇：没有了！
同类项目推荐
LLMRank
开源
用大模型零样本给推荐结果排序，无需训练直接提升效果
[ECIR'24] Implementation of "Large Language Models are Zero-Shot Rankers for Recomme···
Chinese-LLaMA-Alpaca-2
开源
让 LLaMA-2 说好中文，支持 64K 超长上下文，开箱即用。
中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2···
Awesome-AVI
开源
一站式导航音频-视觉智能前沿资源，快速上手跨模态研究
Awesome Audio-Visual Intelligence, Survey of Audio-Visual Intelligence
Awesome-LLM-Resources-List
开源
一站式收藏AI工程资源，快速找到从入门到实战的干货
A Curated Collection of resources for applied AI engineering (work in progress).
MeanFlowNFT
开源
用强化学习让图像生成少步快跑，质量不打折
[arXiv 2026] This is the official PyTorch implementation of "MeanFlowNFT: Bringing F···
mllm
开源
让手机本地跑起多模态大模型，离线推理更快更省电。
Fast Multimodal LLM on Mobile Devices
Instruction-Tuning-Survey
开源
一份论文级指南，快速摸清指令微调技术全貌
Project for the paper entitled `Instruction Tuning for Large Language Models: A Surv···
ModelsGenesis
开源
用未标注医学影像预训练，让下游任务模型更准更稳
[MICCAI 2019 Young Scientist Award] [MedIA Best Paper Award] Models Genesis: self-su···
CodeT5
开源
让 AI 读懂代码，自动生成、补全和翻译，提升开发效率
Home of CodeT5: Open Code LLMs for Code Understanding and Generation