SlideFormer

单卡也能微调大模型，显存不够靠硬盘和内存顶上

SlideFormer 是一个面向单卡 GPU 场景的异构协同设计微调框架，核心目标是让大语言模型微调不再被显存容量卡住。它把 GPU 显存、CPU 内存和 NVMe 存储组成一条分层数据通路，通过 CPU offload 与存储卸载，把优化器状态、梯度等大块张量放到更便宜的介质上，同时用调度与流水线设计隐藏数据搬运开销，从而在单张消费级或数据中心 GPU 上完成原本需要多卡才能跑起来的微调任务。项目用 Python 实现，基于 PyTorch，强调异构系统协同而非单纯压缩模型，适合显存有限但希望微调 7B 以上模型的个人研究者和小团队。论文被 DAC 2026 收录，说明其系统设计经过学术评审，但工程成熟度仍处于早期。

开源 free 模型训练

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 129

维护状态较活跃

是否开源是

定价模式 free

项目预览

项目数据

分类模型训练

开发团队RegiaYoung

所属国家

官网地址

GitHubhttps://github.com/RegiaYoung/SlideFormer

定价模式free

价格说明开源学术项目，免费使用

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型cpu-offload,fine-tuning,heterogeneous-systems,llm,nvme-storage,pytorch

GitHub 星标★ 129

30天Star增速

HF 下载量

上线时间2026-02-24 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-09

浏览次数0

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

把 CPU 内存和 NVMe 纳入微调数据通路，单卡可微调超出显存容量的模型
针对异构存储层级做调度与流水线，目标是隐藏 offload 带来的搬运延迟
基于 PyTorch 实现，技术栈与主流训练代码兼容，接入成本相对可控

不足之处

项目处于早期，129 星标，文档与示例完善度有限
依赖 NVMe 与 CPU 内存带宽，实际加速效果对硬件配置敏感

适用场景

个人研究者只有一张 24GB 显卡，想微调 7B 以上模型
实验室小团队没有多卡集群，用单卡加本地 NVMe 做实验
需要在有限显存下尝试不同微调配置，快速验证想法

替代项目

DeepSpeed、QLoRA、H2O-LLM

项目介绍

SlideFormer 是模型训练领域的开源项目，由 RegiaYoung 开发，是 2026 年新上线的项目。

它收录于模型训练分类，该分类目前共有 546 个项目，GitHub 星标数为 129。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-29。开源学术项目，免费使用。

它主要面向的使用场景是：个人研究者只有一张24GB显卡，想微调7B以上模型。同类可对比的替代方案包括 DeepSpeed、QLoRA、H2O-LLM。

上一篇：brewery-ai

下一篇：没有了！