Rose

无状态优化器，省内存，稳收敛，直接替换 Adam

Rose 是一个基于 PyTorch 的优化器，提出了一种名为 Range-Of-Slice Equilibration 的优化方法。它通过范围归一化的梯度更新来实现无状态优化，旨在解决传统优化器（如 Adam）依赖动量状态、内存占用高且对超参数敏感的问题。Rose 的核心思想是将梯度按切片范围进行均衡化，使每个参数的更新步长与其梯度分布相匹配，从而在无需维护额外状态的情况下保持稳定的收敛性能。该项目的目标是提供一种轻量级、内存高效的优化器替代方案，特别适用于大规模模型训练或资源受限的环境。当前项目处于早期阶段，代码简洁，易于集成到现有 PyTorch 训练流程中。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 77

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队MatthewK78

所属国家

官网地址

GitHubhttps://github.com/MatthewK78/Rose

定价模式free

价格说明开源项目，Apache-2.0许可证，可自由使用，无付费版本。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型adam-optimizer,ai,artificial-intelligence,deep-learning,diffusion-models,fine-tuning,gpt,gradient-descent,large-language-models,llm,lora,machine-learning,optimizer,optimizer-algorithms,optimizers,pretraining,pytorch,sgd,transformers

GitHub 星标★ 77

30天Star增速

HF 下载量

上线时间2026-04-17 00:00:00

最近更新2026-08-29 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数7

使用教程

核心亮点

无状态设计，显著降低优化器内存占用，适合大模型训练
梯度范围归一化，减少对学习率等超参数的敏感度
代码简洁，基于 PyTorch，易于集成和实验

不足之处

项目处于早期阶段，文档和社区支持尚不完善
缺乏与主流优化器（如 AdamW）在多种任务上的全面基准对比

适用场景

大规模模型训练时降低内存开销
超参数调优成本高的场景，希望减少学习率调节
边缘设备或资源受限环境下的模型微调

替代项目

AdamW、Lion、Adafactor

项目介绍

Rose 是模型训练领域的开源项目，由 MatthewK78 开发，是 2026 年新上线的项目。

它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 77。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-29。Apache-2.0许可证，可自由使用，无付费版本。

它主要面向的使用场景是：大规模模型训练时降低内存开销。同类可对比的替代方案包括 AdamW、Lion、Adafactor。

上一篇：VisionFoundry

下一篇：DuQuant