项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 79
核心亮点
- 无状态设计，显著降低优化器内存占用，适合大模型训练
- 梯度范围归一化，减少对学习率等超参数的敏感度
- 代码简洁，基于 PyTorch，易于集成和实验
不足之处
- 项目处于早期阶段，文档和社区支持尚不完善
- 缺乏与主流优化器（如 AdamW）在多种任务上的全面基准对比
适用场景
- 大规模模型训练时降低内存开销
- 超参数调优成本高的场景，希望减少学习率调节
- 边缘设备或资源受限环境下的模型微调
替代项目
AdamW、Lion、Adafactor
上一篇：VisionFoundry
下一篇：DuQuant
同类项目推荐
verl-omni
开源
给扩散和全模态模型做 RL 后训练，一套框架跑通
Multimodal RL training framework for diffusion & omni models
Awesome-MLLM-Tuning
开源
多模态大模型微调不丢本事的论文与思路合集
Multimodal Large Language Model (MLLM) Tuning Survey: Keeping Yourself is Important ···
nanotron
开源
极简代码跑通千亿模型3D并行训练
Minimalistic large language model 3D-parallelism training
MirrorFlow
开源
对话喂出来的数字分身，越聊越像你自己。
从对话数据到训练:数字分身 + 模型蒸馏 From Dialogue Data to Training Closed-Loop: D···
AI-Toolkit-Easy-Install
开源
Windows 上一键装好 AI 微调工具，免折腾环境直接开训
One-click Portable Windows installation of 'AI-Toolkit by Ostris'
lightning-hydra-template
开源
开箱即用的深度学习实验框架，配置驱动，快速复现和扩展。
PyTorch Lightning + Hydra. A very user-friendly template for ML experimentation. ⚡···
Medusa
开源
给大模型加几个解码头，生成速度翻倍，不用改架构
Medusa: Simple Framework for Accelerating LLM Generation with Multiple Decoding Head···
LLM-PowerHouse-A-Curated-Guide-f···
开源
照着练，从零搞定LLM自定义训练与推理部署。
LLM-PowerHouse: Unleash LLMs' potential through curated tutorials, best practices, a···
CausalPFN
开源
用上下文学习，秒级估算因果效应，告别复杂建模
CausalPFN: Amortized Causal Effect Estimation via In-Context Learning