Adam-mini
用更少学习率，训更快更大模型，省显存提性能。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 462
使用教程
环境要求
- Python
- PyTorch
安装与启动步骤
-
1装包
已发布到包索引。
pip install adam-mini -
2替换优化器
把原来的换成它，接口兼容。
-
3跑一次训练对比
重点看显存占用。
-
4换成大模型再试
它的优势在模型越大越明显。
如何确认成功
同一模型同一批量下，换用它后显存占用明显下降且损失曲线与基线接近
注意事项
- 它是优化器的改进版，核心卖点是省显存而不掉效果。
- 接口与常见优化器兼容，替换成本很低。
- 小模型上看不出优势，收益随规模放大。
- 论文报告的是特定训练设定下的结果，自己的任务要实测。
核心亮点
- 内存占用显著降低：相比 Adam 减少约 50% 的优化器状态内存，适合大模型训练
- 训练速度提升：在保持精度的同时，收敛速度更快，实验显示可加速 1.5-2 倍
- 代码简洁易用：PyTorch 实现，接口与 Adam 类似，可直接替换现有优化器
不足之处
- 文档/社区待观察：项目早期，文档和示例较少，社区支持有限
- 仅支持特定模型架构：主要针对 Transformer 优化，其他架构需自行适配
适用场景
- 大语言模型预训练：在有限 GPU 资源下训练更大模型
- 模型微调：降低显存占用，支持更大 batch size
- 优化器研究：作为改进 Adam 的参考实现，探索学习率分配策略
替代项目
Lion、Sophia、Adafactor
同类项目推荐
azure-databricks-mlops-mlflow
开源
在 Azure Databricks 上快速搭建不依赖 MLflow Project 的 MLOps 流程
Azure Databricks MLOps sample for Python based source code using MLflow without usin···
MLX-LoRA-Studio
开源
Mac 上点几下就完成大模型 LoRA 微调，数据不出本机
A native Mac App for LLM fine-tuning on Apple Silicon — fully on-device, fully open···
awesome-activation-engineering
开源
整理激活工程资源，助你精准操控AI模型行为
A curated list of resources for activation engineering
sd-webui-traintrain
开源
在 WebUI 里点几下就能训练自己的 LoRA 模型
LoRA training extention for Stable Diffusion Web-UI
mixture_of_recursions
开源
让简单 token 提前下班，难 token 多算几轮，省算力不降质
Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Co···
verl-agent
开源
用强化学习训练更聪明的 AI 智能体，支持 GIGPO 算法
verl-agent is an extension of veRL, designed for training LLM/VLM agents via RL. ver···
vae-lagging-encoder
开源
修复VAE后验坍缩，让生成模型更稳定多样
PyTorch implementation of "Lagging Inference Networks and Posterior Collapse in Vari···
Scaling-Diffusion-Transformers-m···
开源
让扩散模型从小规模到大规模训练，超参数无需重调，省时省力。
[NeurIPS 2025] Official implementation for our paper "Scaling Diffusion Transformers···
Directional-Preference-Alignment
开源
用方向性偏好让模型对齐更精准，训练更稳定
Directional Preference Alignment