Adam-mini

用更少学习率，训更快更大模型，省显存提性能。

Adam-mini 是一个优化器算法项目，旨在通过减少学习率数量来提升模型训练效率。它基于论文《Adam-mini: Use Fewer Learning Rates To Gain More》实现，核心思想是仅使用少量学习率（如每个参数块一个）来近似完整 Adam 优化器的行为，从而大幅降低内存占用和计算开销。项目解决了大模型训练中 Adam 优化器内存消耗高、调参复杂的问题，在保持甚至提升模型收敛速度和最终性能的同时，显著减少显存需求。其核心能力包括：提供易于集成的 PyTorch 实现，支持多种模型架构（如 Transformer），并在预训练、微调等场景下表现出色。该项目适合研究者和工程师在资源受限环境下训练大模型，或作为优化器改进的参考实现。