MARS

用方差缩减技术，让大模型训练更快更稳

MARS 是一个专注于大模型训练优化的开源项目，其核心创新在于利用方差缩减（Variance Reduction）技术来提升训练效率。它解决了传统随机梯度下降（SGD）及其变体在大规模模型训练中收敛速度慢、对学习率敏感等问题。MARS 通过引入方差缩减机制，能够更稳定地估计梯度，从而加速模型收敛，并可能允许使用更大的学习率。项目提供了官方实现，包含核心算法代码和训练脚本，支持 PyTorch 等主流框架。其目标用户是研究者和工程师，希望在不牺牲模型性能的前提下，显著降低大模型的训练成本和时间。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 722

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队AGI-Arena

所属国家

官网地址https://github.com/AGI-Arena/MARS

GitHubhttps://github.com/AGI-Arena/MARS

定价模式free

价格说明开源项目，Apache-2.0许可，可免费使用和部署。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型fine-tuning,large-language-models,optimization-algorithms,optimizer,pretraining

GitHub 星标★ 722

30天Star增速

HF 下载量

上线时间2024-11-17 00:00:00

最近更新2026-08-09 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

核心亮点

理论创新：将方差缩减技术引入大模型训练，提供新的优化视角
加速收敛：通过稳定梯度估计，有望减少训练迭代次数
官方实现：代码质量有保障，便于复现和二次开发

不足之处

早期项目：文档和社区支持尚不完善，使用门槛较高
兼容性未知：技术栈仅列出Python，对特定框架（如PyTorch/TensorFlow）的适配情况待验证

适用场景

大模型预训练：加速Transformer等模型的训练过程
微调优化：在有限算力下更快地微调大型预训练模型
研究对比：作为新的优化器基线，与AdamW等主流优化器对比

替代项目

DeepSpeed、FairSeq、Megatron-LM

项目介绍

MARS 是模型训练领域的开源项目，由 AGI-Arena 开发，2024 年首次发布。

它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 722。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-09。Apache-2.0许可，可免费使用和部署。

它主要面向的使用场景是：大模型预训练：加速Transformer等模型的训练过程。同类可对比的替代方案包括 DeepSpeed、FairSeq、Megatron-LM。

上一篇：spiral

下一篇：ToolOrchestra