项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 725
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- 多卡 GPU
- Python 3.10+
- 训练语料
安装与启动步骤
-
1装依赖
按论文给的版本装。
pip install torch==2.1.2 transformers==4.33.0 datasets tiktoken numpy==1.26.4 wandb -
2准备数据
先把语料切成训练格式。
python data/openwebtext/prepare.py -
3跑小模型
从小规模配置起步。
bash scripts/run_mars_small.sh -
4对比基线
用同样配置跑 AdamW 做对照。
bash scripts/run_adamw_{small/medium/large}.sh
如何确认成功
训练脚本能跑起来，损失曲线与基线可比。
注意事项
- 核心是方差缩减优化器，替换的是更新规则。
- 超参与基线不完全通用，别直接照搬。
核心亮点
- 理论创新：将方差缩减技术引入大模型训练，提供新的优化视角
- 加速收敛：通过稳定梯度估计，有望减少训练迭代次数
- 官方实现：代码质量有保障，便于复现和二次开发
不足之处
- 早期项目：文档和社区支持尚不完善，使用门槛较高
- 兼容性未知：技术栈仅列出Python，对特定框架（如PyTorch/TensorFlow）的适配情况待验证
适用场景
- 大模型预训练：加速Transformer等模型的训练过程
- 微调优化：在有限算力下更快地微调大型预训练模型
- 研究对比：作为新的优化器基线，与AdamW等主流优化器对比
替代项目
DeepSpeed、FairSeq、Megatron-LM
上一篇：spiral
下一篇：ToolOrchestra
同类项目推荐
stable-diffusion-keras-ft
开源
用Keras轻松微调Stable Diffusion，定制专属图像生成模型
Fine-tuning Stable Diffusion using Keras.
lora-inspector
开源
拆开 LoRA 黑盒，看清每层权重学了啥
LoRA (Low-Rank Adaptation) inspector for Stable Diffusion
VisionFoundry
开源
用合成图像训练VLM，低成本提升视觉感知能力
VisionFoundry: Teaching VLMs Visual Perception with Synthetic Images
Large-Time-Series-Model
开源
用预训练大模型搞定时间序列预测，零样本也能用
Official code, datasets and checkpoints for "Timer: Generative Pre-trained Transform···
LLMtuner
开源
几行代码微调大模型，文本语音全覆盖
FineTune LLMs in few lines of code (Text2Text, Text2Speech, Speech2Text)
olmoearth_pretrain
开源
用卫星数据预训练地球基础模型，开箱即用
Earth system foundation model data, training, and eval
LightRFT
开源
用奖励模型驱动微调，让 LLM/VLM 按目标越训越强
LightRFT: Light, Efficient, Omni-modal & Reward-model Driven Reinforcement Fine-Tuni···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
dashAI
开源
可视化训练评估部署，一条龙搞定 AI 模型
dashAI: an interactive platform for training, evaluating and deploying AI models