Megatron-LM

NVIDIA 出品，高效训练千亿级大模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 4716 🐛 待处理 1945 👀 关注 162

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 18349

维护状态活跃

是否开源开源

定价模式 🏷️完全免费完全开源，免费使用，需自行部署

项目预览

Megatron-LM 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队NVIDIA

官网地址https://docs.nvidia.com/megatron-core/developer-guide/latest/get-started/quickstart.html

GitHubhttps://github.com/NVIDIA/Megatron-LM

定价模式🏷️完全免费

价格说明完全开源，免费使用，需自行部署

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型large-language-models,model-para,transformers

GitHub 星标★ 18349

上线时间2019-03-21 00:00:00

代码更新2026-11-09

仓库体积176.6 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数9

项目介绍

Megatron-LM 是 NVIDIA 主导的深度学习研究项目，专注于大规模 Transformer 模型的训练。它解决了在大规模分布式环境下训练千亿乃至万亿参数模型时的显存瓶颈、计算效率和通信开销问题。核心能力包括：基于张量并行、序列并行和数据并行的高效 3D 并行策略，支持模型分片和流水线调度；提供融合的 kernel 优化，显著提升训练吞吐；支持 GPT、BERT、T5 等主流架构，并集成混合精度训练和梯度裁剪。项目为研究社区提供了可复现的基准和工具，是学术界和工业界训练超大模型的重要参考实现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 18349

技术标签

large-language-models transformers

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级约 15 分钟部署方式：库/依赖 6 步

环境要求

Python 环境，并已安装 uv 包管理工具（README 全程使用 uv pip）
源码编译需要较大内存，可配合 MAX_JOBS 限制并行编译数
建议具备 NVIDIA GPU 环境（README 定位为 GPU 优化的大规模 Transformer 训练库）
需要能访问 GitHub 与 PyPI 的网络（克隆仓库/安装包）

安装与启动步骤

1从 PyPI 安装

只想使用 Megatron Core 库时，直接用 uv 从 PyPI 安装，无需克隆仓库。
```
uv pip install megatron-core
```
2克隆仓库

需要预置训练脚本和参考示例（Megatron-LM）时，克隆官方仓库到本地。
```
git clone https://github.com/NVIDIA/Megatron-LM.git
```
3进入项目目录

克隆完成后切换到仓库根目录，后续安装命令都在此目录执行。
```
cd Megatron-LM
```
4源码可编辑安装

以可编辑模式安装仓库源码，适合需要修改代码或使用参考训练脚本的场景。
```
uv pip install -e .
```
5限制编译内存

若源码构建内存不足导致失败，用 MAX_JOBS 限制并行编译任务数后重新安装。
```
MAX_JOBS=4 uv pip install -e .
```
6查阅官方文档

README 未给出训练命令，NGC 容器安装与首次训练需到官方文档按指引操作。