modalities

PyTorch 原生分布式训练，配置化复现大模型实验

Modalities 是一个基于 PyTorch 原生构建的基础模型训练框架，目标是把分布式训练和可复现性做成开箱即用的能力。它解决的是大模型训练中常见的痛点：多机多卡并行配置复杂、实验难以复现、训练脚本与基础设施耦合过深。框架提供统一的训练入口，支持数据并行、张量并行、流水线并行等分布式策略的组合，并通过配置化方式管理超参、随机种子、检查点和日志，让同一份配置能在不同规模集群上复现结果。它强调 PyTorch 原生，意味着不引入额外抽象层，用户可以直接使用 PyTorch 的模块、优化器和分布式 API，降低迁移成本。适合需要训练十亿级参数以内基础模型、又希望保持代码可控和实验可复现的团队。

开源 free 模型训练

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 111

维护状态活跃

是否开源是

定价模式 free

项目数据

分类模型训练

开发团队Modalities

所属国家

官网地址

GitHubhttps://github.com/Modalities/modalities

定价模式free

价格说明开源免费，无在线服务

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型

GitHub 星标★ 111

30天Star增速

HF 下载量

上线时间2024-01-11 00:00:00

最近更新2026-09-14 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-19

浏览次数0

使用教程

核心亮点

基于 PyTorch 原生 API，不引入重型抽象，已有 PyTorch 代码迁移成本低
把分布式并行策略和可复现性（种子、配置、检查点）作为框架内置能力，减少样板代码
配置驱动训练流程，便于在不同集群规模间复用同一实验定义

不足之处

项目处于早期，星标仅 111，社区规模和生态工具尚不成熟
文档和示例可能不够完善，复杂并行组合的调试支持有待验证

适用场景

中小团队训练十亿级参数以内的基础模型，需要快速搭建可复现的分布式训练流程
研究机构做消融实验，要求同一配置在不同 GPU 数量下结果可复现
已有 PyTorch 训练脚本的团队，希望以较低改造成本引入张量并行或流水线并行

替代项目

Megatron-LM、DeepSpeed、torchrun

项目介绍

modalities 是一个模型训练领域的开源项目，官方简介：Modalities, a PyTorch-native framework for distributed and reproducible foundation model training.。项目使用 Python 开发，在 GitHub 上获得 111 星标。

上一篇：Primus

下一篇：没有了！