distributed-ml-patterns
照着搭，快速搞定分布式机器学习系统
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 546
使用教程
环境要求
- 无需环境
安装与启动步骤
-
1先读目录对齐章节
代码按书的章节编号组织，对着书看才顺。
-
2挑参数服务器那章
分布式训练的第一道坎在这，先看它怎么切分。
-
3跑一个最小示例
章节里的示例多是独立可跑的，不用整套环境。
-
4看它用的框架版本
书成稿时的框架 API 现在多半变了，跑不起来先怀疑版本。
如何确认成功
能说清数据并行与模型并行在通信模式上的区别，并指出书里对应的那一章示例
注意事项
- 这是书《Distributed Machine Learning Patterns》的配套代码与参考文献，不是框架。
- 按章组织，每章有独立示例，可以只挑自己要的那部分。
- 成书较早，示例里的框架 API 与当前版本有差异，照抄容易报错。
- 价值在模式归纳：数据并行、模型并行、流水线并行各自的通信代价讲得比较清楚。
核心亮点
- 模式分类清晰，从数据并行到参数服务器，覆盖分布式训练核心场景
- 代码示例与书籍配套，理论实践结合，易于上手
- 作者是知名 AI 工程师，内容质量有保障，适合作为团队内部培训材料
不足之处
- 项目更新频率低，部分示例可能未适配最新深度学习框架版本
- 文档/社区待观察
适用场景
- 设计分布式训练架构时参考模式选型
- 学习分布式机器学习原理，配合书籍阅读
- 快速搭建原型，验证参数服务器或数据并行方案的可行性
替代项目
Horovod、Ray、Kubeflow
上一篇：sklearn-diagnose
下一篇：examples
同类项目推荐
SkyRL
开源
把 LLM 强化学习全流程拆成乐高，多轮工具任务也能直接训
SkyRL: A Modular Full-stack RL Library for LLMs
nnscaler
开源
写单卡模型，编译器自动生成多卡并行训练方案
nnScaler: Compiling DNN models for Parallel Training
train-llm-from-scratch
开源
从数据到生成，手把手教你训练自己的大模型
A straightforward method for training your LLM, from downloading data to generating ···
INTERS
开源
给大模型注入搜索能力，让检索结果更精准
This is the repository for our paper "INTERS: Unlocking the Power of Large Language ···
GEM
开源
微调时保住模型创造力，让生成不再千篇一律
Code for Paper (Preserving Diversity in Supervised Fine-tuning of Large Language Mod···
SAELens
开源
把大模型内部激活拆成可读特征，训练与复用 SAE
Training Sparse Autoencoders on Language Models
Chain-of-Embedding
开源
不生成文字，用嵌入链提前预判大模型输出质量
[ICLR 2025] Code and Data Repo for Paper "Latent Space Chain-of-Embedding Enables Ou···
self-llm
开源
手把手教你微调部署开源大模型，中文教程一步到位
《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调（全参数/Lora）、部···
awesome-llms-fine-tuning
开源
一站式收藏LLM微调资源，从入门到进阶少走弯路
Explore a comprehensive collection of resources, tutorials, papers, tools, and best ···