项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-08 · 当前星标 ★ 43309
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 环境与 pip 包管理工具
- 已安装 PyTorch（README 未限定具体版本）
- ninja：首次运行时用于 JIT 编译 C++/CUDA 扩展
- 如需 GPU 训练，需要可用的 CUDA 环境
安装与启动步骤
-
1确认 Python 环境
先确认本机已安装 Python 和 pip，并已装好 PyTorch；README 未限定具体的 PyTorch 或 CUDA 版本。
python --version pip --version -
2安装 DeepSpeed
README 说明最快的方式是用 pip 安装最新发行版，该版本不绑定特定 PyTorch 或 CUDA 版本。
pip install deepspeed -
3确认安装成功
安装完成后，用 import 检查库能否正常加载；如果没有报错，就说明安装成功。
python -c "import deepspeed; print(deepspeed.__version__)" -
4了解首次编译
DeepSpeed 的 C++/CUDA 扩展（ops）默认在运行时通过 torch 的 JIT 扩展加载器、依赖 ninja 即时编译并动态链接；首次运行会较慢，属于正常现象。
如何确认成功
执行 python -c "import deepspeed" 无报错，且能打印出版本号，即表示安装成功。
常见问题
Q：pip 安装的版本需要匹配特定 PyTorch 或 CUDA 吗？
A：不需要。README 说明用 pip 安装的是最新发行版，不绑定特定的 PyTorch 或 CUDA 版本。
Q：第一次运行为什么很慢？
A：DeepSpeed 的 C++/CUDA 扩展默认在运行时通过 torch 的 JIT 扩展加载器即时编译并动态链接，因此首次运行会花时间编译。
Q：编译这些扩展需要准备什么？
A：README 指出 JIT 编译依赖 ninja，需要保证环境中已安装 ninja 并可用。
Q：从哪里获取更多资料？
A：可访问官网 https://www.deepspeed.ai 或 GitHub 仓库 https://github.com/deepspeedai/DeepSpeed 查看文档与示例。
注意事项
- pip 安装的是最新发行版，不绑定特定 PyTorch 或 CUDA 版本。
- C++/CUDA 扩展默认在运行时 JIT 编译，首次运行耗时会明显增加。
- README 未给出具体版本号、端口或配置文件示例，相关细节请以官网文档为准。
核心亮点
- ZeRO 分片把优化器状态、梯度、参数分散到多卡，单卡显存占用大幅下降，能用有限硬件训练更大模型
- 配置化程度高，写一个 JSON 就能启用混合精度、offload、梯度检查点等组合策略，改造成本低
- 与 Hugging Face Transformers、PyTorch 集成成熟，社区案例和文档丰富，大模型训练落地路径清晰
不足之处
- 配置项多且相互影响，调参门槛较高，新手容易因并行策略不匹配遇到显存或通信瓶颈
- 多机多卡场景对网络带宽和拓扑敏感，通信开销在部分集群上会抵消分片带来的收益
适用场景
- 百亿参数级大语言模型的分布式预训练与微调
- 显存受限时用 ZeRO-Offload 在少量 GPU 上训练较大模型
- MoE 混合专家模型的高效训练与推理部署
替代项目
Megatron-LM、FairScale、Colossal-AI
上一篇：rllm
下一篇：没有了！
同类项目推荐
gigaevo-core
开源
让大模型当变异器，自动迭代把程序改到更好
Evolutionary algorithm that uses Large Language Models (LLMs) to automatically impro···
miles_diffusion
开源
大规模扩散模型后训练与生产落地的工程框架
Miles-diffusion is an post-training framework for large-scale diffusion model traini···
Tutel
开源
让 MoE 大模型训练更快更省显存，支持 FP8/FP4 低精度。
Tutel MoE: Optimized Mixture-of-Experts Library, Support GLM/Kimi/Gpt/DeepSeek/Qwen ···
grafting
开源
像嫁接植物一样组合扩散模型架构，快速找到最优设计。
[NeurIPS 2025 Oral] Official Code for Exploring Diffusion Transformer Designs via Gr···
Time-LLM
开源
用大模型重编程时间序列，预测更准更通用
[ICLR 2024] Official implementation of " Time-LLM: Time Series Forecasting by Repro···
TOTEM
开源
把时间序列变成 token，一个模型搞定预测、分类、异常检测
The official code for - TOTEM: TOkenized Time Series EMbeddings for General Time ···
llm4regression
开源
不训练模型，看大模型能否从例子中学会回归
Examining how large language models (LLMs) perform across various synthetic regressi···
CorDA
开源
用上下文感知的低秩分解，让大模型微调更省资源更精准
CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for task-a···
mini-verl
开源
单张消费级显卡就能跑 PPO/GRPO 对齐训练
verl for a single consumer GPU. PPO, GRPO and on-policy distillation on NVIDIA GPUs.