
veScale
字节开源,PyTorch 大模型超大规模分布式训练框架
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-21 · 当前星标 ★ 1050
技术标签
使用教程
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- Python 环境(项目使用 Python 实现)
- PyTorch 深度学习框架
- 可访问 GitHub 的网络环境
- 按 quick-start 文档准备的多卡或多机环境(如需分布式训练)
安装与启动步骤
-
1克隆代码仓库
从 GitHub 拉取 veScale 源码到本地目录,后续文档和示例都在仓库内。
git clone https://github.com/volcengine/veScale.git cd veScale -
2阅读快速开始文档
README 把安装与使用说明放在 docs/texts/quick-start.md,这是唯一的官方入口,请以此为准。
cat docs/texts/quick-start.md -
3阅读 RaggedShard 文档
README 在内容列表中还指向 RaggedShard DTensor 文档,涉及张量切分相关用法。
cat docs/texts/raggedshard.md -
4按文档完成环境配置
README 未给出 pip 或 docker 安装命令,请严格按 quick-start 文档中的说明配置依赖,不要自行猜测包名与版本。
如何确认成功
能成功克隆仓库并在本地打开 docs/texts/quick-start.md,说明代码与文档完整;实际运行是否成功以 quick-start 文档给出的方式为准。
常见问题
Q:为什么没有安装命令?
A:README 本节只列出 Quick Start 和 RaggedShard 两个文档入口与论文引用,未写安装命令,因此需打开 docs/texts/quick-start.md 查看具体步骤。
Q:旧版 veScale 去哪了?
A:README 标题说明旧版 veScale 已移动到仓库的 legacy/ 目录,新版内容正在更新,查阅资料时注意区分版本。
Q:veScale 支持哪些并行方式?
A:项目面向超大规模 LLM 与 RL 训练,提供张量并行、流水并行、数据并行等多维并行组合,具体用法见官方文档。
Q:能否与已有 PyTorch 代码配合?
A:项目基于原生 PyTorch 生态实现,便于与现有训练代码和算子库集成,迁移方式需参考 quick-start 文档说明。
注意事项
- README 未提供具体依赖版本、端口或参数,请勿凭空填写,一律以 docs/texts/quick-start.md 为准。
- 旧版代码位于 legacy/ 目录,新版仍在演进,接入前先确认所用版本。
- 分布式训练涉及多卡多机配置,建议先在单机小规模环境验证文档示例再扩展。
核心亮点
- 由字节跳动实际大规模训练场景沉淀,并行策略组合与通信优化经过工程验证
- 基于原生 PyTorch 生态,迁移改造成本相对可控,便于与现有训练代码集成
- 同时覆盖 LLM 预训练与强化学习训练流程,适用面比单一预训练框架更广
不足之处
- 项目仍处成长阶段,文档完整度与社区问答积累有限
- 面向超大规模集群设计,小规模团队上手门槛与收益比需评估
适用场景
- 千卡级大语言模型预训练基础设施搭建
- 大规模强化学习训练任务的并行调度
- 企业自建 PyTorch 分布式训练平台的技术选型参考
替代项目
Megatron-LM、DeepSpeed、Colossal-AI
同类项目推荐
MoTCoder
开源
把复杂编程题拆成小模块,让大模型推理更准
This is the official code repository of MoTCoder: Elevating Large Language Models wi···
lora-pilot
开源
一键启动 Docker,搞定 LoRA 训练与验证全流程
From dataset to trained LoRA to finished image or video. One browser workspace for y···
cevahir-ai
开源
一站式搭建语言模型,从分词到聊天全流程
Cevahir Zihin: a mind that learns by living, not a Transformer. It keeps knowledge a···
LLM-Finetuning-Toolkit
开源
像写单元测试一样微调大模型,实验更稳更可控。
Toolkit for fine-tuning, ablating and unit-testing open-source LLMs.
residual-context-diffusion
开源
把丢弃的信号变成推理先验,让扩散大模型更聪明
[ICML 2026] Residual Context Diffusion (RCD): Repurposing discarded signals as struc···
SiLLM
开源
在 Mac 上轻松训练和运行大模型,无需 NVIDIA GPU。
SiLLM simplifies the process of training and running Large Language Models (LLMs) on···
Awesome-Model-Quantization
开源
一页看全模型量化论文、工具与部署方案
A curated collection of papers, benchmarks, surveys, and tools for model quantizatio···
Dreambooth
开源
用几张照片微调扩散模型,让AI学会画你的专属对象
Fine-tuning of diffusion models
Repo2RLEnv
开源
任意仓库一键变可验证 RL 训练环境,边训边评测
Turn any repository into verifiable RL environments for coding agents - Harbor tasks···