veScale

字节开源,PyTorch 大模型超大规模分布式训练框架

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 65 🐛 待处理 17 👀 关注 35
GitHub ↗
GitHub 星标 ★ 1050
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无官网定价信息

项目预览

veScale 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队volcengine
定价模式🏷️完全免费
价格说明开源免费,无官网定价信息
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型llm-training,pytorch
GitHub 星标★ 1050
上线时间2024-02-26 00:00:00
代码更新2026-11-11
仓库体积3.0 MB
本站数据更新2026-11-21
维护状态较活跃
收录时间2026-11-21
浏览次数0

项目介绍

veScale 是字节跳动开源的 PyTorch 分布式训练框架,面向超大规模大语言模型与强化学习训练场景。它解决的是单机显存与算力无法承载超大模型、以及多卡多机并行时切分策略复杂、通信开销高的问题。核心能力包括:提供张量并行、流水并行、数据并行等多维并行组合,支持大规模集群下的高效通信与显存优化;针对 LLM 预训练与 RL 训练流程做工程化封装,降低从单卡脚本迁移到千卡集群的改造成本;基于原生 PyTorch 生态,便于与现有训练代码和算子库集成。项目用 Python 实现,处于成长阶段,适合需要自建大规模训练基础设施的团队参考与二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-21 · 当前星标 ★ 1050

技术标签

使用教程

难度:进阶 约 15 分钟 部署方式:库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(项目使用 Python 实现)
  • PyTorch 深度学习框架
  • 可访问 GitHub 的网络环境
  • 按 quick-start 文档准备的多卡或多机环境(如需分布式训练)

安装与启动步骤

  1. 1克隆代码仓库

    从 GitHub 拉取 veScale 源码到本地目录,后续文档和示例都在仓库内。

    git clone https://github.com/volcengine/veScale.git
    cd veScale
  2. 2阅读快速开始文档

    README 把安装与使用说明放在 docs/texts/quick-start.md,这是唯一的官方入口,请以此为准。

    cat docs/texts/quick-start.md
  3. 3阅读 RaggedShard 文档

    README 在内容列表中还指向 RaggedShard DTensor 文档,涉及张量切分相关用法。

    cat docs/texts/raggedshard.md
  4. 4按文档完成环境配置

    README 未给出 pip 或 docker 安装命令,请严格按 quick-start 文档中的说明配置依赖,不要自行猜测包名与版本。

如何确认成功

能成功克隆仓库并在本地打开 docs/texts/quick-start.md,说明代码与文档完整;实际运行是否成功以 quick-start 文档给出的方式为准。

常见问题

Q:为什么没有安装命令?

A:README 本节只列出 Quick Start 和 RaggedShard 两个文档入口与论文引用,未写安装命令,因此需打开 docs/texts/quick-start.md 查看具体步骤。

Q:旧版 veScale 去哪了?

A:README 标题说明旧版 veScale 已移动到仓库的 legacy/ 目录,新版内容正在更新,查阅资料时注意区分版本。

Q:veScale 支持哪些并行方式?

A:项目面向超大规模 LLM 与 RL 训练,提供张量并行、流水并行、数据并行等多维并行组合,具体用法见官方文档。

Q:能否与已有 PyTorch 代码配合?

A:项目基于原生 PyTorch 生态实现,便于与现有训练代码和算子库集成,迁移方式需参考 quick-start 文档说明。

注意事项

  • README 未提供具体依赖版本、端口或参数,请勿凭空填写,一律以 docs/texts/quick-start.md 为准。
  • 旧版代码位于 legacy/ 目录,新版仍在演进,接入前先确认所用版本。
  • 分布式训练涉及多卡多机配置,建议先在单机小规模环境验证文档示例再扩展。

核心亮点

  • 由字节跳动实际大规模训练场景沉淀,并行策略组合与通信优化经过工程验证
  • 基于原生 PyTorch 生态,迁移改造成本相对可控,便于与现有训练代码集成
  • 同时覆盖 LLM 预训练与强化学习训练流程,适用面比单一预训练框架更广

不足之处

  • 项目仍处成长阶段,文档完整度与社区问答积累有限
  • 面向超大规模集群设计,小规模团队上手门槛与收益比需评估

适用场景

  • 千卡级大语言模型预训练基础设施搭建
  • 大规模强化学习训练任务的并行调度
  • 企业自建 PyTorch 分布式训练平台的技术选型参考

替代项目

Megatron-LM、DeepSpeed、Colossal-AI

上一篇:cavegemma

下一篇:qerl

同类项目推荐

MoTCoder 开源

把复杂编程题拆成小模块,让大模型推理更准

This is the official code repository of MoTCoder: Elevating Large Language Models wi···

★ 87 2026-08-09
lora-pilot 开源

一键启动 Docker,搞定 LoRA 训练与验证全流程

From dataset to trained LoRA to finished image or video. One browser workspace for y···

★ 91 2026-08-09
cevahir-ai 开源

一站式搭建语言模型,从分词到聊天全流程

Cevahir Zihin: a mind that learns by living, not a Transformer. It keeps knowledge a···

★ 312 2026-08-09
LLM-Finetuning-Toolkit 开源

像写单元测试一样微调大模型,实验更稳更可控。

Toolkit for fine-tuning, ablating and unit-testing open-source LLMs.

★ 872 2026-08-09
residual-context-diffusion 开源

把丢弃的信号变成推理先验,让扩散大模型更聪明

[ICML 2026] Residual Context Diffusion (RCD): Repurposing discarded signals as struc···

★ 62 2026-08-09
SiLLM 开源

在 Mac 上轻松训练和运行大模型,无需 NVIDIA GPU。

SiLLM simplifies the process of training and running Large Language Models (LLMs) on···

★ 284 2026-08-09
Awesome-Model-Quantization 开源

一页看全模型量化论文、工具与部署方案

A curated collection of papers, benchmarks, surveys, and tools for model quantizatio···

★ 2471 2026-10-17
Dreambooth 开源

用几张照片微调扩散模型,让AI学会画你的专属对象

Fine-tuning of diffusion models

★ 97 2026-08-09
Repo2RLEnv 开源

任意仓库一键变可验证 RL 训练环境,边训边评测

Turn any repository into verifiable RL environments for coding agents - Harbor tasks···

★ 804 2026-10-04