VeOmni
声明式配方，把任意模态大模型训练一键扩展到多机多卡
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-19 · 当前星标 ★ 2275
使用教程
⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- Python 环境（项目开发语言为 Python）
- PyTorch（项目遵循 Torch native 设计，需依赖 PyTorch）
- 支持分布式训练的加速器环境（多卡/多机）
- 网络可访问 GitHub 与 readthedocs 文档站点
安装与启动步骤
-
1克隆代码仓库
从 GitHub 拉取 VeOmni 源码到本地，作为后续安装与运行的代码基础。
git clone https://github.com/ByteDance-Seed/VeOmni.git -
2查阅安装文档
README 未给出具体安装命令，请打开官方 Installation 文档，按其说明完成依赖安装。
-
3运行快速开始示例
按官方 Quick Start with Qwen3 文档，用 Qwen3 示例跑通一次训练流程，验证环境是否可用。
如何确认成功
README 未提供验证命令；以官方文档中的 Qwen3 快速开始示例能否正常跑通为准。
常见问题
Q：为什么没有具体的安装命令？
A：README 节选中安装说明只提供了指向官方文档的链接，未列出 pip/conda 等命令。请以 Installation 文档页内容为准，勿套用其他项目的命令。
Q：VeOmni 支持哪些模态？
A：按 README 描述，支持文本、图像、音频、视频等任意模态模型的预训练与后训练。
Q：需要 PyTorch-Lightning 或 HuggingFace Trainer 吗？
A：不需要。VeOmni 采用 trainer-free 设计，使用线性训练脚本；同时提供基础 trainer 作为文本或 VLM/Omni 模型训练及强化学习后端。
Q：有示例可以直接跑吗？
A：README 的 Quick Start 中提供了 Qwen3 示例链接，可作为上手参考。
注意事项
- README 未提供具体依赖清单、端口、路径等信息，安装步骤务必以官方文档为准。
- VeOmni 面向多机多卡分布式训练，建议先确认加速器与 PyTorch 环境版本匹配。
- 框架强调模块化与可替换性，实际训练脚本可能需要按自身模型结构做适配。
- 项目 star 数较多但 README 节选信息有限，遇到问题优先查阅官方文档站点。
核心亮点
- 以模型为中心的配方抽象，把并行策略与模型代码解耦，新增模型结构时改动量小
- 原生支持文本/图像/音频/视频等任意模态的统一训练流程，不局限于纯文本 LLM
- 内置多种主流多模态模型的分布式训练配方，可直接复用而非从零搭建并行逻辑
不足之处
- 项目较新、星标规模仍在成长，第三方模型覆盖和社区案例还不如成熟框架丰富
- 配方机制有一定学习成本，新手需要先理解其抽象约定才能灵活改造
适用场景
- 多模态大模型团队把单卡训练脚本扩展到多机多卡集群
- 研究团队快速验证新模态或新模型结构的分布式训练可行性
- 工程团队复用现成配方，降低大模型训练并行策略的开发和调试成本
替代项目
Megatron-LM、DeepSpeed、FairScale
下一篇：litData
同类项目推荐
MedicalGPT
开源
一键训练你的医疗GPT，从预训练到对齐全流程搞定
MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练···
KG-FIT
开源
用大模型给知识图谱做微调，让关系预测更准
[NeurIPS'24] Knowledge Graph Fine-Tuning using LLMs
CausalPFN
开源
用上下文学习，秒级估算因果效应，告别复杂建模
CausalPFN: Amortized Causal Effect Estimation via In-Context Learning
ml-engineering
开源
大模型训练推理踩坑指南，照着调优省半年时间
Machine Learning Engineering Open Book
shortened-llm
开源
压缩LLM，推理提速，显存减半，生成依旧流畅。
Compressed LLMs for Efficient Text Generation [ICLR'24 Workshop]
LightRFT
开源
用奖励模型驱动微调，让 LLM/VLM 按目标越训越强
LightRFT: Light, Efficient, Omni-modal & Reward-model Driven Reinforcement Fine-Tuni···
Merge-Stable-Diffusion-models-wi···
开源
不训练，无损合并多个Stable Diffusion模型，统一风格与能力。
Adaptation of the merging method described in the paper - Git Re-Basin: Merging Mode···
DDSM
开源
让扩散模型训练更快更省，按步骤智能分配学习资源
Denoising Diffusion Step-aware Models (ICLR2024)
LLaMEA
开源
让大模型自动进化出更优算法，省去手工调参。
Large Language Model Evolutionary Algorithm