lmms-engine
一套引擎搞定多模态模型训练，快速上手，灵活扩展。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 833
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- NVIDIA GPU 多卡
- Python 3.10+
- uv
安装与启动步骤
-
1克隆
多模态模型训练引擎，用 uv 管环境。
git clone https://github.com/EvolvingLMMs-Lab/lmms-engine.git cd lmms-engine -
2装依赖
直接装全量，缺 flash-attn 会退化很慢。
uv pip install -e ".[all]" uv pip install flash-attn --no-build-isolation -
3准备配置
示例里有 Qwen3-VL 的完整配置。
cat examples/qwen3_vl/example_config.yaml -
4起训练
CLI 传配置即可，支持多机。
python -m lmms_engine.launch.cli config_yaml=examples/qwen3_vl/example_config.yaml
如何确认成功
训练日志有 loss 与吞吐，checkpoint 正常保存。
注意事项
- Linux 上先跑 uv_sync_linux.sh，省掉手工对齐依赖。
- liger-kernel 可省显存但会影响数值细节。
- 官方带容器镜像，环境难搞时优先用镜像。
核心亮点
- 统一的多模态训练接口，支持视频、图像、文本等多种模态，减少框架切换成本。
- 代码结构精简，模块化设计，易于根据研究需求进行二次开发。
- 基于主流深度学习框架，具备分布式训练能力，可扩展至大规模计算集群。
不足之处
- 项目处于早期阶段，文档和社区支持尚不完善，上手可能需要自行探索。
- 部分高级功能（如混合精度优化、模型并行）可能尚未完全实现或优化。
适用场景
- 多模态大模型的预训练与微调，如视频-语言模型。
- 视频生成模型的研究与实验，快速验证新架构。
- 学术实验室或中小团队构建定制化多模态训练流程。
替代项目
Hugging Face Transformers、MMEngine、ColossalAI
同类项目推荐
chatgpt-finetune-ui
开源
拖拽上传数据，点点鼠标就能微调 ChatGPT 模型
Simple python WebUI for fine-tuning ChatGPT (gpt-3.5-turbo)
RPG
开源
给大模型 RL 训练加上安全护栏，稳定提升性能
[ICLR 2026] RPG: KL-Regularized Policy Gradient (https://arxiv.org/abs/2505.17508)
Awesome-Model-Merging-Methods-Th···
开源
一网打尽模型合并前沿，从理论到应用快速上手
Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opport···
Open-LLaVA-NeXT
开源
开源复现 LLaVA-NeXT，快速训练你的多模态对话模型
An open-source implementation for training LLaVA-NeXT.
SimpleTuner
开源
一条命令微调扩散模型，图像视频音频通吃
A general fine-tuning kit geared toward image/video/audio diffusion models.
transformerlab-app
开源
一站式搞定大模型训练、微调和评估，从笔记本到集群无缝扩展
The open source research environment for AI researchers to seamlessly train, evaluat···
Chattiori-Model-Merger
开源
按比例混合扩散模型，快速生成自定义风格模型
Merges latent diffusion models at a user-defined ratio
sagify
开源
一条命令把本地模型部署到 AWS SageMaker，省心省力
LLMs and Machine Learning done easily
GEM
开源
微调时保住模型创造力，让生成不再千篇一律
Code for Paper (Preserving Diversity in Supervised Fine-tuning of Large Language Mod···