lmms-finetune

极简代码库，快速微调主流多模态大模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 45 🐛 待处理 3 👀 关注 7
GitHub ↗
GitHub 星标 ★ 375
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，完全免费，可自行部署使用。

项目预览

lmms-finetune 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队zjysteven
GitHubhttps://github.com/zjysteven/lmms-finetune
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型finetuning,foundation-models,instruction-tuning,large-language-model,large-multimodal-models,llava,llava-next,multimodal,multimodal-large-language-models,qwen-vl,vision-language,visual-instruction-tuning
GitHub 星标★ 375
上线时间2024-07-20 00:00:00
代码更新2026-02-28
仓库体积13.3 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

lmms-finetune 是一个极简的多模态大模型微调代码库，旨在降低 LMM（Large Multimodal Model）微调的门槛。它支持多种主流模型，包括 LLaVA 系列（1.5/1.6、Interleave、Next-Video、OneVision）、Llama 3.2 Vision、Qwen-VL、Qwen2-VL、Phi-3 等，覆盖图像、视频和多模态交错场景。项目解决了多模态微调中代码复杂、依赖繁琐、难以快速上手的问题，提供了统一的训练脚本和数据处理流程，让研究者或开发者能快速在自己的数据上微调模型。核心能力包括：支持单卡/多卡训练、灵活的模型配置、与 Hugging Face 生态兼容、提供示例脚本和文档。作为一个早期项目（GitHub 星标 373），它强调代码的简洁性和可扩展性，适合学术研究和工业原型验证。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 375

核心亮点

  • 支持 LLaVA、Qwen-VL、Phi-3 等 7+ 主流多模态模型，覆盖面广
  • 代码结构极简，依赖少，易于二次开发和定制
  • 提供统一训练脚本，支持图像/视频/交错数据，降低上手门槛

不足之处

  • 文档和社区资源较少，早期项目示例不够丰富
  • 对多卡分布式训练的支持可能不如成熟框架（如 DeepSpeed）完善

适用场景

  • 学术研究：快速验证多模态微调新想法
  • 垂直领域应用：微调模型以适应特定图像/视频任务
  • 教学演示：用最小代码理解多模态微调流程

替代项目

LLaVA-NeXT、Qwen2-VL-Finetune、xtuner

上一篇：TOTEM

下一篇：deep-delta-learning

同类项目推荐

OmniQuant 开源

把大模型压到4比特，速度更快内存更省，精度还不掉链子。

[ICLR2024 spotlight] OmniQuant is a simple and powerful quantization technique for L···

★ 968 2026-08-09
MARS 开源

用方差缩减技术，让大模型训练更快更稳

The official implementation of MARS: Unleashing the Power of Variance Reduction for ···

★ 725 2026-08-09
BitVAE 开源

用比特级分词，让图像生成更精细高效

official training and inference code of bitwise tokenizer

★ 73 2026-08-09
AMD-LLM 开源

在 AMD GPU 上快速跑通 1.35 亿参数语言模型训练

Training code and resources for AMD-135M language models on AMD GPUs.

★ 195 2026-08-09
LiteResearcher 开源

用强化学习训练会查资料、写长报告的深度研究智能体

[COLM 2026] A Scalable Agentic RL Training Framework for Deep Research Agent

★ 134 2026-10-13
makani 开源

让 AI 气象模型在数百 GPU 上并行训练，实验迭代从月缩到天。

Massively parallel training of machine-learning based weather and climate models

★ 405 2026-10-17
chatgpt-finetune-ui 开源

拖拽上传数据，点点鼠标就能微调 ChatGPT 模型

Simple python WebUI for fine-tuning ChatGPT (gpt-3.5-turbo)

★ 173 2026-08-09
TinyEngram 开源

给大模型装上长期记忆，让对话和生成更连贯

Research of DeepSeek Engram Architecture based on Qwen-3 and Stable Diffusion series···

★ 1343 2026-08-09