Qwen-VL-Series-Finetune

用自有数据微调 Qwen-VL，快速得到专用视觉大模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署模型训练 🍴 复刻 224 🐛 待处理 57 👀 关注 13

GitHub ↗

GitHub 星标 ★ 1981

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源免费，需自行部署

项目预览

Qwen-VL-Series-Finetune 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类模型训练

开发团队2U1

GitHubhttps://github.com/2U1/Qwen-VL-Series-Finetune

定价模式🏷️完全免费

价格说明开源免费，需自行部署

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型multimodal,qwen2-5-vl,qwen2-vl,qwen3-5,qwen3-vl,vision-language,vision-language-model,vlm

GitHub 星标★ 1981

上线时间2024-09-10 00:00:00

代码更新2026-09-09

仓库体积337 KB

本站数据更新2026-11-04

维护状态维护中

收录时间2026-09-16

浏览次数1

项目介绍

这是阿里云 Qwen-VL 系列多模态大模型的开源微调实现，面向需要让视觉语言模型适配自有数据的开发者。项目支持 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 等多个版本，覆盖从数据准备、训练配置到推理验证的完整流程。核心能力包括 LoRA 与全参数微调、多图与视频输入、自定义数据集格式、分布式训练支持，并针对显存占用做了优化，让单卡或多卡环境都能跑起来。它解决的是通用 VLM 在垂直领域表现不足的问题，比如特定行业图像理解、文档解析、图表问答等场景，用户可用自己的标注数据快速得到专用模型。项目结构清晰、脚本化程度高，降低了多模态微调的工程门槛。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 1981

技术标签

multimodal vision-language vision-language-model vlm

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 30 分钟部署方式：Docker 5 步

环境要求

Docker 环境（用于拉取官方预构建镜像）
支持 NVIDIA GPU 并可用 --gpus all（需已安装 nvidia-container-toolkit）
依赖 HuggingFace 与 Liger-Kernel，对应版本为 transformers==5.3.0、liger_kernel==0.8.0
镜像内已配置名为 train 的 conda 环境

安装与启动步骤

1拉取预构建镜像

README 提供了预构建训练环境，直接拉取镜像即可省去手动配环境的步骤。
```
docker pull john119/vlm
```
2启动训练容器

用 --gpus all 开启 GPU，-v 挂载宿主机数据与代码目录，--ipc=host 避免共享内存不足。
```
docker run --gpus all -it -v /host/path:/docker/path --name vlm --ipc=host john119/vlm /bin/bash
```
3激活训练环境

进入容器后切换到镜像内预置的 conda 环境 train，所有训练依赖都在该环境中。
```
conda activate train
```

4调整图像视频分辨率

默认使用原图分辨率，显存吃紧时按 token*28*28 调小像素数；Qwen3-VL 需按 token*32*32 计算。

--image_min_pixels $((256 * 28 * 28))
--image_max_pixels $((1280 * 28 * 28))
--video_min_pixels $((128 * 28 * 28))
--video_max_pixels $((768 * 28 * 28))

5用 Trainer 启动训练

在训练脚本中通过 QwenSFTTrainer 组装模型、处理器、训练参数与数据模块；需要指标时加上 compute_metrics。
```
trainer = QwenSFTTrainer(
    model=model,
    processing_class=processor,
    args=training_args,
    compute_metrics=compute_metrics,
    **data_module
)
```

关键配置

配置项	必填	说明	示例
`image_min_pixels`	否	图像输入的最小像素数，控制小图显存与速度	`$((256 * 28 * 28))`
`image_max_pixels`	否	图像输入的最大像素数，值越大效果通常越好但更耗显存	`$((1280 * 28 * 28))`
`video_min_pixels`	否	视频帧的最小像素数，用于视频训练场景	`$((128 * 28 * 28))`
`video_max_pixels`	否	视频帧的最大像素数，视频数据建议压得更小	`$((768 * 28 * 28))`
`image_resized_width`	否	直接指定图像宽度来控制显存占用	`448`
`image_resized_height`	否	直接指定图像高度，与宽度配套使用	`448`