MLM_Filter

用多模态模型自动筛出高质量图文对，提升训练数据纯净度

MLM_Filter 是一个用于图像-文本数据过滤的开源工具，基于论文《Finetuned Multimodal Language Models are High-Quality Image-Text Data Filters》的官方实现。它利用微调后的多模态语言模型（如CLIP、BLIP等）来评估图像与文本之间的语义相关性，自动筛选出高质量的训练数据，解决多模态数据集中噪声多、匹配度低的问题。核心能力包括：加载预训练的多模态模型，对图像-文本对进行评分，支持自定义阈值过滤，并输出过滤后的数据集。该工具旨在提升多模态模型（如视觉语言模型）的训练数据质量，从而改善下游任务性能。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 71

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队Victorwz

所属国家

官网地址https://mlm-filter.github.io

GitHubhttps://github.com/Victorwz/MLM_Filter

定价模式free

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型data-filtering,data-quality-assessment,image-text-data,large-language-models,llava,multimodal-large-language-models

GitHub 星标★ 71

30天Star增速

HF 下载量

上线时间2024-02-27 00:00:00

最近更新2026-04-04 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

使用教程

核心亮点

基于论文方法，过滤质量有理论保障
支持多种预训练模型，灵活适配不同场景
代码结构清晰，易于集成到现有数据流水线

不足之处

依赖多模态模型推理，过滤速度可能较慢
文档/社区待观察

适用场景

多模态数据集清洗，去除图文不匹配样本
预训练视觉语言模型前的数据预处理
构建高质量图文对用于检索或生成任务

替代项目

CLIPScore、BLIP、Data Filtering (如LAION-AI/filter)

项目介绍

MLM_Filter 是模型训练领域的开源项目，由 Victorwz 开发，2024 年首次发布。

它收录于模型训练分类，该分类目前共有 522 个项目，GitHub 星标数为 71。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-04-04。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：多模态数据集清洗，去除图文不匹配样本。同类可对比的替代方案包括 CLIPScore、BLIP、Data Filtering (如LAION-AI/filter)。

上一篇：ReaLHF

下一篇：AutoGPTQ