mega-data-factory 是数据集领域的开源项目，由 duoan 开发，是 2026 年新上线的项目。
它收录于数据集分类，该分类目前共有 279 个项目，GitHub 星标数为 378。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-17。MIT许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：大规模多模态数据集的构建与清洗。同类可对比的替代方案包括 img2dataset、datatrove、DataComp。
mega-data-factory
打造高质量多模态数据集，让基础模型训练更高效
mega-data-factory 是一个面向大规模基础模型训练的多模态数据流水线框架，专注于解决数据质量与数据规模之间的平衡问题。它提供了一套从数据采集、清洗、去重、过滤到增强的完整工具链，支持图像、文本等多模态数据的处理。核心能力包括高效的数据去重算法、基于质量评估的筛选机制、以及可扩展的分布式处理架构，能够帮助AI团队构建高质量的训练数据集，从而提升模型性能。该项目强调数据为中心（data-centric AI）的理念，适用于预训练、微调等场景，尤其适合需要处理TB级以上数据的团队。
开源
free
图像生成
GitHub 星标
★ 379
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类图像生成
开发团队duoan
所属国家
定价模式free
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型data-centric-ai,data-curation,data-quality,datapipeline,datapipelines,deeplearning,foundation-models,image-editing,image-generation,llm,machine-learning,mllm,multimodal,ray,rust,video-generation,vlm
GitHub 星标★ 379
30天Star增速
HF 下载量
上线时间2026-01-17 00:00:00
最近更新2026-09-23 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5
使用教程
核心亮点
- 提供完整的数据处理流水线，覆盖清洗、去重、过滤等关键环节
- 针对大规模数据设计，支持分布式处理，可扩展性强
- 强调数据质量，内置质量评估机制，能有效提升模型训练效果
不足之处
- 项目处于早期阶段，文档和社区支持尚不完善
- 实际使用案例较少，生态成熟度有待观察
适用场景
- 大规模多模态数据集的构建与清洗
- 基础模型预训练前的数据准备与增强
- 数据质量驱动的模型微调与迭代
替代项目
img2dataset、datatrove、DataComp
项目介绍
上一篇：paper-list
下一篇：KG-MM-Survey
同类项目推荐
X-AnyLabeling
开源
一站式AI辅助标注，图像视频文本通吃，导出格式随心配
X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···
aisheets
开源
像用表格一样批量调 AI，不写代码就能造和改数据集
Build, enrich, and transform datasets using AI models with no code
distilabel
开源
基于论文的合成数据流水线，快速生成高质量 AI 反馈数据。
Distilabel is a framework for synthetic data and AI feedback for engineers who need ···
DataGen
开源
用大模型一键生成定制化训练数据，告别数据荒
[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models