mega-data-factory
打造高质量多模态数据集，让基础模型训练更高效
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 380
核心亮点
- 提供完整的数据处理流水线，覆盖清洗、去重、过滤等关键环节
- 针对大规模数据设计，支持分布式处理，可扩展性强
- 强调数据质量，内置质量评估机制，能有效提升模型训练效果
不足之处
- 项目处于早期阶段，文档和社区支持尚不完善
- 实际使用案例较少，生态成熟度有待观察
适用场景
- 大规模多模态数据集的构建与清洗
- 基础模型预训练前的数据准备与增强
- 数据质量驱动的模型微调与迭代
替代项目
img2dataset、datatrove、DataComp
上一篇：paper-list
下一篇：KG-MM-Survey
同类项目推荐
awesome-public-datasets
开源
按主题找公开数据集，省去到处搜的麻烦
A topic-centric list of HQ open datasets.
upgini
开源
一键搜索外部数据，自动增强 ML 特征，提升模型精度
Data search & enrichment library for Machine Learning → Easily find and add relevan···
datasets
开源
一条命令批量下载 NCBI 基因组数据，省去手动检索。
NCBI Datasets is a new resource that lets you easily gather data from across NCBI da···
Dataset
开源
公开数据集网页化托管，打开即看即取
Public Dataset
LLM-Synthetic-Data
开源
一页看全 LLM 合成数据论文脉络
A live reading list for LLM data synthesis (Updated to July, 2025).
RoboVerse
开源
一套接口打通机器人仿真数据与评测，省去重复搭环境
RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Genera···
datasets
开源
一键获取细胞高内涵成像数据，直接开跑形态学分析
Images and other data from the JUMP Cell Painting Consortium
AlignLedger
开源
把标注、审核、溯源和数据集冻结串成一条可复现流水线
Human-feedback and data-governance infrastructure for RSI research: annotation, revi···
fg-data-synthetic
开源
一键生成表格和时间序列合成数据，解决数据稀缺与隐私难题
Synthetic data generators for tabular and time-series data