项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-29 · 当前星标 ★ 835
核心亮点
- 按数据获取、去重、过滤、配比、溯源等阶段分类组织，结构清晰，便于按管线环节查找资料
- 作为综述论文官方仓库，概念框架统一，适合快速建立 LLM 数据工程的全局认知
- 覆盖数据合成与转换等较新方向，能帮助读者发现容易被忽略的环节
不足之处
- 以链接和文献索引为主，缺少可直接运行的代码或工具链
- 项目早期，分类粒度和条目完整性可能随论文更新而变化
- 文档/社区待观察
适用场景
- 数据工程师规划大模型预训练数据管线时，按阶段查找去重、过滤、配比方法
- 研究人员撰写数据为中心 AI 相关论文时，快速定位综述框架与参考文献
- 团队新人入门 LLM 数据工程，建立从数据获取到训练集构建的整体认知
替代项目
awesome-llm、Data-Juicer、awesome-data-centric-ai
同类项目推荐
RS5M
开源
下载500万遥感图文对，训练你的遥感视觉语言模型
RS5M: a large-scale vision language dataset for remote sensing [TGRS]
APSD
开源
看穿对抗攻击：用视觉标准量化扰动隐蔽性
Official dataset for “Stealthiness Assessment of Adversarial Perturbation: From a V···
ObjaversePlusPlus
开源
想要高质量3D数据？Objaverse++ 帮你筛选出精品，训练效果更稳。
[ICCV 2025] Repo for Objaverse++, Curated 3D Object Dataset with Quality Annotations
OntoAligner
开源
上传两个本体，一键生成语义映射关系。
OntoAligner: A Python Toolkit for Ontology Alignment https://pypi.org/project/OntoAl···
freshqa
开源
测测你的AI模型，能否答对最新鲜的问题
Data and code for FreshLLMs (https://arxiv.org/abs/2310.03214)
DataDesigner
开源
从零或种子数据一键生成高质量合成数据，加速 AI 训练
NeMo Data Designer: Generate high-quality synthetic data from scratch or from seed d···
potato
开源
便携式多模态标注工具，集成智能代理，让标注更高效。
potato: the portable annotation tool
Awesome-Medical-Dataset
开源
医学数据集一页找齐，省去全网翻论文
Collection of awesome medical dataset resources.
Shot2Story
开源
多镜头视频理解基准，让AI看懂镜头叙事
A new multi-shot video understanding benchmark Shot2Story with comprehensive video s···