awesome-chatgpt-dataset
找训练数据？这个列表帮你一键搞定。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 773
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.8+
- HuggingFace 账号（可选）
安装与启动步骤
-
1克隆
中文指令数据集整理项目。
git clone https://github.com/voidful/awesome-chatgpt-dataset.git cd awesome-chatgpt-dataset -
2预处理
脚本把各来源统一成指令-回答格式。
python preprocess.py your_dataset_name -
3推到 Hub
预处理后可上传到 HuggingFace。
huggingface-cli upload <repo> ./output -
4检查样本
训练前务必人工抽查几十条。
head -n 3 output/*.json
如何确认成功
输出文件的字段是 instruction/input/output 三者齐全。
注意事项
- 数据集质量比数量重要，脏数据会教坏模型。
- 来源混杂时注意许可证兼容性。
- 中文数据要检查编码与标点全半角。
核心亮点
- 分类清晰，涵盖指令、对话、反馈等主流数据集类型。
- 每个数据集附有简介和链接，方便快速评估和获取。
- 紧跟ChatGPT/GPT-4趋势，收录了最新的公开数据集。
不足之处
- 项目维护活跃度待观察，部分链接可能失效。
- 文档/社区待观察。
适用场景
- 研究者寻找用于指令微调的数据集。
- 开发者想训练自己的对话模型但不知从何找数据。
- 需要对比不同数据集特点以选择训练资源。
替代项目
datasets、awesome-llm-datasets、Hugging Face Datasets
上一篇：sodaverse
下一篇：MagicBrush
同类项目推荐
Awesome-Data-Efficient-LLM
开源
一份论文清单，帮你快速掌握LLM数据高效利用的核心方法
A list of data-efficient and data-centric LLM (Large Language Model) papers. Our Sur···
DataProfiler
开源
快速摸清数据底细，自动识别敏感信息
What's in your data? Extract schema, statistics and entities from datasets
fastdup
开源
快速扫描海量图像视频，自动揪出重复、异常和标签错误
fastdup is a powerful, free tool designed to rapidly generate valuable insights from···
freshqa
开源
测测你的AI模型，能否答对最新鲜的问题
Data and code for FreshLLMs (https://arxiv.org/abs/2310.03214)
chess-openings
开源
统一各平台开局名称，直接拿来标注棋谱
An aggregated data set of chess opening names
Cosmos-Drive-Dreams
开源
用世界模型生成海量驾驶视频，低成本覆盖极端场景
Cosmos-Drive-Dreams: Scalable Synthetic Driving Data Generation with World Foundatio···
nepali-datasets
开源
尼泊尔语AI数据一页找齐，省去全网翻找
A comprehensive, curated collection of Nepali datasets aggregated from community sou···
labelme
开源
手动图像标注，快速生成训练数据集
Image annotation with Python. Supports polygon, rectangle, circle, line, point, and ···
split-folders
开源
一行命令把图片文件夹拆成训练验证测试集
Split folders with files (i.e. images) into training, validation and test (dataset) ···