DataGen

用大模型一键生成定制化训练数据,告别数据荒

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 4 🐛 待处理 1 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 69
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,可自行部署使用,完全免费。

项目预览

DataGen 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队HowieHwong
定价模式🏷️完全免费
价格说明开源项目,可自行部署使用,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型benchmark,dataset,dataset-generation,large-language-models,llm,synthetic-data,toolkit
GitHub 星标★ 69
上线时间2024-05-26 00:00:00
代码更新2025-03-08
仓库体积14.9 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数18

项目介绍

DataGen 是一个基于大型语言模型(LLM)的统一合成数据集生成框架,相关论文已被 ICLR 2025 接收。它旨在解决真实数据获取成本高、隐私受限以及特定场景数据稀缺的问题,通过 LLM 自动生成高质量、多样化的合成数据,以支持下游模型训练、评估和微调。其核心能力包括:支持多种数据模态和任务类型的统一生成流程,提供可配置的生成策略以控制数据分布和难度,并集成数据过滤与质量评估机制,确保生成数据的可用性。项目目前处于早期阶段,代码库以 Python 为主,提供了简洁的 API 接口和示例脚本,便于研究者快速上手。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 69

核心亮点

  • 统一框架覆盖分类、生成、问答等多任务,减少重复开发
  • 基于 ICLR 论文,生成策略有理论支撑,质量有保障
  • 提供可配置参数,能按需调整数据难度和多样性

不足之处

  • 文档/社区待观察
  • 项目处于早期,API 和功能可能不够稳定

适用场景

  • 为垂直领域模型微调生成训练样本
  • 在隐私敏感场景下替代真实数据用于评估
  • 快速扩充小样本数据集以提升模型泛化能力

替代项目

DataDreamer、Self-Instruct、LangChain Data Generator

上一篇:MathPile

下一篇:LLM-PuzzleTest

同类项目推荐

OpusFilter 开源

配置式过滤平行语料,快速清洗出高质量句对

OpusFilter - Parallel corpus processing toolkit

★ 116 2026-09-11
Awesome_Think_With_Images 开源

一页看全“用图像思考”的多模态推理论文地图

Resources and paper list for "Thinking with Images for LVLMs". This repository accom···

★ 1519 2026-10-23
OakInk2 开源

做双手操作AI?用OakInk2数据集训练更逼真的手物交互模型。

[CVPR 2024] OakInk2: A Dataset of Bimanual Hands-Object Manipulation in Complex Task···

★ 114 2026-08-09
OntoAligner 开源

上传两个本体,一键生成语义映射关系。

OntoAligner: A Python Toolkit for Ontology Alignment https://pypi.org/project/OntoAl···

★ 99 2026-08-09
awesome-NLP-resources 开源

一站式收藏NLP项目,告别东搜西找

a collection of NLP projects&tools. 自然语言处理方向项目和工具集合。

★ 240 2026-08-09
HDI-Dataset 开源

用高密度路口数据,训练更懂混行交通的感知模型

High Density Intersection Dataset (HDI)

★ 216 2026-09-21
LLM-PuzzleTest 开源

用多模态谜题测出大模型推理短板

This repository is maintained to release dataset and models for multimodal puzzle re···

★ 122 2026-08-09
mimesis 开源

生成逼真多语言假数据,测试开发快人一步

Mimesis is a Python library for generating fake but realistic data in multiple langu···

★ 4865 2026-08-10