sdg_hub

用流水线批量造 LLM 训练数据,省去手写脚本

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数据集 🍴 复刻 64 🐛 待处理 43 👀 关注 14
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 169
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费工具包,定价信息待确认

项目预览

sdg_hub 项目界面预览图
图片来源:项目官网

项目数据

分类数据集
开发团队Red-Hat-AI-Innovation-Team
定价模式🏷️完全免费
价格说明开源免费工具包,定价信息待确认
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai-agents,model-customization,synthetic-dataset-generation
GitHub 星标★ 169
上线时间2024-11-12 00:00:00
代码更新2026-10-29
仓库体积12.4 MB
本站数据更新2026-11-04
维护状态活跃
收录时间2026-09-12
浏览次数1

项目介绍

sdg_hub 是一个面向大语言模型的合成数据生成工具包,目标是帮助开发者低成本、可复现地构造高质量训练与微调数据集。它把合成数据流程拆解为可组合的模块,覆盖种子数据准备、提示模板管理、批量调用模型生成、结果清洗与去重、质量过滤等环节,并可与模型定制、AI Agent 工作流配合使用。相比自己写脚本拼接,它提供了更统一的配置方式和流水线抽象,方便把同一套生成逻辑迁移到不同模型或不同领域任务上。项目用 Python 实现,适合需要为指令微调、领域适配或评测集扩充准备数据的团队,尤其适合在数据稀缺或隐私受限、无法直接使用真实语料的场景下快速搭建合成数据管线。目前星标数不高,属于早期项目,接口和文档仍在演进中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-12 · 当前星标 ★ 169

核心亮点

  • 把合成数据流程模块化,提示模板、生成、清洗、过滤可组合复用
  • 面向 LLM 微调与模型定制场景,与 ai-agents 工作流衔接自然
  • Python 实现,便于二次开发和接入自有模型或推理服务

不足之处

  • 项目处于早期,API 与文档可能频繁变动
  • 社区规模小,示例和最佳实践积累有限

适用场景

  • 为指令微调模型批量生成领域问答对
  • 在真实数据受限时构造评测集或冷启动语料
  • 结合 Agent 流水线自动扩充和清洗训练数据

替代项目

distilabel、DataDreamer、self-instruct

上一篇:synthetic-data-examples

下一篇:GraphGen

同类项目推荐

DPSDA 开源

不训练模型,也能生成高质量差分隐私合成数据

Private Evolution: Generating DP Synthetic Data without Model Training [ICML 2026, I···

★ 120 2026-08-09
Anime-Face-Dataset 开源

下载即用,快速训练动漫人脸生成模型

A collection of high-quality anime faces.

★ 434 2026-08-09
vietnamese-provinces-database 开源

一键获取越南省县乡数据,快速构建本地化地图应用。

Comprehensive SQL and GIS datasets for Vietnamese administrative units, including pr···

★ 1852 2026-08-10
Awesome-Nano-Banana-images 开源

看别人用 Nano Banana 玩出什么花样,顺手下 15 万一致性数据

A curated collection of fun and creative examples generated with Nano Banana & Nano ···

★ 23999 2026-09-16
X-AnyLabeling 开源

一站式AI辅助标注,图像视频文本通吃,导出格式随心配

X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···

★ 10878 2026-08-10
CVPR2024-Papers-with-Code-Demo 开源

看CVPR 2024论文,一键直达代码和Demo,跟上前沿不费力。

收集 CVPR 最新的成果,包括论文、代码和demo视频等,欢迎大家推荐!Collect the latest C···

★ 1411 2026-08-09
compliance-checker 开源

一键扫描数据集,快速发现合规风险

Python tool to check your datasets against compliance standards

★ 133 2026-09-21
datumaro 开源

一个工具搞定 CV 数据集格式转换与质量检查

Dataset Management Framework, a Python library and a CLI tool to build, analyze and ···

★ 697 2026-08-10