项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-09-12 · 当前星标 ★ 1238
使用教程
环境要求
- Python 环境(README 未指定具体版本)
- uv 包管理工具,用于 uv pip install graphg
- 可访问的 LLM 服务及 API Key(synthesizer 与 trainee 各一套)
- 源码运行需可执行 bash 脚本的类 Unix 环境
- 可选:Docker,用于容器方式部署
安装与启动步骤
-
1安装 GraphGen
通过 PyPI 安装官方发布的 graphg 包,安装后即可使用 graphg 命令行。
uv pip install graphg -
2复制环境变量模板
从源码运行时,在项目根目录生成 .env 文件,后续所有模型配置都写在这里。
cp .env.example .env -
3填写 .env 配置
按所选后端填写 synthesizer(建图与造数据)和 trainee(训练用)模型、地址与密钥。
-
4调整生成参数
可选。在 examples 下的 YAML 中改 working_dir、graph_backend、kv_backend 和输入文件路径。
-
5运行生成脚本
按需要的格式选择对应脚本,例如 cot 生成思维链问答对,其余格式见 README 表格。
bash examples/generate/generate_cot_qa/generate_cot.sh -
6查看生成结果
生成的问答数据默认写入 cache/output 目录,用 ls 确认文件已产出。
ls cache/output -
7CLI 直接运行
不克隆源码时,可用环境变量加 graphg 命令直接跑,输出目录由 --output_dir 指定。
SYNTHESIZER_MODEL=your_synthesizer_model_name \ SYNTHESIZER_BASE_URL=your_base_url_for_synthesizer_model \ SYNTHESIZER_API_KEY=your_api_key_for_synthesizer_model \ TRAINEE_MODEL=your_trainee_model_name \ TRAINEE_BASE_URL=your_base_url_for_trainee_model \ TRAINEE_API_KEY=your_api_key_for_trainee_model \ graphg --output_dir cache -
8Docker 方式运行
先构建镜像,再以 7860 端口启动容器,浏览器访问该端口使用界面。
docker build -t graphgen . docker run -p 7860:7860 graphgen
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
SYNTHESIZER_BACKEND | 是 | 合成模型后端,用于构建知识图谱与生成数据 | openai_api |
SYNTHESIZER_MODEL | 是 | 合成模型名称,Azure 时填部署名 | gpt-4o-mini |
SYNTHESIZER_BASE_URL | 是 | 合成模型的接口地址 | https://api.openai.com/v1 |
SYNTHESIZER_API_KEY | 是 | 合成模型的调用密钥 | sk-xxxxxxxx |
TRAINEE_BACKEND | 是 | 训练侧模型后端 | openai_api |
TRAINEE_MODEL | 是 | 训练侧模型名称 | gpt-4o-mini |
如何确认成功
执行 ls cache/output 能看到生成的问答数据文件;Docker 方式可打开 http://localhost:7860 界面。
常见问题
Q:支持哪些模型后端?
A:SYNTHESIZER_BACKEND 支持 http_api、openai_api、ollama_api、ollama、huggingface、tgi、sglang、tensorrt;README 示例还给出 azure_openai_api 与 vllm 配置。
Q:为什么 ollama_api 不能配 trainee?
A:README 明确说明 ollama_api 不支持 logprobs,因此 TRAINEE 暂不支持该后端,需换成其他后端。
Q:有现成的在线体验吗?
A:可以,README 提供 Huggingface Space 与 Modelscope Studio 两个在线 Demo,无需本地部署即可试用。
Q:生成不同题型要改什么?
A:不用改代码,按 README 表格换成对应脚本即可,例如 atomic、multi-hop、vqa、multi_choice、fill_in_blank 等。
Q:输出数据在哪里?
A:默认写在 cache/output,可在 config.yaml 的 working_dir 或 CLI 的 --output_dir 中修改。
注意事项
- 除已列配置外,.env 还需填写 TRAINEE_BASE_URL、TRAINEE_API_KEY 以及 TOKENIZER_MODEL。
- 从源码运行时才需要 cp .env.example .env;PyPI 的 graphg CLI 直接通过命令行环境变量传参。
- README 未给出 Python 版本要求和 git clone 命令,请自行准备源码目录。
- 生成的数据可对接 LLaMA-Factory 等框架直接用于监督微调。
核心亮点
- 以知识图谱为骨架采样生成数据,事实覆盖更全、重复更少
- 打通从知识抽取到 SFT 数据集输出的完整流水线,可直接对接 LLaMA-Factory
- 支持领域知识注入,适合垂直行业低成本构造训练数据
不足之处
- 依赖知识抽取和图谱构建质量,上游噪声会传导到合成数据
- 项目较新,文档与社区生态仍在完善中
适用场景
- 为垂直领域模型构造监督微调数据集
- 在缺少人工标注时快速扩充指令跟随训练样本
- 基于企业知识库生成问答对用于模型知识注入
替代项目
Easy Dataset、Distilabel、Self-Instruct
上一篇:sdg_hub
下一篇:RSIBench-Data
同类项目推荐
Awesome-Data-Efficient-LLM
开源
一份论文清单,帮你快速掌握LLM数据高效利用的核心方法
A list of data-efficient and data-centric LLM (Large Language Model) papers. Our Sur···
datasets
开源
一条命令批量下载 NCBI 基因组数据,省去手动检索。
NCBI Datasets is a new resource that lets you easily gather data from across NCBI da···
vietnamese-provinces-database
开源
一键获取越南省县乡数据,快速构建本地化地图应用。
Comprehensive SQL and GIS datasets for Vietnamese administrative units, including pr···
StarryDivineSky
开源
一个仓库逛遍 10K+ 精选开源项目,快速找到你要的轮子。
精选了10K+项目,包括机器学习、深度学习、NLP、GNN、推荐系统、生物医药、机器视觉、前后···
synthetic-data-examples
开源
跑通几个 Notebook,快速学会生成合成数据
Synthetic Data Generation Examples
datasets
开源
100+免费数据集一站索引,找数据不再到处翻
A compilation of 125+ free datasets for use in social science, applied microeconomic···
mirdata
开源
统一加载校验MIR数据集,省去重复解析代码
Python library for working with Music Information Retrieval datasets
HumanArt
开源
一个数据集,让AI看懂真实与虚构世界的各种人类姿态
[CVPR 2023] The official implementation of CVPR 2023 paper "Human-Art: A Versatile H···
Shot2Story
开源
多镜头视频理解基准,让AI看懂镜头叙事
A new multi-shot video understanding benchmark Shot2Story with comprehensive video s···
