synthetic-data-kit

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• Python 运行环境（README 未标注具体版本）
• 可用的 LLM 后端：本地 vLLM 服务或外部 API 端点
• YAML 配置文件（默认 configs/config.yaml）
• 使用 API 端点时需准备 api_key（如 llama-api-key）

安装与启动步骤

1. 1获取项目源码

   从 GitHub 拉取仓库并进入项目目录；README 的 Installation 小节为空，此处为通用准备动作。

   git clone https://github.com/meta-llama/synthetic-data-kit.git
   cd synthetic-data-kit

   复制

2. 2配置 LLM 后端

   编辑默认配置 configs/config.yaml，把 llm.provider 设为 vllm 或 api-endpoint，并填好对应地址与模型名。

3. 3检查后端连通性

   运行内置检查命令，确认配置的 LLM 后端可以正常访问，避免后续生成任务失败。

   synthetic-data-kit system-check

   复制

4. 4导入原始数据

   用 ingest 命令导入文件或整个目录，支持多种文件格式（README 示例为 PDF）。

   synthetic-data-kit ingest docs/paper.pdf

   复制

5. 5生成合成数据

   用 create 命令生成 QA 对、带 CoT 的 QA 对或 summary 格式；具体参数 README 未给出，请按需查阅项目文档。

   synthetic-data-kit create

   复制

6. 6筛选高质量样本

   用 curate 命令以 Llama 作为裁判筛选高质量样本，阈值由 curate.threshold 控制（示例为 7.0）。

   synthetic-data-kit curate

   复制

7. 7导出微调格式

   用 save-as 命令把结果保存为你的微调框架支持的格式；可选格式 README 未逐一列出。

   synthetic-data-kit save-as

   复制

8. 8使用自定义配置

   创建覆盖用的 YAML 文件，通过 -c 参数指定，即可在不改默认配置的情况下切换后端或参数。

   synthetic-data-kit -c my_config.yaml ingest docs/paper.pdf

   复制

关键配置

如何确认成功

执行 synthetic-data-kit system-check，命令无报错即表示配置的 LLM 后端可正常连通。

常见问题

注意事项

• README 节选缺少安装步骤与各命令的参数说明，实际执行前请先查看完整 README。
• 本教程中的 create、curate、save-as 命令仅给出了命令名，参数需自行按项目文档补全。
• vllm.api_base、api_key 等值请替换为你自己的真实地址与密钥，示例值不可直接用于生产。