
Dialog_Corpus
拿来即用的中英文对话语料,快速训练你的聊天机器人
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2058
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- Python 环境(项目以 Python 为主)
- 能访问 GitHub 等原始语料仓库的网络环境
- 足够的本地磁盘空间存放对话语料文件
安装与启动步骤
-
1获取项目仓库
README 本身未给出安装命令,仅提供项目地址;可用 git clone 把仓库拉到本地再查看语料清单与备份文件。
git clone https://github.com/candlewill/Dialog_Corpus.git -
2浏览公开语料清单
打开 README 的“公开语料”章节,逐个查看 8 个数据源说明,按中英文、场景、规模挑选需要的语料。
-
3下载所需语料
点击 README 中每条语料的原始地址手动下载,例如小黄鸡的分词与未分词两个 zip、白鹭问答语料备份等。
-
4解压并整理数据
把下载的压缩包解压到同一目录,README 提到项目附带数据预处理工具,可用于统一格式与清洗噪声。
-
5接入训练流程
按统一格式组织后的语料可直接读入现有 NLP 流程,用于聊天机器人模型训练或原型验证。
如何确认成功
README 未提供启动命令,可确认语料压缩包下载完整并能被本地 Python 脚本正常读取。
常见问题
Q:README 里为什么没有安装命令?
A:该项目主要是语料与数据集的收集整理仓库,README 只列出公开语料来源链接,未提供 pip 安装或运行脚本说明。
Q:有哪些中文语料可用?
A:包括 dgk_shooter 电影对白、ChatterBot 中文语料、小黄鸡语料、白鹭时代中文问答语料和保险行业 QA 语料库等。
Q:哪里能拿到英文对话语料?
A:NUS SMS Corpus 含中英文短信;Datasets for Natural Language Processing 主要包含英文问答与对话系统数据。
Q:README 里的“未公开”部分是什么?
A:README 最后以“### 未公开”结尾但未给出任何内容,因此无法得知其具体语料信息。
Q:中文字幕类语料质量如何?
A:README 明确提示 dgk_shooter 中文电影对白语料噪音较大,许多对白问答关系没有对应好,使用前需清洗。
注意事项
- README 未给出安装、训练或启动命令,本教程仅依据其语料清单整理通用准备流程。
- 所有语料均来自网络第三方仓库,使用前请自行确认各来源的许可与版权要求。
- 白鹭时代中文问答语料在 README 中提供了仓库内备份文件,其余语料需到原始地址下载。
核心亮点
- 汇集多来源中英文对话数据,省去自行爬取和清洗的麻烦
- 提供统一格式与加载脚本,降低数据预处理门槛
- 项目结构清晰,文档说明完整,适合快速上手
不足之处
- 数据规模相对有限,可能不足以支撑大规模模型训练
- 文档/社区待观察
适用场景
- 学术研究中验证对话模型效果
- 创业公司快速搭建聊天机器人原型
- 教学演示中讲解对话系统原理
替代项目
ConvAI、PersonaChat、DailyDialog
同类项目推荐
awesome-lifelong-learning-method···
开源
一站式找到LLM终身学习论文和资源,紧跟前沿。
[ACM Computing Surveys 2025] This repository collects awesome survey, resource, and ···
PolData
开源
政治学数据一站查,省去到处找数据
A dataset with political datasets
Mol-Instructions
开源
用大规模指令数据,让大模型精通生物分子任务
[ICLR 2024] Mol-Instructions: A Large-Scale Biomolecular Instruction Dataset for Lar···
mimesis
开源
生成逼真多语言假数据,测试开发快人一步
Mimesis is a Python library for generating fake but realistic data in multiple langu···
dataset
开源
给摩洛哥口语配英语翻译,低资源翻译有数据可用
darija <-> english dataset
plurel
开源
一键生成逼真表格与关系数据,保护隐私加速开发
A synthetic tabular and relational data generation framework
LLM-PuzzleTest
开源
用多模态谜题测出大模型推理短板
This repository is maintained to release dataset and models for multimodal puzzle re···
leaked-system-prompts
开源
看穿AI产品背后的系统指令,学习提示词设计。
Collection of leaked system prompts
sd-tagtool
开源
拖拽整理SD训练标签,数据干净训练快
A stable diffusion training dataset tag editor.