Dialog_Corpus

拿来即用的中英文对话语料,快速训练你的聊天机器人

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 484 🐛 待处理 2 👀 关注 83
GitHub ↗
GitHub 星标 ★ 2058
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源语料库,完全免费,可自行下载使用。

项目预览

Dialog_Corpus 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队candlewill
定价模式🏷️完全免费
价格说明开源语料库,完全免费,可自行下载使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型chatbot,corpus,dataset,dialog,system
GitHub 星标★ 2058
上线时间2017-03-14 00:00:00
代码更新2020-09-23
仓库体积99.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

Dialog_Corpus 是一个面向中英文对话系统训练的开源语料库项目,旨在解决聊天机器人开发中高质量对话数据稀缺的问题。项目收集并整理了多种来源的对话数据,涵盖日常闲聊、问答、任务型对话等场景,并提供了统一的格式和加载脚本,方便研究者与开发者直接用于训练模型。其核心能力包括:提供结构化的中英文对话数据集、支持多种数据格式转换、附带简单的数据预处理工具,以及清晰的文档说明。项目以 Python 为主,易于集成到现有 NLP 流程中,适合学术研究、产品原型验证以及教学演示等场景。通过降低数据获取与清洗成本,它帮助开发者快速启动对话系统项目,是构建中文聊天机器人的实用资源库。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2058

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:入门 约 10 分钟 部署方式:库/依赖 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(项目以 Python 为主)
  • 能访问 GitHub 等原始语料仓库的网络环境
  • 足够的本地磁盘空间存放对话语料文件

安装与启动步骤

  1. 1获取项目仓库

    README 本身未给出安装命令,仅提供项目地址;可用 git clone 把仓库拉到本地再查看语料清单与备份文件。

    git clone https://github.com/candlewill/Dialog_Corpus.git
  2. 2浏览公开语料清单

    打开 README 的“公开语料”章节,逐个查看 8 个数据源说明,按中英文、场景、规模挑选需要的语料。

  3. 3下载所需语料

    点击 README 中每条语料的原始地址手动下载,例如小黄鸡的分词与未分词两个 zip、白鹭问答语料备份等。

  4. 4解压并整理数据

    把下载的压缩包解压到同一目录,README 提到项目附带数据预处理工具,可用于统一格式与清洗噪声。

  5. 5接入训练流程

    按统一格式组织后的语料可直接读入现有 NLP 流程,用于聊天机器人模型训练或原型验证。

如何确认成功

README 未提供启动命令,可确认语料压缩包下载完整并能被本地 Python 脚本正常读取。

常见问题

Q:README 里为什么没有安装命令?

A:该项目主要是语料与数据集的收集整理仓库,README 只列出公开语料来源链接,未提供 pip 安装或运行脚本说明。

Q:有哪些中文语料可用?

A:包括 dgk_shooter 电影对白、ChatterBot 中文语料、小黄鸡语料、白鹭时代中文问答语料和保险行业 QA 语料库等。

Q:哪里能拿到英文对话语料?

A:NUS SMS Corpus 含中英文短信;Datasets for Natural Language Processing 主要包含英文问答与对话系统数据。

Q:README 里的“未公开”部分是什么?

A:README 最后以“### 未公开”结尾但未给出任何内容,因此无法得知其具体语料信息。

Q:中文字幕类语料质量如何?

A:README 明确提示 dgk_shooter 中文电影对白语料噪音较大,许多对白问答关系没有对应好,使用前需清洗。

注意事项

  • README 未给出安装、训练或启动命令,本教程仅依据其语料清单整理通用准备流程。
  • 所有语料均来自网络第三方仓库,使用前请自行确认各来源的许可与版权要求。
  • 白鹭时代中文问答语料在 README 中提供了仓库内备份文件,其余语料需到原始地址下载。

核心亮点

  • 汇集多来源中英文对话数据,省去自行爬取和清洗的麻烦
  • 提供统一格式与加载脚本,降低数据预处理门槛
  • 项目结构清晰,文档说明完整,适合快速上手

不足之处

  • 数据规模相对有限,可能不足以支撑大规模模型训练
  • 文档/社区待观察

适用场景

  • 学术研究中验证对话模型效果
  • 创业公司快速搭建聊天机器人原型
  • 教学演示中讲解对话系统原理

替代项目

ConvAI、PersonaChat、DailyDialog

同类项目推荐

PolData 开源

政治学数据一站查,省去到处找数据

A dataset with political datasets

★ 768 2026-11-02
Mol-Instructions 开源

用大规模指令数据,让大模型精通生物分子任务

[ICLR 2024] Mol-Instructions: A Large-Scale Biomolecular Instruction Dataset for Lar···

★ 295 2026-08-09
mimesis 开源

生成逼真多语言假数据,测试开发快人一步

Mimesis is a Python library for generating fake but realistic data in multiple langu···

★ 4866 2026-08-10
dataset 开源

给摩洛哥口语配英语翻译,低资源翻译有数据可用

darija <-> english dataset

★ 382 2026-09-21
plurel 开源

一键生成逼真表格与关系数据,保护隐私加速开发

A synthetic tabular and relational data generation framework

★ 88 2026-08-09
LLM-PuzzleTest 开源

用多模态谜题测出大模型推理短板

This repository is maintained to release dataset and models for multimodal puzzle re···

★ 122 2026-08-09
leaked-system-prompts 开源

看穿AI产品背后的系统指令,学习提示词设计。

Collection of leaked system prompts

★ 15014 2026-08-09
sd-tagtool 开源

拖拽整理SD训练标签,数据干净训练快

A stable diffusion training dataset tag editor.

★ 71 2026-08-09