MuTual

用真实听力题考倒聊天机器人,测出多轮对话推理真功夫

MuTual 是一个用于多轮对话推理的中文数据集,由清华大学和微软亚洲研究院联合发布。它旨在评估和提升对话系统在多轮交互中的理解与推理能力,尤其是对指代消解、省略恢复、逻辑连贯性等复杂语言现象的把握。该数据集基于中国中学英语听力测试题构建,包含 8800 多组多轮对话,每组对话有四个候选回复,其中只有一个是最优的。MuTual 不仅提供了原始数据,还附带基准模型和评估脚本,方便研究者复现和对比。它解决了传统对话数据集侧重单轮或生成质量而忽视深层推理的问题,为对话式 AI 的评测提供了更具挑战性的标准,推动了多轮对话理解技术的发展。

开源 free 对话助手
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 334
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类对话助手
开发团队Nealcly
所属国家
定价模式free
价格说明开源数据集,完全免费,无付费版本。
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型chatbot,dataset
GitHub 星标★ 334
30天Star增速
HF 下载量
上线时间2020-04-05 00:00:00
最近更新2026-09-14 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数7

使用教程

核心亮点

  • 数据来自真实英语听力考试,对话自然且推理难度高,能有效区分模型能力
  • 提供多种基准模型(如 BERT、GPT)的完整评测代码,开箱即用
  • 任务设计明确(四选一回复选择),便于客观评估和横向对比

不足之处

  • 数据规模相对较小(约 8.8k 对话),可能限制大模型训练效果
  • 基于听力题改编,场景偏教育领域,泛化到开放域对话有一定局限

适用场景

  • 学术研究:评估多轮对话推理模型的性能基准
  • 对话系统开发:训练或微调模型以提升多轮理解能力
  • 教育科技:用于构建智能英语听力辅导或对话练习工具

替代项目

PersonaChat、CoQA、QuAC

项目介绍

MuTual 是数据集领域的开源项目,由 Nealcly 开发,2020 年首次发布。

它收录于数据集分类,该分类目前共有 279 个项目,GitHub 星标数为 334。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-14。开源数据集,完全免费,无付费版本。

它主要面向的使用场景是:学术研究:评估多轮对话推理模型的性能基准。同类可对比的替代方案包括 PersonaChat、CoQA、QuAC。

上一篇:Chatito

下一篇:Chatette

同类项目推荐

X-AnyLabeling 开源

一站式AI辅助标注,图像视频文本通吃,导出格式随心配

X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···

★ 10528 2026-08-10
aisheets 开源

像用表格一样批量调 AI,不写代码就能造和改数据集

Build, enrich, and transform datasets using AI models with no code

★ 1645 2026-09-20
distilabel 开源

基于论文的合成数据流水线,快速生成高质量 AI 反馈数据。

Distilabel is a framework for synthetic data and AI feedback for engineers who need ···

★ 3398 2026-08-10
DataGen 开源

用大模型一键生成定制化训练数据,告别数据荒

[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models

★ 69 2026-08-09