MuTual

用真实听力题考倒聊天机器人，测出多轮对话推理真功夫

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 对话助手 🍴 复刻 40 🐛 待处理 4 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 334
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源数据集，完全免费，无付费版本。

项目预览

MuTual 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类对话助手
开发团队Nealcly
官网地址https://nealcly.github.io/MuTual-leaderboard
GitHubhttps://github.com/Nealcly/MuTual
定价模式🏷️完全免费
价格说明开源数据集，完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型chatbot,dataset
GitHub 星标★ 334
上线时间2020-04-05 00:00:00
代码更新2020-10-07
仓库体积7.8 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

MuTual 是一个用于多轮对话推理的中文数据集，由清华大学和微软亚洲研究院联合发布。它旨在评估和提升对话系统在多轮交互中的理解与推理能力，尤其是对指代消解、省略恢复、逻辑连贯性等复杂语言现象的把握。该数据集基于中国中学英语听力测试题构建，包含 8800 多组多轮对话，每组对话有四个候选回复，其中只有一个是最优的。MuTual 不仅提供了原始数据，还附带基准模型和评估脚本，方便研究者复现和对比。它解决了传统对话数据集侧重单轮或生成质量而忽视深层推理的问题，为对话式 AI 的评测提供了更具挑战性的标准，推动了多轮对话理解技术的发展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 334

技术标签

核心亮点

  • 数据来自真实英语听力考试，对话自然且推理难度高，能有效区分模型能力
  • 提供多种基准模型（如 BERT、GPT）的完整评测代码，开箱即用
  • 任务设计明确（四选一回复选择），便于客观评估和横向对比

不足之处

  • 数据规模相对较小（约 8.8k 对话），可能限制大模型训练效果
  • 基于听力题改编，场景偏教育领域，泛化到开放域对话有一定局限

适用场景

  • 学术研究：评估多轮对话推理模型的性能基准
  • 对话系统开发：训练或微调模型以提升多轮理解能力
  • 教育科技：用于构建智能英语听力辅导或对话练习工具

替代项目

PersonaChat、CoQA、QuAC

上一篇：Chatito

下一篇：Chatette

同类项目推荐

Awesome-LLM4RS-Papers 开源

一页看懂LLM+推荐系统论文全景，紧跟前沿不迷路

Large Language Model-enhanced Recommender System Papers

★ 766 2026-08-09
SynLogic 开源

大规模合成可验证推理数据，让模型逻辑更聪明

[NeurIPS 2025] The official repo of SynLogic: Synthesizing Verifiable Reasoning Data···

★ 211 2026-08-09
anime-offline-database 开源

一份JSON搞定动漫元数据，跨站引用直接查

A JSON based anime dataset containing the most important meta data as well as cross ···

★ 1328 2026-08-10
Awesome-Multi-Token-Prediction 开源

一次预测多个词，让大模型推理更快更省

A curated list of papers, tools, and resources on Multi-Token Prediction (MTP) and r···

★ 213 2026-09-15
llm4ea_official 开源

用大模型自动标注，低成本搞定知识图谱实体对齐

[NeurIPS‘24] LLM4EA: Entity Alignment with Noisy Annotations from Large Language Mo···

★ 64 2026-08-09
dataset-viewer 开源

不下载数据集，网页直接看样本和统计

Backend that powers the dataset viewer on Hugging Face dataset pages through a publi···

★ 908 2026-09-21
DailyTalk 开源

让 TTS 学会对话，生成自然多轮语音

Official repository of DailyTalk: Spoken Dialogue Dataset for Conversational Text-to···

★ 262 2026-08-09
GVINS-Dataset 开源

给机器人一套同步的相机+IMU+GNSS数据，做户外定位不漂移

A dataset containing synchronized visual, inertial and GNSS raw measurements.

★ 266 2026-09-21
gpic 开源

构建合规高质量图像语料，助力视觉生成模型训练

Official Code for GPIC: A Giant Permissive Image Corpus for Visual Generation

★ 62 2026-08-09