MELD

拿《老友记》训练AI，学会在多模态对话中读懂情绪

MELD是一个用于对话情感识别的多模态多说话人数据集，由南洋理工大学等机构发布，包含从美剧《老友记》中提取的约1400段对话和13000多个话语，每个话语标注了情感类别（如愤怒、喜悦、悲伤等）和情绪极性（正面、负面、中性）。该数据集同时提供文本、音频和视频三种模态，旨在推动对话系统中情感理解的研究。它解决了传统情感数据集仅关注单模态或单说话人的局限，为构建更自然的对话AI提供了基准。核心能力包括：支持多模态融合的情感识别、提供说话人依赖的上下文建模、以及标准化的训练/验证/测试划分，便于模型评估。MELD被广泛用于对话情感分析、多模态学习和人机交互研究，是情感计算领域的重要资源。

开源 free 对话助手

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1088

维护状态低维护

是否开源是

定价模式 free

项目数据

分类对话助手

开发团队declare-lab

所属国家

官网地址

GitHubhttps://github.com/declare-lab/MELD

定价模式free

价格说明开源数据集，GPL-3.0许可，完全免费，可自行下载使用。

访问状态

是否开源是

开源协议GPL-3.0

主要语言Python

技术栈/模型chatbot,conversational-ai,dialogue,dialogue-systems,emotion,emotion-detection,emotion-recognition,emotion-recognition-in-conversation,multimodal-emotion-recognition,multimodal-interactions,multimodal-sentiment-analysis,personality-profiling,personality-traits,sentiment-analysis

GitHub 星标★ 1088

30天Star增速

HF 下载量

上线时间2018-09-29 00:00:00

最近更新2026-09-23 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

难度：进阶约 30 分钟部署方式：本地安装 6 步

环境要求

Python 环境（README 未指定版本）
从 README 指定链接下载 MELD.Features.Models.tar.gz 特征文件
用于存放特征的目录 ./data/pickles/
用于存放预训练模型的目录 ./data/models/
从 HuggingFace 下载 MELD 原始数据集（https://huggingface.co/datasets/declare-lab/MELD）

安装与启动步骤

1下载特征文件

用 README 给出的官方链接下载特征与模型压缩包，文件较大建议用 wget 断点续传。
```
wget http://web.eecs.umich.edu/~mihalcea/downloads/MELD.Features.Models.tar.gz
```
2放置特征到目录

解压后按 README 要求把特征放到 ./data/pickles/，目录不存在需先创建。
```
mkdir -p ./data/pickles
tar -xzf MELD.Features.Models.tar.gz -C ./data/pickles/
```
3查看可用参数

先执行帮助命令，确认 classify、modality 等参数写法，避免参数拼错。
```
python baseline.py -h
```
4训练文本情感基线

按 README 示例训练单模态文本情感分类，训练过程会读取 pickles 里的特征。
```
cd baseline && python baseline.py -classify Sentiment -modality text -train
```
5测试情感识别基线

切换 classify 为 Emotion 跑测试，验证训练产物与数据划分是否正常。
```
cd baseline && python baseline.py -classify Emotion -modality text -test
```
6使用预训练模型

下载同一压缩包中的模型权重，把 pickle 文件放入 ./data/models/ 后可直接测试。
```
mkdir -p ./data/models
cp ./data/pickles/*.pkl ./data/models/
```

关键配置

配置项	必填	说明	示例
`-classify`	是	指定任务类型，情感或情绪分类	`Sentiment`
`-modality`	是	指定输入模态，README 支持 text、audio、bimodal	`text`
`-train / -test`	是	切换训练或测试模式，二者择一	`-train`

如何确认成功

命令行不再报错并输出训练/测试日志与评估结果，即表示基线与特征加载成功。

常见问题

Q：特征文件应该放在哪个目录？

A：README 要求将下载的特征复制到 ./data/pickles/，预训练模型的 pickle 文件则放到 ./data/models/。

Q：数据集在哪里下载？

A：README 指向 HuggingFace：https://huggingface.co/datasets/declare-lab/MELD，直接在该页面下载即可。

Q：支持哪些模态组合？

A：命令行 -modality 参数支持 text、audio、bimodal 三种写法。

Q：想跑更新的基线怎么办？

A：README 推荐访问 conv-emotion 仓库，其中有 COSMIC 等改进基线的代码。

注意事项

特征与预训练模型来自同一个压缩包 MELD.Features.Models.tar.gz，下载一次即可。
README 未说明具体 Python 版本和依赖包，建议先自行准备可运行 baseline.py 的环境。
如需视觉特征，README 指向 declare-lab/MM-Align 中基于 Resnet 提取的结果。
Dyadic MELD 与基线更新信息以 README 的 Updates 章节为准。

核心亮点

多模态覆盖：同时提供文本、音频、视频，支持跨模态情感分析研究
真实对话场景：基于电视剧对话，包含多说话人交互和自然情感表达
标准化评估：官方划分训练/验证/测试集，便于横向对比模型性能

不足之处

数据来源单一：仅来自一部美剧，风格和场景局限可能影响泛化性
标注成本高：人工标注情感标签，规模有限（约13000句）

适用场景

学术研究：情感识别、多模态融合、对话建模等方向的基准测试
人机交互：训练对话助手理解用户情绪，提升响应同理心
影视分析：自动分析影视剧中的角色情感动态

替代项目

IEMOCAP、CMU-MOSEI、EmoryNLP

项目介绍

MELD 是数据集领域的开源项目，由 declare-lab 开发，2018 年首次发布。

在全站 13,014 个收录项目中，它的 GitHub 星标数（1,088）位列前 30%，在数据集分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-23。开源数据集，GPL-3.0许可，完全免费，可自行下载使用。

它主要面向的使用场景是：学术研究：情感识别、多模态融合、对话建模等方向的基准测试。同类可对比的替代方案包括 IEMOCAP、CMU-MOSEI、EmoryNLP。

上一篇：chatgpt-comparison-detection

下一篇：insuranceqa-corpus-zh