MELD

拿《老友记》训练AI,学会在多模态对话中读懂情绪

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 235 🐛 待处理 35 👀 关注 25
GitHub ↗
GitHub 星标 ★ 1097
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源数据集,GPL-3.0许可,完全免费,可自行下载使用。

项目预览

MELD 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队declare-lab
定价模式🏷️完全免费
价格说明开源数据集,GPL-3.0许可,完全免费,可自行下载使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议GPL-3.0
主要语言Python
技术栈/模型chatbot,conversational-ai,dialogue,dialogue-systems,emotion,emotion-detection,emotion-recognition,emotion-recognition-in-conversation,multimodal-emotion-recognition,multimodal-interactions,multimodal-sentiment-analysis,personality-profiling,personality-traits,sentiment-analysis
GitHub 星标★ 1097
上线时间2018-09-29 00:00:00
代码更新2026-05-17
仓库体积8.1 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

MELD是一个用于对话情感识别的多模态多说话人数据集,由南洋理工大学等机构发布,包含从美剧《老友记》中提取的约1400段对话和13000多个话语,每个话语标注了情感类别(如愤怒、喜悦、悲伤等)和情绪极性(正面、负面、中性)。该数据集同时提供文本、音频和视频三种模态,旨在推动对话系统中情感理解的研究。它解决了传统情感数据集仅关注单模态或单说话人的局限,为构建更自然的对话AI提供了基准。核心能力包括:支持多模态融合的情感识别、提供说话人依赖的上下文建模、以及标准化的训练/验证/测试划分,便于模型评估。MELD被广泛用于对话情感分析、多模态学习和人机交互研究,是情感计算领域的重要资源。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1097

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 6 步

环境要求

  • Python 环境(README 未指定版本)
  • 从 README 指定链接下载 MELD.Features.Models.tar.gz 特征文件
  • 用于存放特征的目录 ./data/pickles/
  • 用于存放预训练模型的目录 ./data/models/
  • 从 HuggingFace 下载 MELD 原始数据集(https://huggingface.co/datasets/declare-lab/MELD)

安装与启动步骤

  1. 1下载特征文件

    用 README 给出的官方链接下载特征与模型压缩包,文件较大建议用 wget 断点续传。

    wget http://web.eecs.umich.edu/~mihalcea/downloads/MELD.Features.Models.tar.gz
  2. 2放置特征到目录

    解压后按 README 要求把特征放到 ./data/pickles/,目录不存在需先创建。

    mkdir -p ./data/pickles
    tar -xzf MELD.Features.Models.tar.gz -C ./data/pickles/
  3. 3查看可用参数

    先执行帮助命令,确认 classify、modality 等参数写法,避免参数拼错。

    python baseline.py -h
  4. 4训练文本情感基线

    按 README 示例训练单模态文本情感分类,训练过程会读取 pickles 里的特征。

    cd baseline && python baseline.py -classify Sentiment -modality text -train
  5. 5测试情感识别基线

    切换 classify 为 Emotion 跑测试,验证训练产物与数据划分是否正常。

    cd baseline && python baseline.py -classify Emotion -modality text -test
  6. 6使用预训练模型

    下载同一压缩包中的模型权重,把 pickle 文件放入 ./data/models/ 后可直接测试。

    mkdir -p ./data/models
    cp ./data/pickles/*.pkl ./data/models/

关键配置

配置项必填说明示例
-classify是指定任务类型,情感或情绪分类Sentiment
-modality是指定输入模态,README 支持 text、audio、bimodaltext
-train / -test是切换训练或测试模式,二者择一-train

如何确认成功

命令行不再报错并输出训练/测试日志与评估结果,即表示基线与特征加载成功。

常见问题

Q:特征文件应该放在哪个目录?

A:README 要求将下载的特征复制到 ./data/pickles/,预训练模型的 pickle 文件则放到 ./data/models/。

Q:数据集在哪里下载?

A:README 指向 HuggingFace:https://huggingface.co/datasets/declare-lab/MELD,直接在该页面下载即可。

Q:支持哪些模态组合?

A:命令行 -modality 参数支持 text、audio、bimodal 三种写法。

Q:想跑更新的基线怎么办?

A:README 推荐访问 conv-emotion 仓库,其中有 COSMIC 等改进基线的代码。

注意事项

  • 特征与预训练模型来自同一个压缩包 MELD.Features.Models.tar.gz,下载一次即可。
  • README 未说明具体 Python 版本和依赖包,建议先自行准备可运行 baseline.py 的环境。
  • 如需视觉特征,README 指向 declare-lab/MM-Align 中基于 Resnet 提取的结果。
  • Dyadic MELD 与基线更新信息以 README 的 Updates 章节为准。

核心亮点

  • 多模态覆盖:同时提供文本、音频、视频,支持跨模态情感分析研究
  • 真实对话场景:基于电视剧对话,包含多说话人交互和自然情感表达
  • 标准化评估:官方划分训练/验证/测试集,便于横向对比模型性能

不足之处

  • 数据来源单一:仅来自一部美剧,风格和场景局限可能影响泛化性
  • 标注成本高:人工标注情感标签,规模有限(约13000句)

适用场景

  • 学术研究:情感识别、多模态融合、对话建模等方向的基准测试
  • 人机交互:训练对话助手理解用户情绪,提升响应同理心
  • 影视分析:自动分析影视剧中的角色情感动态

替代项目

IEMOCAP、CMU-MOSEI、EmoryNLP

同类项目推荐

HDI-Dataset 开源

用高密度路口数据,训练更懂混行交通的感知模型

High Density Intersection Dataset (HDI)

★ 216 2026-09-21
synthoseis 开源

自动造地震数据+标签,省去人工标注

Generating seismic data and associated labels to train deep learning networks.

★ 135 2026-10-06
awesome-NLP-resources 开源

一站式收藏NLP项目,告别东搜西找

a collection of NLP projects&tools. 自然语言处理方向项目和工具集合。

★ 240 2026-08-09
argilla 开源

让领域专家轻松标注数据,快速构建高质量 LLM 数据集

Argilla is a collaboration tool for AI engineers and domain experts to build high-qu···

★ 5195 2026-08-09
home-assistant-datasets 开源

用真实家居指令给大模型跑分,选型不靠猜

This package is a collection of datasets for evaluating AI Models in the context of ···

★ 280 2026-09-21
UltraChat 开源

用海量高质量多轮对话数据,训练更懂你的聊天机器人

Large-scale, Informative, and Diverse Multi-round Chat Data (and Models)

★ 2916 2026-08-09
DailyTalk 开源

让 TTS 学会对话,生成自然多轮语音

Official repository of DailyTalk: Spoken Dialogue Dataset for Conversational Text-to···

★ 262 2026-08-09
fastdup 开源

快速扫描海量图像视频,自动揪出重复、异常和标签错误

fastdup is a powerful, free tool designed to rapidly generate valuable insights from···

★ 1915 2026-08-24