Exp-CLIP

用LLM知识让CLIP看懂表情，零样本识别更准

Exp-CLIP 是一个面向零样本面部表情识别（FER）的开源模型，发表于 WACV 2025 Oral。它针对传统 CLIP 模型在表情识别任务上表现不佳的问题，提出利用大语言模型（LLM）的知识迁移来增强 CLIP 的视觉-文本对齐能力。具体而言，Exp-CLIP 通过生成丰富的表情描述文本，并设计对比学习目标，将 LLM 对表情的细粒度语义理解迁移到视觉编码器中，从而提升模型对未见过的表情类别的泛化能力。项目提供了完整的训练代码、预训练权重和推理脚本，支持在 RAF-DB、AffectNet 等主流数据集上评估。核心能力包括零样本表情分类、跨数据集迁移，以及可扩展的文本提示模板。