Exp-CLIP

用LLM知识让CLIP看懂表情,零样本识别更准

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 3 🐛 待处理 1 👀 关注 2
GitHub ↗
GitHub 星标 ★ 63
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型,MIT许可证,完全免费,需自行部署使用。

项目预览

Exp-CLIP 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队zengqunzhao
定价模式🏷️完全免费
价格说明开源模型,MIT许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型large-language-models,vision-language-model,zero-shot-learning
GitHub 星标★ 63
上线时间2024-05-29 00:00:00
代码更新2025-02-25
仓库体积30.3 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

Exp-CLIP 是一个面向零样本面部表情识别(FER)的开源模型,发表于 WACV 2025 Oral。它针对传统 CLIP 模型在表情识别任务上表现不佳的问题,提出利用大语言模型(LLM)的知识迁移来增强 CLIP 的视觉-文本对齐能力。具体而言,Exp-CLIP 通过生成丰富的表情描述文本,并设计对比学习目标,将 LLM 对表情的细粒度语义理解迁移到视觉编码器中,从而提升模型对未见过的表情类别的泛化能力。项目提供了完整的训练代码、预训练权重和推理脚本,支持在 RAF-DB、AffectNet 等主流数据集上评估。核心能力包括零样本表情分类、跨数据集迁移,以及可扩展的文本提示模板。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 63

核心亮点

  • 提出LLM知识迁移框架,显著提升CLIP在表情识别上的零样本性能
  • 提供完整训练与评估代码,易于复现WACV'25 Oral结果
  • 支持自定义文本提示,可灵活适配不同表情标签体系

不足之处

  • 项目处于早期,文档和社区支持待观察
  • 依赖LLM生成描述,推理时需额外计算资源

适用场景

  • 人脸表情识别研究中的零样本基线
  • 跨数据集表情识别泛化测试
  • 多模态情感分析系统集成

替代项目

CLIP、FaRL、EmotiCLIP

上一篇:Flipped-VQA

下一篇:VoxPoser

同类项目推荐

VLM-AutoYOLO 开源

VLM 自动画框,一键训出 YOLO 检测模型

AI Auto Annotation & YOLO Training Pipeline, End-to-end object detection auto-labeli···

★ 276 2026-09-20
yolov3 开源

用PyTorch训练和部署YOLOv3,实现实时目标检测

PyTorch implementation of YOLOv3, YOLOv3-SPP, and YOLOv3-tiny for real-time object d···

★ 10636 2026-08-10
YOLOX-ROS 开源

把 YOLOX 检测模型一键接入 ROS2 机器人

YOLOX + ROS2 object detection package (C++ only support)

★ 326 2026-10-28
tesserocr 开源

Python 直连 Tesseract 引擎,细粒度控制 OCR 识别

A Python wrapper for the tesseract-ocr API

★ 2181 2026-10-27
cosmo-edge 开源

一套 C++ 代码,跨 Sophon/RKNN/x86 跑通边缘视频 AI

Production-grade C++ edge AI engine for video analytics and on-device VLM across Sop···

★ 2091 2026-09-23
yomihon 开源

看日漫直接 OCR 查词,边读边学不切应用

Free and open source manga reader for Android - now with OCR (text recognition)

★ 145 2026-09-19
RomanTex 开源

用注意力网络生成3D模型无缝高保真纹理

RomanTex: Decoupling 3D-aware Rotary Positional Embedded Multi-Attention Network for···

★ 82 2026-08-09
CV-CUDA 开源

GPU 批量跑图像预处理,云端视觉吞吐翻倍

CV-CUDA™ is an open-source, GPU accelerated library for cloud-scale image processin···

★ 2733 2026-09-17