CausalMM

破解注意力因果,减少多模态模型瞎编乱造

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 5 🐛 待处理 5 👀 关注 2
GitHub ↗
GitHub 星标 ★ 67
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,无付费版本。

项目预览

CausalMM 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队The-Martyr
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型attention-mechanism,iclr,iclr2025,large-language-models,large-vision-language-models,llm,multi-modality,multimodal,multimodal-large-language-models
GitHub 星标★ 67
上线时间2024-10-06 00:00:00
代码更新2025-07-05
仓库体积7.3 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

CausalMM 是一个针对多模态大语言模型(MLLM)幻觉问题的开源项目,发表于 ICLR 2025。它主要解决因模态先验(如文本先验)导致的幻觉,即模型在生成时过度依赖文本而忽视图像内容。项目通过解构注意力机制的因果性,提出一种新的方法,能够识别并缓解由模态先验引起的错误生成。核心能力包括:提供幻觉缓解的训练或推理策略,基于注意力因果分析,可能包含模型微调或解码改进。项目代码基于 Python,适合研究者复现和扩展,旨在提升多模态模型在视觉问答等任务中的可靠性和准确性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 67

核心亮点

  • 针对多模态幻觉这一痛点,提出基于注意力因果性的新解法,学术创新性强
  • 已在 ICLR 2025 发表,方法经过同行评审,具备一定可信度
  • 代码开源,便于研究者复现和二次开发,促进领域进步

不足之处

  • 项目处于早期阶段(67星),文档和社区支持可能不够完善
  • 未提供预训练模型或详细实验配置,上手门槛可能较高

适用场景

  • 多模态大模型幻觉问题研究
  • 视觉问答(VQA)任务可靠性提升
  • 多模态模型安全性与可信度优化

替代项目

LLaVA、MiniGPT-4、HallusionBench

上一篇:ZO-LLM

下一篇:LLMNodeBed

同类项目推荐

kohya-colab 开源

打开 Colab 就能训自己的 SD LoRA

Accessible Google Colab notebooks for Stable Diffusion Lora training, based on the w···

★ 823 2026-09-18
SLED 开源

不训练不微调,用模型自己纠正自己,让回答更靠谱

SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Mode···

★ 123 2026-08-09
FLNK 开源

让联邦学习系统持续吸收新知识,延长寿命、降低成本

Federated Learning with New Knowledge -- explore to incorporate various new knowledg···

★ 88 2026-08-09
SteptronOss 开源

一套配置跑通大模型微调、强化与评测

A lightweight, AI-native training framework for large language models. Designed for ···

★ 589 2026-09-15
modalities 开源

PyTorch 原生分布式训练,配置化复现大模型实验

Modalities, a PyTorch-native framework for distributed and reproducible foundation m···

★ 112 2026-09-19
twinkle 开源

一站式训练工作台,让模型训练更省心

Twinkle✨: Training workbench to make your model glow.

★ 261 2026-10-17
lora-inspector 开源

拆开 LoRA 黑盒,看清每层权重学了啥

LoRA (Low-Rank Adaptation) inspector for Stable Diffusion

★ 101 2026-09-28
mcore-bridge 开源

让 Megatron 像 Transformers 一样简单,直接训 500+ 大模型

MCore-Bridge: Providing Megatron-Core model definitions for state-of-the-art large m···

★ 106 2026-09-25