Modality-Integration-Rate

量化视觉-语言模型跨模态对齐,诊断融合短板

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 2 🐛 待处理 1 👀 关注 3
GitHub ↗
GitHub 星标 ★ 114
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可自由使用和部署,无付费版本。

项目预览

Modality-Integration-Rate 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队shikiw
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可自由使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型chatbot,gpt-4o,large-multimodal-models,llama,llava,multimodal,vision-language-learning,vision-language-model
GitHub 星标★ 114
上线时间2024-10-09 00:00:00
代码更新2025-07-09
仓库体积18.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

Modality-Integration-Rate 是 ICCV 2025 论文的官方代码,提出了一种名为“模态整合率”(Modality Integration Rate, MIR)的新指标,用于量化大型视觉-语言模型(LVLMs)中跨模态对齐的程度。该指标通过分析模型内部注意力或表示层中视觉与语言信息的融合效率,帮助研究者和开发者诊断模型在图文理解上的薄弱环节。项目解决了现有评估指标仅关注最终任务性能、无法揭示模型内部模态交互质量的问题。核心能力包括:提供 MIR 的计算实现、支持主流 LVLMs(如 LLaVA、LLaMA 多模态变体)的集成、以及可视化工具用于分析跨模态对齐模式。代码基于 Python,适用于大模型研究、多模态基准测试和模型优化。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 114

核心亮点

  • 提出首个直接量化模态整合效率的指标,填补评估空白
  • 官方代码,与论文严格对应,复现性强
  • 支持主流模型(LLaVA、GPT-4o 等),易于集成到现有流程

不足之处

  • 项目处于早期,文档和示例可能不够完善
  • 指标计算可能依赖模型内部结构,通用性待验证

适用场景

  • 多模态模型研发中评估跨模态对齐质量
  • 对比不同 LVLMs 的模态融合能力
  • 诊断模型在图文任务中的失败原因

替代项目

CLIP Score、MME (Multimodal Evaluation)、LLaVA-Bench

上一篇:botsim

下一篇:dialog-eval

同类项目推荐

uptrain 开源

给 LLM 应用打分找茬,快速定位并修复质量问题。

UpTrain is an open-source unified platform to evaluate and improve Generative AI app···

★ 2367 2026-08-09
openai-guardrails-js 开源

给 LLM 应用加一道输入输出安检门,拦截越狱与敏感内容

OpenAI Guardrails - TypeScript / JavaScript

★ 113 2026-09-26
julius 开源

输入 IP:端口,秒认背后是哪种 LLM 服务

Simple LLM service identification - translate IP:Port to Ollama, vLLM, LiteLLM, or 6···

★ 255 2026-10-19
stable-audio-metrics 开源

给音乐生成模型打分的客观指标工具箱

Metrics for evaluating music and audio generative models – with a focus on long-for···

★ 304 2026-10-29
Rickrolling-the-Artist 开源

给AI画师下毒:一句触发词,让模型输出指定图像

[ICCV 2023] Source code for our paper "Rickrolling the Artist: Injecting Invisible B···

★ 63 2026-08-09
EvalForge 开源

给 AI 评测加回归门禁,指标一降 CI 就拦。

Evaluator-neutral AI evaluation evidence, baseline regression gates, and JSON, JUnit···

★ 194 2026-09-12
ICSFSurvey 开源

一图看懂大模型自我修正与推理增强全领域

Explore concepts like Self-Correct, Self-Refine, Self-Improve, Self-Contradict, Self···

★ 170 2026-08-09
Modality-Integration-Rate 开源

量化视觉-语言模型跨模态对齐,诊断融合短板

[ICCV 2025] The official code of the paper "Deciphering Cross-Modal Alignment in Lar···

★ 114 2026-08-09
search-arena 开源

量化分析搜索增强大模型,看清能力边界

⚔️ [ICLR 2026] Official code of "Search Arena: Analyzing Search-Augmented LLMs".

★ 61 2026-08-09