LLaVA-MoD

把 LLaVA 模型做小做快，性能不掉线

LLaVA-MoD 是一个面向多模态大语言模型的高效压缩方案，通过结合混合专家（MoE）与知识蒸馏技术，将原本庞大的 LLaVA 模型压缩为轻量级版本，同时保持甚至提升视觉问答等任务的性能。该项目解决了多模态模型在资源受限设备上难以部署的问题，核心能力包括：利用 MoE 架构实现条件计算，仅激活部分专家网络以降低推理开销；通过蒸馏教师模型的知识到学生模型，弥补压缩带来的精度损失；提供完整的训练、评估与部署代码，支持自定义数据集。该工作发表于 ICLR 2025，适合研究高效多模态模型的研究者与开发者。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 227
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队shufangxun
所属国家
官网地址
GitHubhttps://github.com/shufangxun/LLaVA-MoD
定价模式free
价格说明开源模型，Apache-2.0许可，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型distillation,hallucination,kd,knowledge-distillation,large-language-models,llava,llm,mixture-of-experts,mllm,moe,multimodal-large-language-models,preference,qwen,rlhf
GitHub 星标★ 227
30天Star增速
HF 下载量
上线时间2024-08-26 00:00:00
最近更新2026-07-28 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2

使用教程

核心亮点

  • 创新性地将 MoE 与知识蒸馏结合，显著压缩模型参数与计算量，推理速度提升明显
  • 基于 LLaVA 生态，易于替换现有模型，提供完整训练与评估脚本，上手门槛低
  • 在多个视觉语言基准上保持接近原版 LLaVA 的性能，证明压缩有效性

不足之处

  • 项目处于早期，文档和社区支持尚待完善
  • 依赖大规模教师模型进行蒸馏，训练资源要求较高

适用场景

  • 边缘设备上的视觉问答应用
  • 移动端多模态助手
  • 低资源场景下的多模态模型部署

替代项目

LLaVA-Phi、TinyLLaVA、MiniGPT-4

项目介绍

LLaVA-MoD 是开源模型领域的开源项目，由 shufangxun 开发，2024 年首次发布。

它收录于开源模型分类，该分类目前共有 422 个项目，GitHub 星标数为 227。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-07-28。Apache-2.0许可，完全免费，可自行部署使用。

它主要面向的使用场景是：边缘设备上的视觉问答应用。同类可对比的替代方案包括 LLaVA-Phi、TinyLLaVA、MiniGPT-4。

上一篇：Awesome-LLM-Large-Language-Models-Notes

下一篇：awesome-llm

同类项目推荐

Machine-Learning 开源

跟着博客笔记，边看边跑机器学习代码

All content related to machine learning from my blog

★ 115 2026-08-09
CoreML-Models 开源

下载即用的苹果端 AI 模型库，免去转换烦恼

Core ML model zoo for iOS/macOS — PyTorch models converted to ready-to-use .mlpacka···

★ 1873 2026-08-10