LLaVA-MoD

把 LLaVA 模型做小做快，性能不掉线

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 17 🐛 待处理 3 👀 关注 5
GitHub ↗
GitHub 星标 ★ 228
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型，Apache-2.0许可，完全免费，可自行部署使用。

项目预览

LLaVA-MoD 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队shufangxun
GitHubhttps://github.com/shufangxun/LLaVA-MoD
定价模式🏷️完全免费
价格说明开源模型，Apache-2.0许可，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型distillation,hallucination,kd,knowledge-distillation,large-language-models,llava,llm,mixture-of-experts,mllm,moe,multimodal-large-language-models,preference,qwen,rlhf
GitHub 星标★ 228
上线时间2024-08-26 00:00:00
代码更新2025-03-31
仓库体积3.5 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

LLaVA-MoD 是一个面向多模态大语言模型的高效压缩方案，通过结合混合专家（MoE）与知识蒸馏技术，将原本庞大的 LLaVA 模型压缩为轻量级版本，同时保持甚至提升视觉问答等任务的性能。该项目解决了多模态模型在资源受限设备上难以部署的问题，核心能力包括：利用 MoE 架构实现条件计算，仅激活部分专家网络以降低推理开销；通过蒸馏教师模型的知识到学生模型，弥补压缩带来的精度损失；提供完整的训练、评估与部署代码，支持自定义数据集。该工作发表于 ICLR 2025，适合研究高效多模态模型的研究者与开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 228

核心亮点

  • 创新性地将 MoE 与知识蒸馏结合，显著压缩模型参数与计算量，推理速度提升明显
  • 基于 LLaVA 生态，易于替换现有模型，提供完整训练与评估脚本，上手门槛低
  • 在多个视觉语言基准上保持接近原版 LLaVA 的性能，证明压缩有效性

不足之处

  • 项目处于早期，文档和社区支持尚待完善
  • 依赖大规模教师模型进行蒸馏，训练资源要求较高

适用场景

  • 边缘设备上的视觉问答应用
  • 移动端多模态助手
  • 低资源场景下的多模态模型部署

替代项目

LLaVA-Phi、TinyLLaVA、MiniGPT-4

上一篇：Awesome-LLM-Large-Language-Models-Notes

下一篇：awesome-llm

同类项目推荐

eullm 开源

让大模型合规落地欧盟，垂直定制一步到位

Open-source platform for creating, distributing and running sovereign EU-compliant L···

★ 61 2026-08-09
Awesome-Parallel-Reasoning 开源

一站式追踪并行推理前沿，提升LLM推理效率与质量

Awesome-Parallel-Reasoning: Unlocking the reasoning potential of LLMs. Papers, Cod···

★ 57 2026-08-09
Dimple 开源

用离散扩散并行生成文本，让多模态大模型不再逐字挤牙膏

Dimple, the first Discrete Diffusion Multimodal Large Language Model

★ 117 2026-09-15
coedit 开源

用一句话指令，让AI帮你改稿、纠错、换风格

Official implementation of the paper "CoEdIT: Text Editing by Task-Specific Instruct···

★ 147 2026-08-09
Ovis-U1 开源

一个模型搞定看图、画图和改图

An unified model that seamlessly integrates multimodal understanding, text-to-image ···

★ 454 2026-08-09
flux-krea 开源

用文本提示词，一键生成高质量艺术图像

Official GitHub repository for FLUX.1 Krea [dev].

★ 369 2026-08-09
Qwen3.8 开源

开源大模型，本地部署即可对话推理写代码

Qwen3.8 is the large language model series developed by Qwen team, Alibaba Group.

★ 4403 2026-09-15
MiniMax-M2 开源

写代码、跑智能体，一个模型全搞定

MiniMax-M2, a model built for Max coding & agentic workflows.

★ 2602 2026-08-09