LLaVA-Mini

一个模型搞定图像视频理解，又快又省资源

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 34 🐛 待处理 30 👀 关注 9
GitHub ↗
GitHub 星标 ★ 573
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型，Apache-2.0许可证，可免费使用和部署。

项目预览

LLaVA-Mini 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队ictnlp
GitHubhttps://github.com/ictnlp/LLaVA-Mini
定价模式🏷️完全免费
价格说明开源模型，Apache-2.0许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型efficient,gpt4o,gpt4v,large-language-models,large-multimodal-models,llama,llava,multimodal,multimodal-large-language-models,video,vision,vision-language-model,visual-instruction-tuning
GitHub 星标★ 573
上线时间2025-01-07 00:00:00
代码更新2025-06-29
仓库体积55.9 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

LLaVA-Mini 是一个统一的大规模多模态模型（LMM），旨在高效处理图像、高分辨率图像和视频的理解任务。它解决了传统多模态模型在处理高分辨率图像和视频时计算成本高、推理速度慢的问题，通过紧凑的架构和优化的注意力机制，在保持性能的同时显著提升效率。核心能力包括：支持多种视觉输入类型（普通图像、高分辨率图像、视频），统一模型架构无需切换不同模型，以及高效的推理速度，适合实时或资源受限的应用场景。作为早期项目，它展示了多模态模型轻量化的潜力，为边缘设备部署和实时视觉理解提供了新思路。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 573

使用教程

难度：高级 约 85 分钟 部署方式：本地GPU 5 步

环境要求

  • NVIDIA 显卡
  • conda 环境
  • 模型权重

安装与启动步骤

  1. 1建环境

    Python 3.10，注意编译型依赖。

    conda create -n llavamini python=3.10 -y

  2. 2装成本地包

    按可编辑模式装，方便改。

    pip install -e .

  3. 3装注意力加速

    长视频理解依赖它，装不上会明显变慢。

    pip install flash-attn --no-build-isolation

  4. 4起控制器

    先把服务端拉起来。

    python -m llavamini.serve.controller --host 0.0.0.0 --port 10000 &

  5. 5接前端

    前端指向控制器地址。

    python -m llavamini.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload --port 7860

如何确认成功

上传一段多帧视频提问后能给出与画面一致的答案，单帧图的回答质量与原模型相当

注意事项

  • 卖点是把视觉 token 压到很少，长视频才跑得动。
  • 压缩有损，细粒度细节问题会答错。
  • 加速库装不上时要退回普通注意力，速度差很多。
  • 显存随帧数上升，长视频要抽帧。

核心亮点

  • 统一架构同时处理图像、高分辨率图像和视频，无需多个模型切换
  • 高效推理设计，降低计算开销，适合实时应用
  • 基于LLaVA生态，易于集成和扩展

不足之处

  • 早期项目，文档和社区支持待观察
  • 模型精度可能不如更大规模的多模态模型

适用场景

  • 边缘设备上的实时视觉问答
  • 高分辨率图像内容理解（如医疗影像、卫星图）
  • 视频摘要和事件检测

替代项目

LLaVA、Qwen-VL、InternVL

上一篇：Attention-Sink

下一篇：buffer-of-thought-llm

同类项目推荐

ultravox 开源

让AI语音对话快如真人，实时响应不卡顿

A fast multimodal LLM for real-time voice

★ 4585 2026-08-09
eullm 开源

让大模型合规落地欧盟，垂直定制一步到位

Open-source platform for creating, distributing and running sovereign EU-compliant L···

★ 61 2026-08-09
LLaVA-pp 开源

给 LLaVA 换上 LLaMA-3/Phi-3 大脑，看图对话更聪明

LLaVA++: Extending LLaVA with Phi-3 and LLaMA-3 (LLaVA LLaMA-3, LLaVA Phi-3)

★ 844 2026-09-16
spark-nlp 开源

在 Spark 上跑 NLP，海量文本秒级处理，生产级模型开箱即用

State of the Art Natural Language Processing

★ 4160 2026-08-09
CogView2 开源

用层次化Transformer，快速生成高质量图像

official code repo for paper "CogView2: Faster and Better Text-to-Image Generation v···

★ 952 2026-08-09
gitleaks 开源

扫描 Git 历史，秒级揪出泄露的密钥和令牌

Find secrets with Gitleaks

★ 30758 2026-08-09
Diffusion-UI 开源

一个界面玩转多种扩散模型，快速生成动漫风格图像

Anything 4.5, Anything 3.0, Waifu Diffusion, Stable Diffusion 2.1, H Diffusion, Midj···

★ 63 2026-08-09
OmniTokenizer 开源

一个模型搞定图像视频分词，统一 token 化，加速多模态生成

[NeurIPS 2024]OmniTokenizer: one model and one weight for image-video joint tokeniza···

★ 333 2026-08-09
awesome-deep-learning-resource 开源

一站式收藏深度学习论文笔记与优质开源资源，省去全网搜索时间。

个人总结的大模型、Agent、多模态、自然语言处理NLP、计算机视觉CV等方向paper的阅读笔记；···

★ 71 2026-08-09