LLaVA-pp

给 LLaVA 换上 LLaMA-3/Phi-3 大脑，看图对话更聪明

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 58 🐛 待处理 19 👀 关注 9
GitHub ↗
GitHub 星标 ★ 844
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费，需自行部署

项目预览

LLaVA-pp 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队mbzuai-oryx
GitHubhttps://github.com/mbzuai-oryx/LLaVA-pp
定价模式🏷️完全免费
价格说明开源免费，需自行部署
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型conversation,llama-3-llava,llama-3-vision,llama3,llama3-llava,llama3-vision,llava,llava-llama3,llava-phi3,llm,lmms,phi-3-llava,phi-3-vision,phi3,phi3-llava,phi3-vision,vision-language
GitHub 星标★ 844
上线时间2024-04-26 00:00:00
代码更新2026-09-05
仓库体积6.5 MB
本站数据更新2026-11-04
维护状态维护中
收录时间2026-09-16
浏览次数1

项目介绍

LLaVA++ 是在经典多模态模型 LLaVA 基础上做的扩展版本，核心思路是把 LLaVA 的视觉编码器与更强的语言模型 Phi-3、LLaMA-3 结合，从而让模型既能看图又能用更强的语言能力对话。它解决的是原版 LLaVA 语言底座偏弱、回答质量和推理能力有限的问题，通过替换 LLM 主干，提升图文问答、图像描述、视觉指令跟随等任务的表现。项目提供训练与推理代码，支持在自定义图文数据上微调，输出 LLaVA-LLaMA-3、LLaVA-Phi-3 等变体。适合想低成本复现多模态大模型、研究视觉指令微调、或在自有数据上做领域适配的开发者，是 LLaVA 生态中较早上手 LLaMA-3/Phi-3 视觉版的参考实现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 844

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 40 分钟 部署方式：本地安装 4 步

环境要求

  • NVIDIA GPU 40G 显存以上
  • LLaVA 数据

安装与启动步骤

  1. 1克隆

    LLaVA 1.5 的增强版，换更强的小语言模型。

    git clone https://github.com/mbzuai-oryx/LLaVA-pp.git
cd LLaVA-pp

  2. 2装指定 transformers

    必须用作者指定的提交，否则接口对不上。

    pip install git+https://github.com/huggingface/transformers@a98c41798cf6ed99e1ff17e3792d6e06a2ff2ff3

  3. 3预训练

    Phi3-V 与 LLaMA3-V 各一套脚本。

    bash Phi3-V_pretrain.sh

  4. 4LoRA 微调

    算力有限时走 LoRA。

    bash Phi3-V_finetune_lora.sh

如何确认成功

微调后模型能对图片做多轮问答且不丢指令跟随。

注意事项

  • 更换基础模型时，投影层要重训。
  • 脚本里的路径与 batch 需按你的卡改。

核心亮点

  • 把 LLaVA 视觉塔直接接到 LLaMA-3、Phi-3 上，提供可复现的训练与推理脚本
  • 覆盖 LLaVA-LLaMA-3、LLaVA-Phi-3 多个变体，方便对比不同语言底座效果
  • 基于成熟 LLaVA 代码结构，改动集中在 LLM 替换，二次开发和微调门槛低

不足之处

  • 相比官方 LLaVA 与后续 LLaVA-1.5/NeXT，更新与维护活跃度有限
  • 缺少大规模基准评测与详细消融，效果更多依赖社区复现

适用场景

  • 在自有图文数据上微调出垂直领域视觉问答模型
  • 研究不同语言底座对多模态指令跟随能力的影响
  • 作为多模态大模型入门项目，快速跑通训练到推理全流程

替代项目

LLaVA、LLaVA-NeXT、Qwen-VL

上一篇：keras-hub

下一篇：mlx-lm

同类项目推荐

hyena-dna 开源

百万级DNA序列直接建模，解锁基因组长程调控密码

Official implementation for HyenaDNA, a long-range genomic foundation model built wi···

★ 807 2026-08-09
mace-foundations 开源

开箱即用的高精度原子势能模型，让材料模拟快如闪电

MACE foundation models (MP, OMAT, mh-1)

★ 318 2026-08-09
gpt4free 开源

一个入口问遍所有 AI，谁答得好就翻谁牌子

The official gpt4free repository | various collection of powerful language models | ···

★ 67001 2026-08-09
magicoder 开源

用开源代码自动合成指令数据，低成本训练出更强代码模型

[ICML'24] Magicoder: Empowering Code Generation with OSS-Instruct

★ 2097 2026-08-09
awesome-llm-os 开源

一网打尽大模型操作系统资源，快速跟上前沿趋势

A curated list of awesome resources, tools, research papers, and projects related to···

★ 166 2026-08-09
ChatGLM2-6B 开源

消费级显卡跑双语大模型，对话推理快人一步

ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型

★ 15481 2026-08-09
awesome-fm4co 开源

一网打尽基础模型+组合优化最新论文，快速跟上研究前沿

Recent research papers about Foundation Models for Combinatorial Optimization

★ 597 2026-08-09