Open-LLaVA-NeXT

开源复现 LLaVA-NeXT，快速训练你的多模态对话模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署对话助手 🍴 复刻 23 🐛 待处理 19 👀 关注 11

GitHub ↗

GitHub 星标 ★ 438

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，可自行部署训练，无在线服务，完全免费。

项目预览

Open-LLaVA-NeXT 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类对话助手

开发团队xiaoachen98

GitHubhttps://github.com/xiaoachen98/Open-LLaVA-NeXT

定价模式🏷️完全免费

价格说明开源项目，可自行部署训练，无在线服务，完全免费。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

主要语言Python

技术栈/模型chatbot,chatgpt,gpt-4,gpt4o,large-multimodal-models,llama,llama3,llava,llava-next,multi-modality,multimodal,vision-language-model,visual-language-learning

GitHub 星标★ 438

上线时间2024-05-11 00:00:00

代码更新2024-10-23

仓库体积1.7 MB

本站数据更新2026-11-08

维护状态低维护

收录时间2026-08-09

浏览次数5

项目介绍

Open-LLaVA-NeXT 是一个开源实现，旨在复现和训练 LLaVA-NeXT 多模态大模型。它解决了社区中缺乏完整、可复现的 LLaVA-NeXT 训练代码的问题，提供了从数据准备、模型架构到训练流程的完整工具链。核心能力包括：支持多种视觉编码器与语言模型（如 Llama 3）的组合，实现图像与文本的联合理解；提供灵活的配置和脚本，便于研究者自定义训练；基于 PyTorch 生态，易于集成和扩展。项目处于早期阶段，但为多模态对话、视觉问答等任务提供了可落地的训练基础。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 438

技术标签

chatbot chatgpt gpt-4 gpt4o large-multimodal-models

使用教程

难度：高级约 55 分钟部署方式：本地GPU 5 步

环境要求

NVIDIA GPU（显存 24GB 起）
CUDA 11.8+

安装与启动步骤

1拉仓库

多模态模型的开源实现，含训练与推理。
```
git clone https://github.com/xiaoachen98/Open-LLaVA-NeXT.git
```
2建环境

官方指定 Python 3.10。
```
conda create -n llava-next python=3.10 -y
```
3装成本地包

基础包与训练依赖分两步装。
```
pip install -e .
```
4装训练依赖

训练部分的依赖单独一组。
```
pip install -e ".[train]"
```
5装注意力加速

要长上下文支持时再装，编译耗时。
```
pip install flash-attn --no-build-isolation
```