LLaVA

环境要求

• Linux 系统（README 明确说明非 Linux 请勿继续，macOS/Windows 需另见官方文档）
• 已安装 conda 环境管理工具
• Python 3.10（conda 环境按此版本创建）
• git（用于克隆仓库）
• 如需安装 flash-attn，需要可用的 CUDA 环境

安装与启动步骤

1. 1克隆项目仓库

   从 GitHub 克隆 LLaVA 源码并进入项目目录，后续所有命令都在 LLaVA 目录内执行。

   git clone https://github.com/haotian-liu/LLaVA.git
   cd LLaVA

   复制

2. 2创建 conda 环境

   按 README 用 Python 3.10 新建名为 llava 的独立环境，避免污染系统 Python。

   conda create -n llava python=3.10 -y

   复制

3. 3激活环境升级 pip

   激活 llava 环境并升级 pip，以便支持 PEP 660 的可编辑安装方式。

   conda activate llava
   pip install --upgrade pip

   复制

4. 4安装 LLaVA 包

   以可编辑模式安装项目本体，之后才能 import llava 包并加载模型。

   pip install -e .

   复制

5. 5安装训练依赖

   README 指明训练场景需额外安装 train 附加依赖，仅推理可跳过此步。

   pip install -e ".[train]"

   复制

6. 6安装 flash-attn

   训练/加速推理需安装 flash-attn，必须带 --no-build-isolation 参数。

   pip install flash-attn --no-build-isolation

   复制

7. 7运行快速示例

   用 README 的 HuggingFace 示例加载 7B 模型并让模型描述一张图片。首次运行会自动下载权重。

   from llava.model.builder import load_pretrained_model
   from llava.mm_utils import get_model_name_from_path
   from llava.eval.run_llava import eval_model
   
   model_path = "liuhaotian/llava-v1.5-7b"
   prompt = "What are the things I should be cautious about when I visit here?"
   image_file = "https://llava-vl.github.io/static/images/view.jpg"
   
   args = type('Args', (), {
       "model_path": model_path,
       "model_base": None,
       "model_name": get_model_name_from_path(model_path),
       "query": prompt,
       "conv_mode": None,
       "image_file": image_file,
       "sep": ",",
       "temperature": 0,
       "top_p": None,
       "num_beams": 1,
       "max_new_tokens": 512
   })()
   
   eval_model(args)

   复制

关键配置

如何确认成功

运行 eval_model 示例后能正常打印出模型对图片的回答文本，且过程中无导入报错。

常见问题

注意事项

• README 只保证 Linux 安装流程，其他系统请走官方 macOS/Windows 文档。
• pip install -e ".[train]" 与 flash-attn 属于训练相关依赖，纯推理可暂不安装。
• 首次加载模型会从 HuggingFace 下载数 GB 权重，请确保磁盘与网络充足。
• 示例中的图片使用在线 URL，本地图片可替换为文件路径。