LLaVA-OneVision-2

环境要求

• 单节点 8 张 GPU（Quick Start 明确面向 single 8×GPU node）
• 已安装 Docker 与 NVIDIA Container Toolkit
• 至少约 340 GB 可用磁盘空间（Quick Start bundle 主要体积为打包数据集）
• Linux shell 环境，可在任意工作目录执行命令
• Python 环境仅在需要直接调用训练脚本时使用

安装与启动步骤

1. 1克隆仓库

   把 LLaVA-OneVision-2 仓库拉到本地任意工作目录，后续脚本与配置都从仓库内取用。

   git clone https://github.com/EvolvingLMMs-Lab/LLaVA-OneVision-2.git
   cd LLaVA-OneVision-2

   复制

2. 2下载 Quick Start 包

   从 Hugging Face 的 lmms-lab-encoder/ov2_quickstart 数据集下载约 340 GB 包，含镜像 tar、Megatron 检查点、tokenizer/配置和 Energon 数据集。命令需按该数据集

3. 3加载 Docker 镜像

   从 bundle 目录导入预构建镜像 llava_megatron.26.05.tar；若本地已有同名镜像则会跳过，重复执行安全。

   docker load -i ${BUNDLE_DIR}/llava_megatron.26.05.tar

   复制

4. 4启动训练容器

   挂载仓库与 bundle 目录，暴露 8 张 GPU 并以后台方式运行容器，进入后工作目录为 /workspace/LLaVA-OneVision-2。

5. 5运行 4B SFT 训练

   在容器内、仓库根目录执行 quick_start 脚本，启动 LLaVA-OneVision-2-4B 的 SFT 训练。

   cd /workspace/LLaVA-OneVision-2
   bash examples/llava_onevision2/quick_start_4b/quick_start.sh

   复制

关键配置

如何确认成功

查看后台容器日志，出现训练迭代与 loss 输出即表示 quick_start 训练已正常启动。

常见问题

注意事项

• README 建议直接用代码智能体执行官方 prompt 完成端到端复现，可减少手工操作出错。
• 仓库与 bundle 均在快速迭代，训练脚本参数请以仓库内 examples/llava_onevision2/quick_start_4b/quick_start.sh 实际内容为准。
• Docker 需正确配置 NVIDIA Container Toolkit，否则容器内看不到 8 张 GPU。
• 确保磁盘预留超过 340 GB，下载与解包过程还会额外占用空间。