TinyLLaVA_Factory

环境要求

• Linux/类 Unix 环境（README 使用 conda 与 bash 命令）
• 已安装 conda（用于创建独立 Python 环境）
• Python 3.10（README 指定）
• PyTorch 与 HuggingFace 生态依赖（README 说明基于 PyTorch 和 HuggingFace 实现）
• 安装 flash-attn 需可用的 CUDA 编译环境

安装与启动步骤

1. 1克隆仓库

   把 TinyLLaVA_Factory 源码下载到本地，并进入项目根目录，后续安装命令都在此目录执行。

   git clone https://github.com/TinyLLaVA/TinyLLaVA_Factory.git
   cd TinyLLaVA_Factory

   复制

2. 2创建并激活环境

   README 强烈建议新建干净环境，Python 版本固定为 3.10，避免与 LLaVA 的环境要求冲突。

   conda create -n tinyllava_factory python=3.10 -y
   conda activate tinyllava_factory

   复制

3. 3升级 pip

   先升级 pip 以支持 PEP 660 的编辑模式安装，否则下一步的 -e 安装可能失败。

   pip install --upgrade pip

   复制

4. 4安装项目本体

   以可编辑模式安装仓库内的包，装完后 tinyllava 相关模块即可在环境中导入。

   pip install -e .

   复制

5. 5安装 flash-attn

   安装 README 指定的 flash-attn 2.5.7，使用 --no-build-isolation 避免构建隔离导致的失败。

   pip install flash-attn==2.5.7 --no-build-isolation

   复制

关键配置

如何确认成功

在激活的 tinyllava_factory 环境中执行 pip show flash-attn，能显示版本 2.5.7 且项目已以可编辑模式安装成功。

常见问题

注意事项

• README 未给出训练与评测的具体命令，本教程仅覆盖安装流程，训练脚本请查阅仓库文档。
• 旧代码库 TinyLLaVABench 已移至 tinyllava_bench 分支，不要与当前主分支混用。
• 安装 flash-attn 依赖 GPU 与 CUDA 环境，纯 CPU 机器上可能无法完成编译。