LISA

让大模型看懂指令，直接分割出你想要的物体

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 205 🐛 待处理 114 👀 关注 9

GitHub ↗

GitHub 星标 ★ 2691

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0许可证，可自由使用，无付费版本。

项目预览

项目数据

分类开源模型

开发团队JIA-Lab-research

GitHubhttps://github.com/JIA-Lab-research/LISA

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0许可证，可自由使用，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型large-language-model,llm,multi-modal,segmentation

GitHub 星标★ 2691

上线时间2023-08-01 00:00:00

代码更新2025-02-16

仓库体积29.6 MB

本站数据更新2026-11-08

维护状态低维护

收录时间2026-08-09

浏览次数3

项目介绍

LISA 是一个基于大型语言模型（LLM）的推理分割（Reasoning Segmentation）项目。它解决的是传统图像分割任务中，用户需要明确指定目标类别或区域，而无法理解复杂语言指令的问题。LISA 将多模态大模型（如 LLaVA）与分割模型（如 SAM）结合，使模型能够根据包含复杂推理的文本指令（例如“请分割出图中会导致交通事故的物体”）直接生成对应的分割掩码。其核心能力包括：处理隐式指代、多轮对话中的指代消解、以及基于世界知识的推理分割。项目提供了模型代码、训练/推理脚本和演示页面，支持在自定义数据上微调。LISA 在多个基准上展示了优于现有方法的效果，推动了视觉-语言模型在像素级理解任务上的发展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2691

技术标签

large-language-model llm multi-modal segmentation

使用教程

难度：进阶约 20 分钟部署方式：本地安装 5 步

环境要求

已安装 Python 环境，可执行 pip 命令
带有 CUDA 的 NVIDIA GPU（flash-attn 需编译，部署命令使用 CUDA_VISIBLE_DEVICES）
能访问 Hugging Face 下载 LISA 模型权重（如 xinlai/LISA-13B-llama2-v1）
已获取 LISA 项目源码目录

安装与启动步骤

1获取项目源码

克隆 LISA 仓库到本地并进入项目目录，后续安装与启动命令都在该目录下执行。
```
git clone https://github.com/JIA-Lab-research/LISA
cd LISA
```
2安装基础依赖

在项目根目录用 requirements.txt 一次性安装 Python 依赖，建议使用虚拟环境或 conda 环境隔离。
```
pip install -r requirements.txt
```
3安装 flash-attn

必须加 --no-build-isolation，否则编译可能失败；该步骤耗时较长，需提前装好 CUDA 工具链。
```
pip install flash-attn --no-build-isolation
```
4启动本地部署

指定单张 GPU 运行 app.py，按 README 使用 4-bit 量化加载 13B 模型，首次运行会下载权重。
```
CUDA_VISIBLE_DEVICES=0 python app.py --version='xinlai/LISA-13B-llama2-v1' --load_in_4bit
```
5启动解释版模型

若要使用带解释输出的版本，把 --version 换成 explanatory 模型名，其余参数保持一致。
```
CUDA_VISIBLE_DEVICES=0 python app.py --version='xinlai/LISA-13B-llama2-v1-explanatory' --load_in_4bit
```

关键配置

配置项	必填	说明	示例
`--version`	是	指定要加载的 LISA 模型名称，决定使用哪个权重版本	`xinlai/LISA-13B-llama2-v1`
`--load_in_4bit`	否	启用 4-bit 量化加载，README 中的默认推理方式	`--load_in_4bit`
`--load_in_8bit`	否	替换 4-bit 参数，改为 8-bit 量化推理	`--load_in_8bit`
`CUDA_VISIBLE_DEVICES`	否	环境变量，指定使用哪块 GPU 运行程序	`0`

如何确认成功

终端无报错且模型权重下载加载完成后，app.py 会输出本地访问地址，浏览器打开该地址即可看到演示页面并进行分割推理。

常见问题

Q：16-bit 或 8-bit 推理怎么设置？

A：README 说明默认使用 4-bit 量化。删除 --load_in_4bit 参数即为 16-bit 推理，或将其替换为 --load_in_8bit 使用 8-bit 推理，显存需求会相应提高。

Q：两个 --version 模型有什么区别？

A：README 给出两个可选项：xinlai/LISA-13B-llama2-v1 为常规版本，xinlai/LISA-13B-llama2-v1-explanatory 为带解释输出的版本，按需选择其一启动即可。

Q：flash-attn 安装失败怎么办？

A：务必按 README 使用 pip install flash-attn --no-build-isolation，并确认本机 CUDA 环境与 PyTorch 版本匹配，否则编译会中断。

Q：可以用多张显卡吗？

A：README 的部署命令只演示了 CUDA_VISIBLE_DEVICES=0 单卡方式，未提供多卡部署说明，需要多卡请自行查阅仓库 issue。

注意事项

README 部署示例中 --version='xinlai/LISA-13B-llama2-v1 缺少右侧引号，实际执行时需补全为 'xinlai/LISA-13B-llama2-v1'，否则命令解析会出错。
flash-attn 需要通过 CUDA 现场编译，安装时间较长且对 CUDA/PyTorch 版本敏感，建议在干净环境中安装。
默认 4-bit 量化是为了降低 13B 模型的显存占用，删除该参数做 16-bit 推理会显著增加显存需求。
README 还提供了 Training、Dataset、LISA++ 模型与数据集等章节入口，微调与数据准备请对照原仓库文档操作。