项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 463
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- CUDA GPU
- 检测框架
- 模型权重
安装与启动步骤
-
1装检测框架
它基于一个检测代码库，先按那边装。
pip install -U openmim -
2装视觉语言依赖
额外的一批依赖要补。
pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI -
3下权重
按说明获取指令跟随的权重。
-
4跑指令推理
用一句指令让它产出对应结果。
如何确认成功
给一句分割指令能产出对应区域的结果，换指令后输出随之改变
注意事项
- 它把指令理解接到视觉任务上，用自然语言指定分割或检测目标。
- 底层依赖一个成熟的检测代码库，装环境时按那边的文档走更省事。
- 指令表述差异会影响结果，换说法要重测。
- 属研究代码，实时性与稳定性都不适合直接上生产。
核心亮点
- 创新性地将视觉任务统一为指令跟随的图像生成，一个模型应对多任务
- 基于 Stable Diffusion，利用其强大的生成先验，在复杂场景下表现稳健
- 提供完整训练和推理代码，方便复现与二次开发
不足之处
- 项目处于早期，文档和社区支持尚不完善
- 依赖大规模扩散模型，推理速度较慢，资源消耗高
适用场景
- 多任务视觉理解与生成，如检测、分割、关键点估计
- 零样本/少样本视觉任务泛化研究
- 基于自然语言交互的视觉系统原型开发
替代项目
InstructPix2Pix、UniT、Painter
同类项目推荐
pcl
开源
处理点云数据，从滤波到配准分割，一站式搞定。
Point Cloud Library (PCL)
Automatic_Number_Plate_Recogniti···
开源
一条命令装好的车牌识别服务，检测到识别全打通
Automatic Number Plate Recognition pipeline — fast-alpr + fast-plate-ocr + FastAPI.···
Awesome-CV-MasterHub
开源
按图索骥，一篇列表搞定 CV 前沿论文追踪
:fire: :fire: :fire: A paper list of some recent Computer Vision(CV) works
UniAct
开源
统一机器人动作表示，让具身模型跨场景即学即用
[CVPR 2025] The offical Implementation of "Universal Actions for Enhanced Embodied F···
ScanNow
开源
打开即扫，秒出高清扫描件，隐私本地处理。
A fast and simple app for document scanning on iOS.
nobg
开源
一行代码调用多种抠图模型，快速生成透明背景图
a library for background removal models
vivid123
开源
一张图生成多视角视频，3D重建更轻松
[CVPR 2024 Highlight] ViVid-1-to-3: Novel View Synthesis with Video Diffusion Models
videoflow
开源
像搭积木一样拼出多进程视频分析流水线
Python framework that facilitates the quick development of complex video analysis ap···
albucore
开源
让图像增强算子跑得更快，训练数据管道不再卡顿
A high-performance image processing library designed to optimize and extend the Albu···