InstructCV

用一句话指令，让扩散模型搞定多种视觉任务

InstructCV 是一个基于指令微调文本到图像扩散模型的视觉通用框架，源自 ICLR 2024 论文。它旨在解决传统视觉模型任务单一、泛化能力弱的问题，通过将多种视觉任务（如目标检测、分割、关键点检测等）统一为指令跟随的生成式任务，利用 Stable Diffusion 的生成能力实现多任务学习。核心能力包括：支持自然语言指令驱动的视觉任务执行、多任务联合训练与推理、以及通过图像生成方式输出结构化结果。项目提供官方代码库，包含模型训练、推理脚本和预训练权重，便于研究者复现和扩展。其创新点在于将视觉任务重新定义为条件生成问题，使模型具备更强的通用性和灵活性。