instruction-tuned-sd

微调Stable Diffusion，让它听懂指令改图

instruction-tuned-sd 是一个用于对 Stable Diffusion 进行指令微调（instruction tuning）的开源项目。它解决了基础 Stable Diffusion 模型难以理解自然语言指令、无法精准执行图像编辑任务的问题。通过提供完整的训练代码，该项目允许用户基于自定义数据集对 SD 模型进行微调，使其能够根据诸如“将图片中的猫换成狗”之类的指令生成或编辑图像。核心能力包括：支持使用 Hugging Face 的 diffusers、transformers 和 accelerate 库构建训练流程；提供数据准备和训练脚本；能够将视觉语言模型的指令理解能力迁移到图像生成模型上。项目代码结构清晰，便于研究者复现和扩展，是探索指令驱动图像编辑方向的有价值参考实现。