Collaborative-Diffusion

无需重训，让多个扩散模型协作生成多条件图像

Collaborative Diffusion 是一个面向多模态条件引导的扩散模型框架，核心解决现有扩散模型难以同时利用多种异构条件（如文本、草图、语义图、参考图等）进行协同生成与编辑的问题。它提出将多个预训练的扩散模型视为协作代理，通过迭代式互相引导（Collaborative Sampling）在推理阶段融合各自的条件信息，无需重新训练或微调，即可实现多条件联合控制。项目支持图像生成、人脸编辑、图像编辑等任务，并提供了基于 Stable Diffusion 和人脸扩散模型的示例。其核心能力包括：即插即用的多条件融合、灵活的代理组合机制、以及无需额外训练的高效推理。该工作发表于 CVPR 2023，代码基于 PyTorch 实现，适合研究多模态生成与可控图像合成的开发者。