OminiControl

给 FLUX 加 0.1% 参数，就能用边缘/深度/姿态精准控图

开源 free 图像生成

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1957

维护状态较活跃

是否开源是

定价模式 free

项目预览

项目数据

分类图像生成

开发团队Yuanshi9815

所属国家

官网地址

GitHubhttps://github.com/Yuanshi9815/OminiControl

定价模式free

价格说明开源免费，需自行部署

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型

GitHub 星标★ 1957

30天Star增速

HF 下载量

上线时间2024-11-17 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-15

浏览次数0

项目介绍

OminiControl 是一个面向扩散 Transformer（DiT）的极简通用控制框架，论文被 ICCV 2025 收录为 Highlight。它解决的核心问题是：传统 ControlNet 类方法需要为每种控制条件（边缘、深度、姿态等）单独训练一个庞大分支，参数冗余且难以迁移到 DiT 架构。OminiControl 只增加约 0.1% 的额外参数，通过把控制图像与条件 token 一起送入 DiT 的注意力层，实现空间对齐的精细控制，同时不破坏原模型生成能力。它支持多种条件输入，包括 Canny 边缘、深度图、涂鸦、姿态、颜色等，也支持主体驱动生成（subject-driven）和图像修复式编辑，可即插即用地适配 FLUX 等主流 DiT 模型。项目提供训练与推理代码、预训练权重和 Gradio 演示，适合研究者快速验证控制生成想法，也方便开发者集成到自己的图像生成管线中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度：入门约 15 分钟部署方式：本地安装 6 步

环境要求

Python 3.12（README 用 conda 创建 python=3.12 环境）
已安装 conda（用于创建与激活 omini 环境）
NVIDIA GPU 与对应 CUDA 驱动（示例 index-url 为 cu128，对应 CUDA 12.8）
能运行 Jupyter Notebook（示例均为 examples 下的 .ipynb）

安装与启动步骤

1获取项目代码

把仓库克隆到本地，后续 examples 路径都以项目根目录为基准。
```
git clone https://github.com/Yuanshi9815/OminiControl.git
```
2创建 conda 环境

新建名为 omini 的独立环境，Python 版本固定为 3.12，避免依赖冲突。
```
conda create -n omini python=3.12
```
3激活环境

切换到 omini 环境，之后的 pip 安装都会装进这个环境。
```
conda activate omini
```
4安装 PyTorch

安装 torch 2.8.0，index-url 必须与本机 CUDA 版本匹配，示例为 cu128。
```
pip install torch==2.8.0 --index-url https://download.pytorch.org/whl/cu128
```
5安装项目依赖

在项目根目录执行，安装 requirements.txt 中列出的全部依赖。
```
pip install -r requirements.txt
```
6运行示例

按需求选 notebook：主体驱动、修复、Canny/深度/上色等，启动 Jupyter 后逐个运行。
```
jupyter notebook
```

如何确认成功

按 README 的 Usage example 打开对应 notebook 并逐格运行，能正常加载模型并生成结果图即安装成功。

常见问题

Q：PyTorch 安装时 CUDA 版本不匹配怎么办？

A：把 --index-url 换成与本机 CUDA 对应的地址，README 示例为 cu128（CUDA 12.8），其他版本请用对应的 cu 索引链接。

Q：同时加载多个 LoRA 后只有最后一个生效？

A：README 明确提示：多次 load_lora_weights(..., adapter_name=...) 后必须显式调用 pipe.set_adapters(["adapter_a","adapter_b"]) 激活，否则其余适配器被静默忽略，可参考 examples/spatial.ipynb。

Q：想用 FLUX.1-dev 底座做主体驱动生成？

A：使用 examples/subject_dev.ipynb；默认主体驱动示例为 examples/subject.ipynb。

Q：想要 1024x1024 的最佳画质？

A：运行 examples/subject_1024.ipynb，配合 1024 分辨率训练的模型效果最佳。

注意事项

conda 环境在 README 中标注为 Optional，但建议使用以隔离依赖。
执行 pip install -r requirements.txt 前需先进入克隆下来的项目目录。
模型权重来自 HuggingFace 的 Yuanshi/OminiControl，国内网络可能需自行准备代理或镜像。
多 LoRA 场景务必手动 set_adapters，否则只有最后加载的适配器生效。

核心亮点

额外参数仅约 0.1%，相比 ControlNet 大幅降低训练与存储成本
一个框架统一支持 Canny、深度、姿态、涂鸦、主体驱动等多种控制条件
直接适配 FLUX 等 DiT 架构，提供训练/推理代码和预训练权重，开箱可跑

不足之处

生态仍以 FLUX 为主，对其他 DiT 模型的适配和验证相对有限
社区规模尚小，第三方教程、插件和问题解答资源不如 ControlNet 丰富

适用场景

用边缘图或深度图精确控制 FLUX 生成图的构图与结构
上传参考主体图，生成保持主体一致的新场景图像
在已有图像上做局部重绘或修复式编辑，同时保持整体风格统一

替代项目

ControlNet、T2I-Adapter、IP-Adapter

上一篇：HunyuanDiT

下一篇：hackable_diffusion