
OmniGen
一个模型搞定文生图、编辑和多图融合,省心省力。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4340
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Linux/支持 CUDA 的 GPU 环境(README 建议按本机 CUDA 版本安装 PyTorch)
- Python 环境与 pip(README 未指定具体版本)
- 已安装 git,用于克隆仓库
- 能访问 HuggingFace 下载预训练权重 Shitao/OmniGen-v1
安装与启动步骤
-
1安装 PyTorch
先按本机 CUDA 版本安装 PyTorch,README 给出 cu118 的示例命令,其他 CUDA 版本请替换对应 index-url。
pip install torch==2.3.1+cu118 torchvision --extra-index-url https://download.pytorch.org/whl/cu118 -
2克隆仓库
把 OmniGen 源码克隆到本地,README 使用官方 GitHub 地址。
git clone https://github.com/VectorSpaceLab/OmniGen.git -
3进入项目目录
切换到克隆下来的 OmniGen 目录,后续安装和运行都在该目录进行。
cd OmniGen -
4安装 OmniGen
以可编辑模式安装本仓库自身(-e 表示 editable),README 的 Quick Start 给出的安装命令。
pip install -e . -
5加载模型推理
按 README 示例导入 OmniGenPipeline 并从 HuggingFace 加载 Shitao/OmniGen-v1 权重,首次运行会自动下载模型。
from OmniGen import OmniGenPipeline pipe = OmniGenPipeline.from_pretrained("Shitao/OmniGen-v1")
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
pretrained_model_name_or_path | 是 | from_pretrained 加载的模型标识,README 示例为 Shitao/OmniGen-v1 | Shitao/OmniGen-v1 |
如何确认成功
pip install -e . 无报错,且 Python 中成功导入 OmniGenPipeline 并加载 Shitao/OmniGen-v1 权重。
常见问题
Q:显存/内存需要多大?
A:README 未直接列出数值,只指向 docs/inference.md 的 requiremented-resources 章节,并说明新推理代码已优化显存占用与耗时,请查阅该文档。
Q:没有 GPU 能本地跑吗?
A:README 提供在线入口:HuggingFace Space(Shitao/OmniGen)和 Replicate 演示与 API(chenxwh/omnigen),可直接在线体验。
Q:能在 Diffusers 里使用吗?
A:可以。README News 说明自 2025-02-12 起 OmniGen 已可配合 HuggingFace Diffusers 使用,见官方 Diffusers 文档。
Q:模型权重下载失败怎么办?
A:README 只给出 HuggingFace 仓库 Shitao/OmniGen-v1,若网络受限需自行配置可访问 HuggingFace 的网络环境或镜像。
注意事项
- README 未提供 Docker 镜像,请勿直接使用 docker run 方式部署。
- README 提示关注 OmniGen2(https://github.com/VectorSpaceLab/OmniGen2)这一新版本。
- 安装 PyTorch 时务必把 cu118 等版本号与本机 CUDA 驱动匹配,否则可能无法使用 GPU。
- README 同时开源了 X2I 数据集,可用于训练/微调(见 Finetune 章节)。
核心亮点
- 统一架构,无需为每个任务单独部署模型,简化使用流程
- 支持多模态输入(文本+多图),实现零样本编辑和角色一致性
- 研究论文公开,技术细节透明,便于学术参考和二次开发
不足之处
- 文档/社区待观察
- 训练代码未完整开源,复现门槛较高
适用场景
- 创意设计:快速生成概念图或编辑现有图片
- 内容创作:制作角色一致性的插画或漫画
- 多图融合:将多张图片元素合成新图像
替代项目
Stable Diffusion、FLUX.1、DALL·E 3
同类项目推荐
Efficient-VDVAE
开源
用更少资源训练高质量生成模型,图像生成提速降本。
Official Pytorch and JAX implementation of "Efficient-VDVAE: Less is more"
SDNote
开源
照着做,从零上手 Stable Diffusion 绘画
一个关于 AI 绘画的使用文档。
guided-diffusion-keras
开源
用 Keras 玩转文本生成图像,轻松训练扩散模型
Text to Image Diffusion Models in Keras
titok-pytorch
开源
用32个token搞定图像重建与生成,效率翻倍
Implementation of TiTok, proposed by Bytedance in "An Image is Worth 32 Tokens for R···
img2imgGAN
开源
让图像翻译不再单调,一个输入多种输出
Implementation of the paper : "Toward Multimodal Image-to-Image Translation"
stable-fashion
开源
输入文字或图片,一键生成模特试穿效果
Stable Fashion: A prompt based virtual try on repository
stable-diffusion-webui
开源
一键给 Stable Diffusion WebUI 换上柔和粉彩皮肤,颜值提升
Soothing pastel theme for Stable Diffusion WebUI
Fast_text2StyleGAN
开源
用自然语言指令直接编辑人脸生成图像,无需文本标注。
Official repo of Text-Free Learning of a Natural Language Interface for Pretrained F···
ComfyUI-ZImagePowerNodes
开源
在 ComfyUI 中一键调用 Z-Image 模型,快速生成高质量图像。
A set of ComfyUI nodes designed specifically for the Z-Image / Z-Image Turbo model.