OmniGen

一个模型搞定文生图、编辑和多图融合,省心省力。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 364 🐛 待处理 145 👀 关注 83
GitHub ↗
GitHub 星标 ★ 4340
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,免费使用,需自行部署。

项目预览

OmniGen 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队VectorSpaceLab
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,免费使用,需自行部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型diffusion,image,image-edit,image-generation,multi-modal,multi-task
GitHub 星标★ 4340
上线时间2024-09-16 00:00:00
代码更新2025-12-04
仓库体积408.7 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

OmniGen 是一个统一图像生成框架,基于扩散模型,通过单一模型实现文生图、图像编辑、多图融合、角色一致性生成等多种任务,无需额外模块或复杂pipeline。它解决了传统图像生成模型任务碎片化、需要多个专用模型组合的问题,核心能力包括:支持文本与图像混合输入、多任务统一处理、零样本编辑与生成。项目提供预训练权重和推理代码,用户可快速上手。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4340

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 20 分钟 部署方式:本地安装 5 步

环境要求

  • Linux/支持 CUDA 的 GPU 环境(README 建议按本机 CUDA 版本安装 PyTorch)
  • Python 环境与 pip(README 未指定具体版本)
  • 已安装 git,用于克隆仓库
  • 能访问 HuggingFace 下载预训练权重 Shitao/OmniGen-v1

安装与启动步骤

  1. 1安装 PyTorch

    先按本机 CUDA 版本安装 PyTorch,README 给出 cu118 的示例命令,其他 CUDA 版本请替换对应 index-url。

    pip install torch==2.3.1+cu118 torchvision --extra-index-url https://download.pytorch.org/whl/cu118
  2. 2克隆仓库

    把 OmniGen 源码克隆到本地,README 使用官方 GitHub 地址。

    git clone https://github.com/VectorSpaceLab/OmniGen.git
  3. 3进入项目目录

    切换到克隆下来的 OmniGen 目录,后续安装和运行都在该目录进行。

    cd OmniGen
  4. 4安装 OmniGen

    以可编辑模式安装本仓库自身(-e 表示 editable),README 的 Quick Start 给出的安装命令。

    pip install -e .
  5. 5加载模型推理

    按 README 示例导入 OmniGenPipeline 并从 HuggingFace 加载 Shitao/OmniGen-v1 权重,首次运行会自动下载模型。

    from OmniGen import OmniGenPipeline
    pipe = OmniGenPipeline.from_pretrained("Shitao/OmniGen-v1")

关键配置

配置项必填说明示例
pretrained_model_name_or_path是from_pretrained 加载的模型标识,README 示例为 Shitao/OmniGen-v1Shitao/OmniGen-v1

如何确认成功

pip install -e . 无报错,且 Python 中成功导入 OmniGenPipeline 并加载 Shitao/OmniGen-v1 权重。

常见问题

Q:显存/内存需要多大?

A:README 未直接列出数值,只指向 docs/inference.md 的 requiremented-resources 章节,并说明新推理代码已优化显存占用与耗时,请查阅该文档。

Q:没有 GPU 能本地跑吗?

A:README 提供在线入口:HuggingFace Space(Shitao/OmniGen)和 Replicate 演示与 API(chenxwh/omnigen),可直接在线体验。

Q:能在 Diffusers 里使用吗?

A:可以。README News 说明自 2025-02-12 起 OmniGen 已可配合 HuggingFace Diffusers 使用,见官方 Diffusers 文档。

Q:模型权重下载失败怎么办?

A:README 只给出 HuggingFace 仓库 Shitao/OmniGen-v1,若网络受限需自行配置可访问 HuggingFace 的网络环境或镜像。

注意事项

  • README 未提供 Docker 镜像,请勿直接使用 docker run 方式部署。
  • README 提示关注 OmniGen2(https://github.com/VectorSpaceLab/OmniGen2)这一新版本。
  • 安装 PyTorch 时务必把 cu118 等版本号与本机 CUDA 驱动匹配,否则可能无法使用 GPU。
  • README 同时开源了 X2I 数据集,可用于训练/微调(见 Finetune 章节)。

核心亮点

  • 统一架构,无需为每个任务单独部署模型,简化使用流程
  • 支持多模态输入(文本+多图),实现零样本编辑和角色一致性
  • 研究论文公开,技术细节透明,便于学术参考和二次开发

不足之处

  • 文档/社区待观察
  • 训练代码未完整开源,复现门槛较高

适用场景

  • 创意设计:快速生成概念图或编辑现有图片
  • 内容创作:制作角色一致性的插画或漫画
  • 多图融合:将多张图片元素合成新图像

替代项目

Stable Diffusion、FLUX.1、DALL·E 3

上一篇:stable-diffusion-webui-colab

下一篇:ImagenHub

同类项目推荐

Efficient-VDVAE 开源

用更少资源训练高质量生成模型,图像生成提速降本。

Official Pytorch and JAX implementation of "Efficient-VDVAE: Less is more"

★ 201 2026-08-09
SDNote 开源

照着做,从零上手 Stable Diffusion 绘画

一个关于 AI 绘画的使用文档。

★ 70 2026-08-09
titok-pytorch 开源

用32个token搞定图像重建与生成,效率翻倍

Implementation of TiTok, proposed by Bytedance in "An Image is Worth 32 Tokens for R···

★ 183 2026-08-09
img2imgGAN 开源

让图像翻译不再单调,一个输入多种输出

Implementation of the paper : "Toward Multimodal Image-to-Image Translation"

★ 57 2026-08-09
stable-fashion 开源

输入文字或图片,一键生成模特试穿效果

Stable Fashion: A prompt based virtual try on repository

★ 91 2026-08-09
stable-diffusion-webui 开源

一键给 Stable Diffusion WebUI 换上柔和粉彩皮肤,颜值提升

‍ Soothing pastel theme for Stable Diffusion WebUI

★ 302 2026-08-09
Fast_text2StyleGAN 开源

用自然语言指令直接编辑人脸生成图像,无需文本标注。

Official repo of Text-Free Learning of a Natural Language Interface for Pretrained F···

★ 65 2026-08-09
ComfyUI-ZImagePowerNodes 开源

在 ComfyUI 中一键调用 Z-Image 模型,快速生成高质量图像。

A set of ComfyUI nodes designed specifically for the Z-Image / Z-Image Turbo model.

★ 367 2026-08-09