
DreamOmni2
一句话指令,精准编辑和生成图像,多模态统一搞定。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1969
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 已安装 Git,可访问 GitHub
- 已安装 Python 与 pip(能执行 pip install)
- 已安装 huggingface-cli(huggingface_hub)用于下载权重
- 磁盘空间充足,用于存放 DreamOmni2 模型权重
- 网络可访问 GitHub 与 Hugging Face
安装与启动步骤
-
1克隆代码仓库
从 GitHub 拉取 DreamOmni2 官方代码到本地,README 提供的仓库地址为 dvlab-research/DreamOmni2。
git clone https://github.com/dvlab-research/DreamOmni2 -
2进入项目目录
切换到刚克隆下来的 DreamOmni2 目录,后续安装与下载都在该目录内执行。
cd ./DreamOmni2 -
3安装 Python 依赖
按 README 要求安装 requirements.txt 中列出的必要依赖,建议先建好虚拟环境再执行。
pip install -r requirements.txt -
4下载模型权重
用 huggingface-cli 把 xiabs/DreamOmni2 权重下载到项目下的 models 目录,README 明确要求放在此目录。
huggingface-cli download --resume-download --local-dir-use-symlinks False xiabs/DreamOmni2 --local-dir ./models -
5在线体验(可选)
若只想快速试用,README 提供了 Hugging Face 编辑/生成两个官方 Space,可直接在浏览器中使用。
如何确认成功
克隆后目录内出现 requirements.txt,且 ./models 目录成功下载到 DreamOmni2 权重文件,即表示环境准备完成。
常见问题
Q:下载权重中途断了怎么办?
A:README 的下载命令自带 --resume-download,重新执行同一条命令即可断点续传,无需删除已下载文件。
Q:没有本地环境能先看看效果吗?
A:可以。README 提供了官方 Hugging Face Space 编辑与生成两个在线 Demo,直接在浏览器打开即可体验。
Q:权重必须放在某个固定路径吗?
A:README 明确将权重下载到 ./models 目录,建议保持该路径不变,避免后续代码默认读取不到。
Q:跑通安装后怎么推理?
A:README 节选中只给出了克隆、装依赖、下载权重三步,未提供推理脚本命令,请以仓库后续文档为准。
注意事项
- README 节选中未给出推理/训练的具体启动命令,相关用法需查看仓库完整文档。
- 模型权重文件较大,下载耗时较长,请预留足够的磁盘空间与时间。
- 官方同时提供 Hugging Face Space 在线 Demo,可作为本地部署前的快速验证方式。
- 安装依赖建议在独立虚拟环境中进行,避免污染系统 Python 环境。
核心亮点
- 多模态指令理解能力强,支持文本+图像+区域框组合输入,编辑意图把握准确
- 统一编辑与生成架构,一个模型搞定局部修改、风格迁移和全景生成,无需切换工具
- CVPR 2026 Highlight 论文官方实现,代码质量高,提供预训练权重,复现门槛低
不足之处
- 模型参数量较大,推理资源需求高,普通消费级显卡难以流畅运行
- 文档/社区待观察
适用场景
- 设计师快速生成和迭代创意素材,如根据描述修改产品图背景或风格
- 影视后期制作中,对视频帧进行局部重绘或物体替换,保持风格一致
- 电商场景中,根据用户自然语言描述自动生成商品展示图或个性化定制图
替代项目
InstructPix2Pix、ControlNet、SEED-X
同类项目推荐
blur-diffusion
开源
渐进去模糊,让扩散模型生成更快更清晰
Official PyTorch implementation of the paper Progressive Deblurring of Diffusion Mod···
StyleNAT
开源
用邻域注意力生成高清人脸,FID 2.05 刷新纪录
New flexible and efficient image generation framework that sets new SOTA on FFHQ-256···
awesome-generative-art
开源
一站式导航生成艺术资源,从入门到进阶。
Awesome generative art
Paint-by-Sketch
开源
画个草图,参考图自动填充,图像编辑更直观
Stable Diffusion-based image manipulation method with a sketch and reference image
comfyui_jankhidiffusion
开源
在 ComfyUI 里一键提升高分辨率出图质量,无需训练模型
Janky implementation of HiDiffusion for ComfyUI
DiLightNet
开源
拖拽光源方向,AI 生成图像光影自然如摄影棚打光
Official Code Release for [SIGGRAPH 2024] DiLightNet: Fine-grained Lighting Control ···
ComfyUI-qwenmultiangle
开源
拖拽3D相机定机位,一键生成多角度提示词
A ComfyUI custom node for 3D camera angle control. Provides an interactive Three.js ···
stable_diffusion_playground
开源
玩转Stable Diffusion,保存元数据实现可复现,还能图像插值
Playing around with stable diffusion. Generated images are reproducible because I sa···
stable-diffusion-react-nextjs-mu···
开源
浏览器里玩转 Stable Diffusion,开箱即用的 PWA 前端
PWA Web App front end for Stable Diffusion, on React/NextJS with Material UI