OneDiffusion

一个模型搞定图像生成、编辑、重建与视角合成

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 19 🐛 待处理 18 👀 关注 34
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 662
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,代码公开,可自行部署使用,无付费版本。

项目预览

OneDiffusion 项目界面预览图
图片来源:项目官网

项目数据

分类图像生成
开发团队lehduong
定价模式🏷️完全免费
价格说明开源项目,代码公开,可自行部署使用,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型diffusion-models,image-translation,novel-view-synthesis,single-view-reconstruction,stable-diffusion,text-to-image
GitHub 星标★ 662
上线时间2024-11-24 00:00:00
代码更新2024-12-14
仓库体积29.4 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

OneDiffusion 是 CVPR 2025 论文的官方实现,一个基于扩散模型的统一图像生成与编辑框架。它解决了传统扩散模型只能处理单一任务(如文生图或图生图)的局限,通过一个模型同时支持文本到图像、图像到文本、单视角重建、新视角合成、图像编辑与翻译等多种任务。其核心能力在于使用大规模图像和视频数据训练,实现任务间的协同与泛化,并支持在推理时通过尺度自适应实现从单图到多图的生成。项目提供简洁的推理代码和预训练模型,方便研究者复现和扩展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 662

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 80 分钟 部署方式:本地安装 4 步

环境要求

  • CUDA GPU(大显存)
  • Python 3.8
  • 预训练权重

安装与启动步骤

  1. 1建环境

    双向图像生成与理解的扩散模型。

    conda create -n onediffusion_env python=3.8
  2. 2装 PyTorch

    按 cu118 索引装,注意链式安装的写法。

    pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118
  3. 3装 pytorch3d

    从源码装,编译时间长。

    pip install "git+https://github.com/facebookresearch/pytorch3d.git"
  4. 4跑 Gradio 演示

    可切换不同的图像描述器,按显存选。

    python gradio_demo.py --captioner molmo

如何确认成功

演示界面能完成一次生成与理解任务

注意事项

  • pytorch3d 编译是最大门槛,失败先看 CUDA 版本。
  • 不同 captioner 显存占用差别大,按机器选。

核心亮点

  • 统一框架:单一模型覆盖多种图像任务,减少多模型切换成本
  • 论文官方实现:代码与 CVPR 2025 论文对应,可靠性高
  • 支持尺度自适应:推理时可从单图扩展到多图生成,灵活性好

不足之处

  • 早期项目,文档和社区支持待观察
  • 依赖特定预训练模型,可能对硬件要求较高

适用场景

  • 学术研究:复现论文结果或扩展新任务
  • 3D内容创作:从单张图片生成多视角图像
  • 图像编辑与翻译:统一处理风格迁移、修复等任务

替代项目

Stable Diffusion、ControlNet、Zero-1-to-3

上一篇:HunyuanImage-2.1

下一篇:flash-diffusion

同类项目推荐

StableDiffusion 开源

用 C# 跑 Stable Diffusion,无需 Python 环境

Inference Stable Diffusion with C# and ONNX Runtime

★ 245 2026-08-09
triangle 开源

一键把照片变成低多边形艺术,效果惊艳

Convert images to computer generated art using delaunay triangulation.

★ 2071 2026-08-09
GigaGAN 开源

让 GAN 也能生成高清文本图像,速度飞快

Implementation of GigaGAN: Scaling up GANs for Text-to-Image Synthesis

★ 58 2026-08-09
DirectedDiffusion 开源

用边界框指定物体位置,让 AI 生成图精准布局

Directed Diffusion: Direct Control of Object Placement through Attention Guidance (A···

★ 82 2026-08-09
ComfyUI_fabric 开源

在 ComfyUI 中实现基于反馈的个性化图像生成,迭代优化更合心意。

ComfyUI nodes based on the paper "FABRIC: Personalizing Diffusion Models with Iterat···

★ 95 2026-08-09
luna 开源

输入文字,快速生成图像,简化 Stable Diffusion 使用

text to image generation with stable diffusion

★ 65 2026-08-09
ReNoise-Inversion 开源

让真实图像精准反演,编辑更自然可控

Officail Implementation for "ReNoise: Real Image Inversion Through Iterative Noising···

★ 263 2026-08-09
awesome-stable-diffusion 开源

一站式导航,快速找到Stable Diffusion的优质资源

A curated list of awesome stable diffusion resources

★ 82 2026-08-09