reconstruction-alignment

用重建对齐让多模态模型零样本能力大爆发

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 图像生成 🍴 复刻 19 🐛 待处理 5 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 419
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，可自由使用和部署，无付费版本。

项目预览

reconstruction-alignment 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类图像生成
开发团队HorizonWind2004
官网地址https://reconstruction-alignment.github.io
GitHubhttps://github.com/HorizonWind2004/reconstruction-alignment
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，可自由使用和部署，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型aigc,bagel,comfy,comfyui,diffusion,image-editing,image-generation,image-to-text,multimodal,text-to-image,understanding,unified
GitHub 星标★ 419
上线时间2025-09-10 00:00:00
代码更新2026-09-11
仓库体积85.5 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数4

项目介绍

Reconstruction Alignment 是 ICLR 2026 论文的官方实现，旨在通过自监督学习提升统一多模态模型（如文本到图像、图像编辑、图像理解等）的零样本能力。项目核心是提出一种重建对齐方法，在训练过程中引入图像重建任务，使模型更好地对齐视觉与语言表征，从而解锁大规模零样本潜力。它基于 ComfyUI 生态，提供 ComfyUI 节点，方便集成到现有工作流中。解决的问题是统一多模态模型在零样本场景下性能不足、模态对齐薄弱的问题。核心能力包括：支持文本到图像、图像编辑、图像到文本等多种任务，通过自监督重建增强表征，且易于在 ComfyUI 中部署使用。项目处于早期阶段，代码和文档正在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 419

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 60 分钟 部署方式：本地GPU 4 步

环境要求

  • NVIDIA GPU（显存 24GB 起）
  • PyTorch
  • 模型权重

安装与启动步骤

  1. 1拉仓库看方法

    它用重建对齐来改进统一多模态模型。

  2. 2建环境装依赖

    按仓库说明装，注意训练框架版本。

  3. 3跑一次推理对比

    同一提示下比较改进前后的生成质量。

  4. 4要看指标也要看图

    重建误差下降不一定意味着观感更好。

如何确认成功

在相同提示与随机种子下，改进后的模型在细粒度还原上更准，重建指标同时下降而不是此消彼长

注意事项

  • 它研究的是统一多模态模型里生成与理解如何互相促进，属于方法验证。
  • 训练成本高，多数人只跑推理对比。
  • 重建指标与人类观感有差距，两者都要看。
  • 研究代码，依赖版本敏感。
  • 基座模型的许可决定输出能否商用。

核心亮点

  • 提出新颖的重建对齐自监督方法，显著提升统一多模态模型零样本性能
  • 基于 ComfyUI 提供节点，集成方便，可快速在现有图像生成工作流中试用
  • 官方 ICLR 论文背书，方法有理论支撑，代码开源可复现

不足之处

  • 项目处于早期，文档和示例尚不完善，上手门槛较高
  • 依赖 ComfyUI 环境，非 ComfyUI 用户需额外适配

适用场景

  • 在 ComfyUI 中快速实验多模态零样本生成与编辑
  • 研究多模态模型表征对齐与自监督学习
  • 构建统一的图像理解与生成混合应用

替代项目

UniDiffuser、SEED-LLaMA、Emu2

上一篇：LakonLab

下一篇：i1

同类项目推荐

X-Prompt 开源

用统一提示词，让自回归模型轻松搞定各类图像生成任务

Official implementation of X-Prompt: Towards Universal In-Context Image Generation i···

★ 158 2026-08-09
PointLLM 开源

让大模型看懂三维点云，直接对话物体细节

[ECCV 2024 Best Paper Candidate & TPAMI 2025] PointLLM: Empowering Large Language Mo···

★ 1064 2026-08-09
gpt-oss 开源

OpenAI 开放权重模型，本地部署也能跑出强推理

gpt-oss-120b and gpt-oss-20b are two open-weight language models by OpenAI

★ 20512 2026-10-17
InternLM 开源

开箱即用的中文大模型，从预训练到部署全流程搞定

Official release of InternLM series (InternLM, InternLM2, InternLM2.5, InternLM3).

★ 7277 2026-08-09
LabVLA 开源

让机器人看懂实验手册，自动完成科研操作

LabVLA: Grounding Vision–Language–Action Models in Scientific Laboratories

★ 110 2026-08-09
awesome-diffusion-iclr-2025 开源

一键速览 ICLR 2025 扩散模型论文，追踪研究热点不迷路

List of diffusion related active submissions on OpenReview for ICLR 2025.

★ 61 2026-08-09
Awesome-LLM-Reasoning-with-NeSy 开源

一网打尽神经符号+大模型前沿，快速入门推理增强

✨✨Latest Advances on Neuro-Symbolic Learning in the era of Large Language Models

★ 334 2026-08-09