AlignProp

直接反向传播奖励，让扩散模型更听话，效率提升25倍

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 图像生成 🍴 复刻 11 🐛 待处理 6 👀 关注 8
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 330
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

AlignProp 项目界面预览图
图片来源：项目官网

项目数据

分类图像生成
开发团队mihirp1998
官网地址https://align-prop.github.io
GitHubhttps://github.com/mihirp1998/AlignProp
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型alignment,diffusion-models,reinforcement-learning,stable-diffusion,text-to-image
GitHub 星标★ 330
上线时间2023-10-06 00:00:00
代码更新2024-11-01
仓库体积4.0 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

AlignProp 是一个用于对齐大规模文本到图像扩散模型的开源项目，核心思想是直接对奖励函数进行反向传播，以微调 Stable Diffusion 等模型，从而替代传统的强化学习（如 PPO）方法。它解决了扩散模型在生成图像时与人类偏好或特定奖励不一致的问题，通过端到端的梯度传播，将奖励信号直接融入模型参数更新中，显著提升了样本和计算效率。项目提供了完整的训练和推理代码，支持自定义奖励函数，并展示了在图像质量、提示遵循度等指标上的提升。其核心能力包括高效的奖励对齐、灵活的奖励设计接口，以及适用于大规模模型的优化策略。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 330

核心亮点

  • 比 PPO 方法样本效率高 25 倍，训练更快更省资源
  • 直接对奖励函数做反向传播，无需复杂强化学习管线
  • 支持自定义奖励函数，可灵活适配多种对齐目标

不足之处

  • 对奖励函数可微性有要求，非可微奖励需额外处理
  • 文档/社区待观察，项目较早期，示例和教程有限

适用场景

  • 微调 Stable Diffusion 以提升图像美学质量
  • 根据用户反馈或特定指标优化生成图像的提示遵循度
  • 在资源有限环境下快速对齐大型扩散模型

替代项目

DPO（Direct Preference Optimization）、DDPO（Denoising Diffusion Policy Optimization）、ReFL（Reward Feedback Learning）

上一篇：TCD

下一篇：e4t-diffusion

同类项目推荐

JacobiForcing 开源

让模型生成快数倍，质量不打折的并行解码新方案

[ICML 2026] Jacobi Forcing: Fast and Accurate Diffusion-style Decoding

★ 119 2026-08-09
llm-engine 开源

自建大模型推理与微调平台，OpenAI 接口一键迁移

Scale LLM Engine public repository

★ 840 2026-09-16
LightCompress 开源

一套工具压缩 LLM/VLM/视频模型，部署更省资源

[EMNLP 2024 & AAAI 2026] A powerful toolkit for compressing large models including L···

★ 756 2026-08-09
Rethinking-OPD 开源

拆解大模型在线蒸馏为何翻车，给出可复现配方

[TMLR] Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Me···

★ 1068 2026-09-15
MARS 开源

用方差缩减技术，让大模型训练更快更稳

The official implementation of MARS: Unleashing the Power of Variance Reduction for ···

★ 725 2026-08-09
paxml 开源

用JAX训练超大模型，榨干GPU算力，配置灵活不掉队。

Pax is a Jax-based machine learning framework for training large scale models. Pax a···

★ 560 2026-08-09
TimeSeriesScientist 开源

一键搞定时间序列预测，省去繁琐调参

Official Repository for TimeSeriesScientist

★ 179 2026-08-09
LyCORIS 开源

超越 LoRA 的微调工具箱，让 Stable Diffusion 定制更灵活高效

Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable d···

★ 2539 2026-08-09