直接反向传播奖励，让扩散模型更听话，效率提升25倍
AlignProp 是一个用于对齐大规模文本到图像扩散模型的开源项目，核心思想是直接对奖励函数进行反向传播，以微调 Stable Diffusion 等模型，从而替代传统的强化学习（如 PPO）方法。它解决了扩散模型在生成图像时与人类偏好或特定奖励不一致的问题，通过端到端的梯度传播，将奖励信号直接融入模型参数更新中，显著提升了样本和计算效率。项目提供了完整的训练和推理代码，支持自定义奖励函数，并展示了在图像质量、提示遵循度等指标上的提升。其核心能力包括高效的奖励对齐、灵活的奖励设计接口，以及适用于大规模模型的优化策略。
DPO（Direct Preference Optimization）、DDPO（Denoising Diffusion Policy Optimization）、ReFL（Reward Feedback Learning）
AlignProp 是模型训练领域的开源项目，由 mihirp1998 开发，2023 年首次发布。
它收录于模型训练分类，该分类目前共有 522 个项目，GitHub 星标数为 328。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-07。MIT许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：微调StableDiffusion以提升图像美学质量。同类可对比的替代方案包括 DPO（Direct Preference Optimization）、DDPO（Denoising Diffusion Policy Optimization…。
上一篇：TCD
下一篇：e4t-diffusion
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
