VADER

用奖励梯度微调视频模型，让生成结果更合你心意

VADER 是一个用于视频扩散模型对齐的开源项目，通过奖励梯度（Reward Gradients）对预训练的视频生成模型进行微调，以提升生成视频的质量和与人类偏好的对齐度。它支持多种主流视频扩散模型，如 VideoCrafter、OpenSora、ModelScope 和 StableVideoDiffusion，并集成多种奖励模型（如 HPS、PickScore、VideoMAE、VJEPA、YOLO、Aesthetics 等），用于评估和优化生成结果。该项目解决了视频生成中缺乏高质量奖励信号、难以直接优化人类偏好等问题，提供了一套基于强化学习（RLHF）的微调框架。核心能力包括：灵活的奖励模型集成、对多种视频模型的适配、以及基于梯度更新的高效对齐训练。VADER 适用于视频生成模型的后期优化，帮助研究者和开发者在不改变模型架构的前提下，显著提升生成视频的视觉质量、语义一致性和用户满意度。