RLAIF-V

用开源反馈训练视觉模型，让AI不懂装懂时敢说“不知道”

RLAIF-V 是一个面向多模态大语言模型的可信度优化框架，核心解决开源模型在视觉问答中过度自信、生成不可信内容的问题。它利用开源AI反馈（RLAIF）替代昂贵的人工标注或GPT-4V反馈，通过偏好优化（如DPO）训练模型，使其在回答中更准确地表达不确定性，例如在无法确定时主动说“不确定”或拒绝回答。项目提供了完整的训练、评估和推理代码，支持LLaVA、MiniCPM-V等主流视觉语言模型，并发布了相关数据集和模型权重。其核心能力包括：基于开源反馈的偏好数据构建、多粒度奖励建模、以及显著提升模型在幻觉基准（如POPE、MME）上的表现，使开源模型在可信度上达到甚至超越GPT-4V的水平。该工作发表于CVPR 2025 Highlight，为视觉语言模型的安全可靠落地提供了低成本、可复现的解决方案。