RLHF-V

用细粒度人类纠错对齐模型行为,大幅减少视觉幻觉。

开源 🏷️定价信息待确认 ✅ 目前可打开 对话助手 🍴 复刻 8 🐛 待处理 2 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 311
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

RLHF-V 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队RLHF-V
定价模式🏷️定价信息待确认
价格说明项目为研究性质,官网提供演示页面,但未明确收费信息,定价待确认。
访问状态✅ 目前可打开
是否开源是
主要语言Python
技术栈/模型chatbot,gpt-4,llama,multi-modality,multimodal,rlhf-v,visual-language-learning
GitHub 星标★ 311
上线时间2023-11-29 00:00:00
代码更新2024-09-11
仓库体积72.3 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

RLHF-V 是一个面向多模态大语言模型(MLLMs)的可信行为对齐框架,核心解决模型在视觉对话中产生幻觉(如描述不存在的物体)的问题。它通过收集细粒度的修正性人类反馈(即人类对模型错误回答进行精确纠错),并利用这些反馈进行偏好优化,使模型行为与人类意图更一致。项目提供了完整的训练代码、数据生成流程和评估基准,支持基于 LLaVA 等主流架构的模型微调。其核心能力包括:从人类修正中构建高质量偏好对、使用直接偏好优化(DPO)算法高效对齐、以及显著降低模型幻觉率。该工作发表于 CVPR 2024,为构建可信赖的视觉语言助手提供了实用方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 311

核心亮点

  • 提出细粒度修正反馈范式,比传统整体偏好标注更精准,能定位到具体错误片段
  • 开源了完整的训练代码、数据构建脚本和幻觉评估基准,易于复现
  • 在多个基准上显著降低模型幻觉率,同时保持通用视觉对话能力

不足之处

  • 依赖人工细粒度纠错数据,数据构建成本较高
  • 文档/社区待观察

适用场景

  • 多模态助手幻觉问题治理
  • 视觉语言模型的可靠对齐训练
  • 细粒度人类反馈数据构建与研究

替代项目

LLaVA-RLHF、RLHF-V (原项目)、Vision-Flan

同类项目推荐

codebase-for-incremental-learnin··· 开源

让大模型学新知识不忘旧技能,复现ACL论文的增量学习工具箱

[ACL2024] A Codebase for Incremental Learning with Large Language Models; Official r···

★ 63 2026-08-09
nnscaler 开源

写单卡模型,编译器自动生成多卡并行训练方案

nnScaler: Compiling DNN models for Parallel Training

★ 136 2026-10-31
MPO 开源

让LLM智能体先学会定计划,再动手执行,提升复杂任务成功率

MPO: Boosting LLM Agents with Meta Plan Optimization (EMNLP 2025 Findings)

★ 82 2026-08-09
LyCORIS 开源

超越 LoRA 的微调工具箱,让 Stable Diffusion 定制更灵活高效

Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable d···

★ 2539 2026-08-09
SimpleTuner 开源

一条命令微调扩散模型,图像视频音频通吃

A general fine-tuning kit geared toward image/video/audio diffusion models.

★ 2954 2026-08-09
e4t-diffusion 开源

输入一张图,秒级生成个性化图像,免去繁琐微调

Implementation of Encoder-based Domain Tuning for Fast Personalization of Text-to-Im···

★ 322 2026-08-09
ktransformers 开源

单卡甚至纯CPU跑大模型,显存不够也能玩转MoE推理微调

A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimiza···

★ 19660 2026-09-16
EasySteer 开源

不重训模型,推理时插拔式控制 LLM 行为

[EMNLP 2026] A Unified Framework for High-Performance and Extensible LLM Steering

★ 313 2026-10-07
ringattention 开源

环形分布注意力,让长上下文处理又快又省显存

Large Context Attention

★ 775 2026-08-09