RLAIF-V
用开源反馈训练视觉模型，让AI不懂装懂时敢说“不知道”
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 462
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- CUDA GPU
- Python
- 模型权重
安装与启动步骤
-
1拉代码
研究工程。
-
2装环境
按其说明装依赖与评测工具。
-
3下模型与数据
权重与开源反馈数据分开获取。
-
4跑对齐训练
先小规模验证流程。
-
5跑评测
按它给的评测集对分。
如何确认成功
小规模训练能跑通并产出检查点，评测分数相比基线有可解释的变化
注意事项
- 它研究的是用开源反馈做多模态模型的对齐，不依赖闭源模型打分。
- 开源反馈的质量参差，训练前最好抽样看几批。
- 全量训练成本高，先用小规模验证流程正确。
- 评测集与训练数据要隔离，否则分数没有意义。
核心亮点
- 首创用开源AI反馈替代GPT-4V反馈，成本降低且效果相当，实验证明在多个幻觉基准上超越GPT-4V
- 提供完整训练流程与数据集，支持LLaVA-Next、MiniCPM-V等主流模型，开箱即用
- 在POPE、MME等权威基准上显著降低幻觉率，提升模型回答的可靠性和用户信任度
不足之处
- 项目处于早期阶段，文档和社区支持尚待完善，部分依赖库版本兼容性需自行调试
- 训练资源需求较高，对个人开发者不友好，需要多卡GPU才能复现实验
适用场景
- 构建高可信度的视觉问答助手，用于医疗、法律等对错误回答容忍度低的场景
- 为开源多模态模型提供低成本的对齐优化方案，提升其商业落地安全性
- 研究视觉语言模型幻觉问题的学术实验和基准测试
替代项目
LLaVA-RLHF、RLHF-V、HallusionBench
上一篇：EasyLM
下一篇：Open-LLaVA-NeXT
同类项目推荐
Primus
开源
在 AMD GPU 上高效训练大模型，开箱即用
A flexible and high-performance training framework designed for large-scale foundati···
TinyEngram
开源
给大模型装上长期记忆，让对话和生成更连贯
Research of DeepSeek Engram Architecture based on Qwen-3 and Stable Diffusion series···
Rearchitecting-LLMs
开源
手把手教你剪枝、蒸馏、优化注意力，免费GPU跑通
Official code for the Manning book on structural LLM optimization: depth/width pruni···
GRAPE
开源
给图神经网络装上更强的位置编码，提升结构感知能力。
[ICLR 2026] GRAPE: Group Representational Position Encoding (https://arxiv.org/abs/2···
multimodal
开源
用 PyTorch 快速搭多模态模型训练管线
TorchMultimodal is a PyTorch library for training state-of-the-art multimodal multi-···
huggingface-gemma-recipes
开源
照着 Notebook 跑，Gemma 推理微调一步到位
Inference, Fine Tuning and many more recipes with Gemma family of models
gemma-tuner-multimodal
开源
Mac 上直接微调 Gemma 多模态模型，图文音一起训
Fine-tune Gemma 4 and 3n with audio, images and text on Apple Silicon, using PyTorch···
LLMEmb
开源
让大模型嵌入更精准，提升检索与语义匹配效果
[AAAI'25 Oral] The official implementation code of LLMEmb
TFMQ-DM
开源
给扩散模型瘦身，4-bit量化不降画质，部署提速。
[CVPR 2024 Highlight & TPAMI 2025] This is the official PyTorch implementation of "T···