LRV-Instruction

减少多模态模型胡说八道，让AI描述更靠谱

LRV-Instruction 是一个用于缓解大型多模态模型（LMM）幻觉问题的开源项目，其核心方法是通过鲁棒的指令微调来提升模型对视觉内容的忠实度。项目针对当前多模态模型在生成描述时容易产生与图像不符的虚构内容这一痛点，构建了包含大量视觉指令数据的训练集，并设计了专门的微调策略。它解决的问题是：当模型面对复杂或模糊的视觉输入时，如何减少错误联想和过度生成。核心能力包括：提供一套完整的指令数据构建流程、模型微调代码以及评估基准，帮助研究者和开发者训练出更可靠的多模态模型。该项目源自ICLR 2024论文，具有学术严谨性，适合用于研究或产品化前的模型优化。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 296

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队FuxiaoLiu

所属国家

官网地址https://fuxiaoliu.github.io/LRV

GitHubhttps://github.com/FuxiaoLiu/LRV-Instruction

定价模式free

价格说明开源项目，BSD-3-Clause许可证，可自由使用，无付费版本。

访问状态

是否开源是

开源协议BSD-3-Clause

主要语言Python

技术栈/模型chatgpt,evaluation,evaluation-metrics,foundation-models,gpt,gpt-4,hallucination,iclr,iclr2024,llama,llava,multimodal,object-detection,prompt-engineering,vicuna,vision,vision-and-language,vqa

GitHub 星标★ 296

30天Star增速

HF 下载量

上线时间2023-06-15 00:00:00

最近更新2026-08-14 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

使用教程

核心亮点

针对幻觉问题提供了系统的数据构建和微调方案，效果有论文验证
代码和数据集开源，便于复现和二次开发
基于ICLR 2024论文，方法具有学术前沿性

不足之处

项目处于早期，文档和社区支持待观察
依赖特定模型框架，迁移到其他架构可能需要额外适配

适用场景

多模态模型训练时减少描述幻觉
视觉问答系统提升回答准确性
学术研究对比不同指令微调策略

替代项目

LLaVA、InstructBLIP、MiniGPT-4

项目介绍

LRV-Instruction 是模型训练领域的开源项目，由 FuxiaoLiu 开发，2023 年首次发布。

它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 296。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-14。BSD-3-Clause许可证，可自由使用，无付费版本。

它主要面向的使用场景是：多模态模型训练时减少描述幻觉。同类可对比的替代方案包括 LLaVA、InstructBLIP、MiniGPT-4。

上一篇：CLIPA

下一篇：tirex