LRV-Instruction

减少多模态模型胡说八道,让AI描述更靠谱

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 16 🐛 待处理 4 👀 关注 13
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 297
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,BSD-3-Clause许可证,可自由使用,无付费版本。

项目预览

LRV-Instruction 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队FuxiaoLiu
定价模式🏷️完全免费
价格说明开源项目,BSD-3-Clause许可证,可自由使用,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议BSD-3-Clause
主要语言Python
技术栈/模型chatgpt,evaluation,evaluation-metrics,foundation-models,gpt,gpt-4,hallucination,iclr,iclr2024,llama,llava,multimodal,object-detection,prompt-engineering,vicuna,vision,vision-and-language,vqa
GitHub 星标★ 297
上线时间2023-06-15 00:00:00
代码更新2024-03-13
仓库体积24.5 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

LRV-Instruction 是一个用于缓解大型多模态模型(LMM)幻觉问题的开源项目,其核心方法是通过鲁棒的指令微调来提升模型对视觉内容的忠实度。项目针对当前多模态模型在生成描述时容易产生与图像不符的虚构内容这一痛点,构建了包含大量视觉指令数据的训练集,并设计了专门的微调策略。它解决的问题是:当模型面对复杂或模糊的视觉输入时,如何减少错误联想和过度生成。核心能力包括:提供一套完整的指令数据构建流程、模型微调代码以及评估基准,帮助研究者和开发者训练出更可靠的多模态模型。该项目源自ICLR 2024论文,具有学术严谨性,适合用于研究或产品化前的模型优化。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 297

核心亮点

  • 针对幻觉问题提供了系统的数据构建和微调方案,效果有论文验证
  • 代码和数据集开源,便于复现和二次开发
  • 基于ICLR 2024论文,方法具有学术前沿性

不足之处

  • 项目处于早期,文档和社区支持待观察
  • 依赖特定模型框架,迁移到其他架构可能需要额外适配

适用场景

  • 多模态模型训练时减少描述幻觉
  • 视觉问答系统提升回答准确性
  • 学术研究对比不同指令微调策略

替代项目

LLaVA、InstructBLIP、MiniGPT-4

上一篇:CLIPA

下一篇:tirex

同类项目推荐

LightCompress 开源

一套工具压缩 LLM/VLM/视频模型,部署更省资源

[EMNLP 2024 & AAAI 2026] A powerful toolkit for compressing large models including L···

★ 755 2026-08-09
twinkle 开源

一站式训练工作台,让模型训练更省心

Twinkle✨: Training workbench to make your model glow.

★ 261 2026-10-17
verifiers 开源

一套接口搞定 RL 训练环境与评测

Our library for RL environments + evals

★ 4776 2026-09-14
DB-GPT-Hub 开源

一键微调大模型,让数据库查询更智能

A repository that contains models, datasets, and fine-tuning techniques for DB-GPT, ···

★ 2015 2026-08-09
Time-R1 开源

用三阶段强化学习,让大模型真正理解时间、预测未来。

Time-R1: Framework and resources for endowing LLMs with comprehensive temporal reaso···

★ 72 2026-08-09
diffusion_distiller 开源

把扩散模型蒸馏成少步采样,生成速度提升数倍

PyTorch Implementation of "Progressive Distillation for Fast Sampling of Diffusion M···

★ 260 2026-08-09
kg-llm 开源

用大模型补全知识图谱,论文级代码直接复现

Exploring large language models for knowledge graph completion. ICASSP 2025

★ 163 2026-08-09
MindPipe 开源

一键压缩大模型,让 LLM 在 NVIDIA 和昇腾上跑得更快更省显存。

A powerful model compression framework for LLMs and LVLMs, adapted for NVIDIA GPUs a···

★ 7 2026-08-09
verl-vla 开源

采集+微调+RL 一条龙,让机器人 VLA 策略快速迭代

A unified VLA post-training framework for human-in-the-loop data collection, fine-tu···

★ 151 2026-09-29