Re-Align

用图像检索给VLM装上“防幻觉滤镜”，生成更可信。

Re-Align 是一个针对视觉语言模型（VLM）幻觉问题的对齐框架，发表于 EMNLP 2025。它通过引入图像检索机制，在模型生成文本时检索相关图像作为额外上下文，从而减少模型对视觉内容的错误描述。该框架核心能力包括：利用检索到的图像增强模型对视觉信息的理解，通过重新对齐视觉与语言表征来抑制幻觉输出。它解决了 VLM 在生成描述时容易产生与图像不符的虚假内容这一关键问题，提升了模型输出的可靠性和准确性。项目提供完整的训练和推理代码，支持主流 VLM 架构，并附带基准测试工具。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 52

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队taco-group

所属国家

官网地址https://taco-group.github.io/Re-Align

GitHubhttps://github.com/taco-group/Re-Align

定价模式free

价格说明开源项目，Apache-2.0 许可证，可自由使用和部署，无付费版本。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型alignment,dpo,hallucination,hallucination-mitigation,large-language-models,llm,mllm,multimodal-large-language-models,post-training,ppo,rlhf,safety,vision-language-model,vlm

GitHub 星标★ 52

30天Star增速

HF 下载量

上线时间2025-02-18 00:00:00

最近更新2026-09-09 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

创新性地将图像检索引入对齐阶段，直接针对幻觉源头，方法新颖且有效。
在多个 VLM 基准上显著降低幻觉率，同时保持生成质量。
代码结构清晰，提供完整训练/推理流程，便于复现和二次开发。

不足之处

依赖外部图像检索库，增加部署复杂度和推理延迟。
文档/社区待观察，目前仅有论文和基础代码，缺少详细教程和社区支持。

适用场景

多模态内容审核，需要准确描述图像内容。
辅助视觉问答系统，减少错误信息。
自动驾驶或医疗影像等对幻觉容忍度低的场景。

替代项目

LLaVA、InstructBLIP、RLHF-V

项目介绍

Re-Align 是模型训练领域的开源项目，由 taco-group 开发，2025 年首次发布。

它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 52。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-09。Apache-2.0 许可证，可自由使用和部署，无付费版本。

它主要面向的使用场景是：多模态内容审核，需要准确描述图像内容。同类可对比的替代方案包括 LLaVA、InstructBLIP、RLHF-V。

上一篇：kg-llm

下一篇：MPO