Re-Align

用图像检索给VLM装上“防幻觉滤镜”，生成更可信。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 1 🐛 待处理 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 52
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，可自由使用和部署，无付费版本。

项目预览

Re-Align 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队taco-group
官网地址https://taco-group.github.io/Re-Align
GitHubhttps://github.com/taco-group/Re-Align
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，可自由使用和部署，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型alignment,dpo,hallucination,hallucination-mitigation,large-language-models,llm,mllm,multimodal-large-language-models,post-training,ppo,rlhf,safety,vision-language-model,vlm
GitHub 星标★ 52
上线时间2025-02-18 00:00:00
代码更新2025-08-21
仓库体积19.1 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

Re-Align 是一个针对视觉语言模型（VLM）幻觉问题的对齐框架，发表于 EMNLP 2025。它通过引入图像检索机制，在模型生成文本时检索相关图像作为额外上下文，从而减少模型对视觉内容的错误描述。该框架核心能力包括：利用检索到的图像增强模型对视觉信息的理解，通过重新对齐视觉与语言表征来抑制幻觉输出。它解决了 VLM 在生成描述时容易产生与图像不符的虚假内容这一关键问题，提升了模型输出的可靠性和准确性。项目提供完整的训练和推理代码，支持主流 VLM 架构，并附带基准测试工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 52

核心亮点

  • 创新性地将图像检索引入对齐阶段，直接针对幻觉源头，方法新颖且有效。
  • 在多个 VLM 基准上显著降低幻觉率，同时保持生成质量。
  • 代码结构清晰，提供完整训练/推理流程，便于复现和二次开发。

不足之处

  • 依赖外部图像检索库，增加部署复杂度和推理延迟。
  • 文档/社区待观察，目前仅有论文和基础代码，缺少详细教程和社区支持。

适用场景

  • 多模态内容审核，需要准确描述图像内容。
  • 辅助视觉问答系统，减少错误信息。
  • 自动驾驶或医疗影像等对幻觉容忍度低的场景。

替代项目

LLaVA、InstructBLIP、RLHF-V

上一篇：kg-llm

下一篇：MPO

同类项目推荐

lorax 开源

一个服务跑上千个微调模型，省 GPU 又省心

Multi-LoRA inference server that scales to 1000s of fine-tuned LLMs

★ 3836 2026-08-09
optimate 开源

给 AI 模型瘦身提速，部署更快更省资源

A collection of libraries to optimise AI model performances

★ 8327 2026-08-09
denoising_diffusion 开源

用PyTorch Lightning复现DDPM，快速跑通扩散模型训练与生成

Unofficial Implementation of "Denoising Diffusion Probabilistic Models" in PyTorch(L···

★ 91 2026-08-09
data-forcing-distillation 开源

少步生成视频，不丢多样性和画质

Data-Forcing Distillation (DFD): restoring diversity and fidelity in few-step video ···

★ 65 2026-08-09
UniRL 开源

一套框架搞定多种数据训练，强化学习不再各搞各的

UniRL is a Framework for Unified Multimodal Model Reinforcement Learning

★ 1045 2026-08-09
LightCompress 开源

一套工具压缩 LLM/VLM/视频模型，部署更省资源

[EMNLP 2024 & AAAI 2026] A powerful toolkit for compressing large models including L···

★ 754 2026-08-09
Spectral-DeTuning 开源

一键还原生成模型微调前的原始权重，逆向去微调

Official PyTorch Implementation for the "Recovering the Pre-Fine-Tuning Weights of G···

★ 86 2026-08-09
Rethinking-OPD 开源

拆解大模型在线蒸馏为何翻车，给出可复现配方

[TMLR] Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Me···

★ 1068 2026-09-15