HallusionBench

测出多模态模型的视觉幻觉,看清谁在瞎猜

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 10 🐛 待处理 4 👀 关注 5
GitHub ↗
GitHub 星标 ★ 346
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源基准测试项目,BSD-3-Clause许可证,完全免费,无付费版本。

项目预览

HallusionBench 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队tianyi-lab
定价模式🏷️完全免费
价格说明开源基准测试项目,BSD-3-Clause许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议BSD-3-Clause
主要语言Python
技术栈/模型benchmark,benchmarks,gpt-4,gpt-4v,hallucination,large-language-models,large-vision-language-models,llava,llm,lmm,vlms
GitHub 星标★ 346
上线时间2023-10-22 00:00:00
代码更新2025-10-14
仓库体积11.4 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

HallusionBench 是一个针对多模态大语言模型(如 GPT-4V、LLaVA-1.5)的图像上下文推理基准测试集,旨在揭示模型在视觉问答中因视觉错觉或语言先验导致的幻觉现象。它通过精心设计的图像和问题对,挑战模型对图像细节的感知与逻辑推理能力,帮助研究者量化模型在复杂视觉场景下的鲁棒性。核心能力包括:构建高难度视觉推理任务、提供标准化评估指标、支持跨模型对比分析。该基准特别关注模型是否过度依赖语言先验而忽视视觉证据,从而推动多模态模型在真实世界应用中的可靠性提升。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 346

核心亮点

  • 专门设计对抗视觉错觉的样本,能有效暴露模型推理漏洞
  • 支持 GPT-4V、LLaVA 等主流模型横向对比,结果直观
  • 提供标准化评估脚本,便于复现和扩展新模型测试

不足之处

  • 数据集规模较小,覆盖场景有限
  • 文档/社区待观察

适用场景

  • 多模态模型研发中评估幻觉程度
  • 对比不同 VLM 的视觉推理能力
  • 改进模型对图像细节的注意力机制

替代项目

POPE、MMVP、MMBench

上一篇:pII-guard

下一篇:Lookback-Lens

同类项目推荐

ablation 开源

用 LLM 智能体自动读汇编、追调用链,加速二进制逆向

Ablation is an AI-assisted reverse engineering (AIARE) framework

★ 4 2026-10-27
Internal-Safety-Collapse 开源

把AI智能体放进正常代码流程,看它如何自己补出危险操作

[NeurIPS 2026] Safety failures in coding agents and frontier LLMs. Reproducible work···

★ 2599 2026-10-10
terminal-bench 开源

在真实终端里跑任务,量出 agent 到底行不行

Measuring and evolving with the frontier of agent work

★ 1024 2026-10-13
Multi-Modality-Arena 开源

上传图片,并排对比多模态大模型谁更聪明

Chatbot Arena meets multi-modality! Multi-Modality Arena allows you to benchmark vis···

★ 566 2026-08-09
Deco 开源

让多模态模型少说瞎话,动态纠错解码即插即用

[ICLR 2025] MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation

★ 150 2026-08-09
trustmebro 开源

伪造工具输出,测出模型护栏会不会被骗

Bypass llm guardrails by confusing it with fabricated tool output.

★ 608 2026-09-16
promptfoo 开源

一条命令测试你的提示词和模型,防漏洞防降级。

Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning f···

★ 26983 2026-08-09
vulnhuntr 开源

让LLM自动帮你扫代码找漏洞,零样本开箱即用

Zero shot vulnerability discovery using LLMs

★ 2820 2026-08-09