HallusionBench 是评测安全领域的开源项目，由 tianyi-lab 开发，2023 年首次发布。
它收录于评测安全分类，该分类目前共有 466 个项目，GitHub 星标数为 343。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-15。开源基准测试项目，BSD-3-Clause许可证，完全免费，无付费版本。
它主要面向的使用场景是：多模态模型研发中评估幻觉程度。同类可对比的替代方案包括 POPE、MMVP、MMBench。
HallusionBench
测出多模态模型的视觉幻觉，看清谁在瞎猜
HallusionBench 是一个针对多模态大语言模型（如 GPT-4V、LLaVA-1.5）的图像上下文推理基准测试集，旨在揭示模型在视觉问答中因视觉错觉或语言先验导致的幻觉现象。它通过精心设计的图像和问题对，挑战模型对图像细节的感知与逻辑推理能力，帮助研究者量化模型在复杂视觉场景下的鲁棒性。核心能力包括：构建高难度视觉推理任务、提供标准化评估指标、支持跨模型对比分析。该基准特别关注模型是否过度依赖语言先验而忽视视觉证据，从而推动多模态模型在真实世界应用中的可靠性提升。
开源
free
开源模型
GitHub 星标
★ 343
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队tianyi-lab
所属国家
定价模式free
价格说明开源基准测试项目，BSD-3-Clause许可证，完全免费，无付费版本。
访问状态
是否开源是
开源协议BSD-3-Clause
主要语言Python
技术栈/模型benchmark,benchmarks,gpt-4,gpt-4v,hallucination,large-language-models,large-vision-language-models,llava,llm,lmm,vlms
GitHub 星标★ 343
30天Star增速
HF 下载量
上线时间2023-10-22 00:00:00
最近更新2026-09-15 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2
使用教程
核心亮点
- 专门设计对抗视觉错觉的样本，能有效暴露模型推理漏洞
- 支持 GPT-4V、LLaVA 等主流模型横向对比，结果直观
- 提供标准化评估脚本，便于复现和扩展新模型测试
不足之处
- 数据集规模较小，覆盖场景有限
- 文档/社区待观察
适用场景
- 多模态模型研发中评估幻觉程度
- 对比不同 VLM 的视觉推理能力
- 改进模型对图像细节的注意力机制
替代项目
POPE、MMVP、MMBench
项目介绍
上一篇：pII-guard
下一篇：Lookback-Lens
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.