只看注意力图，就能揪出并压制模型胡编乱造
Lookback-Lens 是 EMNLP 2024 论文的官方代码实现，专注于检测和缓解大语言模型中的上下文幻觉问题。它提出了一种仅利用注意力图（attention maps）的轻量级方法，无需额外训练或外部知识库，即可在生成过程中实时识别模型是否在捏造与上下文不符的内容。核心能力包括：基于注意力熵和分布特征的幻觉检测器、可插拔的生成时干预机制（如注意力重加权），以及支持主流 Transformer 架构的集成接口。项目解决了 LLM 在长文本生成中常见的“忠实度”痛点，为开发者提供了一种低成本、可解释的幻觉控制手段，尤其适合检索增强生成（RAG）和对话系统等对事实准确性要求高的场景。
SelfCheckGPT、FActScore、LLM-Attention-Hallucination
Lookback-Lens 是评测安全领域的开源项目，由 voidism 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 154。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-19。开源代码仓库，无在线服务，需自行部署，完全免费。
它主要面向的使用场景是：RAG系统中验证检索内容是否被模型忠实引用。同类可对比的替代方案包括 SelfCheckGPT、FActScore、LLM-Attention-Hallucination。
上一篇：HallusionBench
下一篇：evalplus
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
