一站式读懂大模型注意力头，搞懂模型在想什么
这是一个关于大语言模型注意力头可解释性的精选资源库与综述项目。它系统性地整理了针对LLM中注意力头（attention heads）的解读、分析和可视化相关的研究论文、工具与代码实现。项目旨在解决大模型内部机制不透明的问题，帮助研究者和开发者理解模型如何利用不同的注意力头来捕获语法、语义、指代、事实等各类信息。核心能力包括：按任务类型（如句法、事实、上下文）分类整理注意力头的研究成果，提供可解释性工具与可视化方法的索引，并总结当前领域的研究进展与挑战。对于希望深入理解LLM内部工作原理、进行模型调试或安全对齐研究的人员来说，这是一个宝贵的知识库。
TransformerLens、OpenAI Microscope、Lucidrains's x-transformers
Awesome-Attention-Heads 是评测安全领域的开源项目，由 IAAR-Shanghai 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 415。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-18。开源仓库，无在线服务，完全免费。
它主要面向的使用场景是：研究LLM内部机制，撰写可解释性综述。同类可对比的替代方案包括 TransformerLens、OpenAI Microscope、Lucidrains's x-transformers。
下一篇：WorfBench
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
