Awesome-Attention-Heads

一站式读懂大模型注意力头，搞懂模型在想什么

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 12 🐛 待处理 4 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 414
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源仓库，无在线服务，完全免费。

项目预览

Awesome-Attention-Heads 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队IAAR-Shanghai
官网地址https://www.cell.com/patterns/fulltext/S2666-3899(25)00024-8
GitHubhttps://github.com/IAAR-Shanghai/Awesome-Attention-Heads
定价模式🏷️完全免费
价格说明开源仓库，无在线服务，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言TeX
技术栈/模型attention-head-mining,attention-mechanism,awesome,chain-of-thought,circuit-analysis,cognitive-neuroscience,gpt,interpretability,large-language-models,llm,llm-reasoning,machine-psychology,research-paper,survey,transformer,visualization-tools
GitHub 星标★ 414
上线时间2024-07-03 00:00:00
代码更新2025-03-02
仓库体积6.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

这是一个关于大语言模型注意力头可解释性的精选资源库与综述项目。它系统性地整理了针对LLM中注意力头（attention heads）的解读、分析和可视化相关的研究论文、工具与代码实现。项目旨在解决大模型内部机制不透明的问题，帮助研究者和开发者理解模型如何利用不同的注意力头来捕获语法、语义、指代、事实等各类信息。核心能力包括：按任务类型（如句法、事实、上下文）分类整理注意力头的研究成果，提供可解释性工具与可视化方法的索引，并总结当前领域的研究进展与挑战。对于希望深入理解LLM内部工作原理、进行模型调试或安全对齐研究的人员来说，这是一个宝贵的知识库。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 414

使用教程

难度：入门 约 10 分钟 部署方式：无需部署 4 步

环境要求

  • 无需环境

安装与启动步骤

  1. 1先看它按什么维度组织

    按注意力头的行为类型分类，先理解分类框架。

  2. 2挑与你的任务相关的类别

    检索、指代、位置编码各有对应研究。

  3. 3注意发表时间

    这个方向两年内变化很大，旧结论要打折。

  4. 4整理成自己的清单

    把对你有启发的几篇单独记下来。

如何确认成功

你能说清至少两类注意力头各自负责什么行为，并指出这对你调试模型有什么实际帮助

注意事项

  • 这是论文清单，研究模型内部机制，不是可运行工具。
  • 注意力头的功能解释存在争议，别把某一篇的结论当定论。
  • 实验多在特定模型上做，换架构结论未必成立。
  • 对工程实践的直接帮助有限，更多是理解模型行为。

核心亮点

  • 系统性梳理了注意力头可解释性的研究脉络，便于快速入门
  • 按功能类别（如句法、事实、指代）组织内容，检索方便
  • 附带工具与代码资源，可直接用于实验

不足之处

  • 项目仍处于早期，内容覆盖可能不够全面
  • 文档/社区待观察

适用场景

  • 研究LLM内部机制，撰写可解释性综述
  • 开发模型调试工具，定位注意力头功能
  • 教学与科普，解释大模型工作原理

替代项目

TransformerLens、OpenAI Microscope、Lucidrains's x-transformers

上一篇：ANeurIPS2024_SPV-MIA

下一篇：WorfBench

同类项目推荐

ai-privacy-toolkit 开源

给 AI 模型做隐私体检，快速发现合规风险

A toolkit for tools and techniques related to the privacy and compliance of AI model···

★ 113 2026-08-09
speca 开源

把规范文档自动变成审计清单，逐条核查代码

SPECA: Specification-to-Checklist Agentic Auditing Framework

★ 463 2026-11-03
physics-IQ-benchmark 开源

测测视频模型懂不懂物理，量化物理常识短板

Benchmarking physical understanding in generative video models

★ 388 2026-08-09
WormGPT 开源

模拟攻击场景，测试大模型安全漏洞

WormGPT is an experimental AI project designed strictly for educational, cybersecuri···

★ 62 2026-08-09
AgentEval 开源

用 .NET 原生工具，给 AI Agent 做全面体检和红队测试。

AgentEval is the comprehensive .NET toolkit for AI agent evaluation—tool usage vali···

★ 158 2026-08-10
MGDebugger 开源

像调试传统代码一样调试大模型，快速定位推理错误根因。

Multi-Granularity LLM Debugger [ICSE2026]

★ 102 2026-08-09
Awesome-Video-Reasoning 开源

视频生成推理论文一站速查，快速摸清研究地图

This is a collection of recent papers on reasoning in video generation models.

★ 168 2026-10-26
hanshuang-codex 开源

桌面端批量测大模型越狱提示，一键跑实验看边界

针对GPT 6.0,workbuddyV4.1flash的破甲实验项目

★ 825 2026-09-28