项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
技术标签
使用教程
—
环境要求
- 已安装 Python 与 pip 环境
- 可联网访问 PyPI 与 HuggingFace 模型仓库
- 使用 Llama、Mistral、Gemma 等 gated 模型时，需要环境变量 HF_TOKEN
- 如需复现 HookedTransformer 旧版数值，需在启动后启用兼容模式
安装与启动步骤
-
1安装库
使用 pip 从 PyPI 安装 transformer_lens，README 的 Quick Start 只给出这一条安装命令。
pip install transformer_lens -
2配置 HF_TOKEN
仅在加载 Llama、Mistral、Gemma 等 gated 模型时需要，把 token 写入环境变量后再运行代码。
export HF_TOKEN=hf_xxxxxxxxxxxxxxxxxxxxx -
3运行模型取激活
按 README 示例调用 run_with_cache 获取 logits 与激活；README 未给出 bridge 的初始化写法，需查官方文档。
logits, activations = bridge.run_with_cache("Hello World") -
4启用兼容模式
默认保留原始 HuggingFace 权重；若需与旧版 HookedTransformer 数值一致，在 booting 后调用该方法。
bridge.enable_compatibility_mode()
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
HF_TOKEN | 否 | 加载 gated 模型（Llama、Mistral、Gemma 等）所需的环境变量 | hf_xxxxxxxxxxxxxxxxxxxxx |
如何确认成功
执行 run_with_cache 示例能正常返回 logits 与 activations 且不报错，即表示库与模型加载成功。
常见问题
Q：支持哪些模型？
A：TransformerBridge 支持 140+ 架构家族的 15000+ 模型，完整清单见仓库内 transformer_lens/tools/model_registry/data/supported_models.json。
Q：为什么输出和 HookedTransformer 不一致？
A：默认保留原始 HuggingFace 权重，logits 与激活对齐 HF；旧版会折叠 LayerNorm 并做权重中心化，需要时调用 bridge.enable_compatibility_mode()。
Q：旧版 HookedTransformer.from_pretrained 还能用吗？
A：不能，该 API 已在 TransformerLens 4.0 中移除，请参照官方《Migrating to TransformerLens 4.0》迁移指南改写代码。
Q：加载模型报权限错误怎么办？
A：该模型可能是 gated 模型，需要先在 HuggingFace 申请权限，并把 HF_TOKEN 配置到环境中。
注意事项
- 默认数值对齐 HuggingFace 原始权重，不等同于旧版 HookedTransformer 的输出。
- 旧版 HookedTransformer.from_pretrained 已在 4.0 移除，升级前需先迁移代码。
- README 未给出 bridge 的完整初始化代码，示例片段需结合官方文档补全。
- 更多入门资料可参考 A Guide to Getting Started in Mechanistic Interpretability 与 ARENA 教程。
核心亮点
- 统一封装 HuggingFace 模型，一行加载即可访问每层注意力头、MLP 与残差流张量
- 内置激活缓存、钩子与激活修补/消融接口，支持因果干预实验而非只看相关性
- 配套可视化与工具函数，方便把电路发现整理成可复现的机制解释实验
不足之处
- 主要围绕 GPT 类自回归模型设计，对非 Transformer 或新架构支持有限
- 钩子与缓存机制有学习成本，初学者需先理解残差流与注意力头命名体系
适用场景
- 研究某个注意力头是否负责间接宾语识别等语法电路
- 做激活修补实验，验证某层残差流对事实回忆的因果作用
- 安全评测中定位模型产生有害输出的内部触发路径
替代项目
nnsight、TransformerLens 之外的 circuitsvis、pyvene
上一篇：gpt6-Astra
下一篇：没有了！
同类项目推荐
hanshuang-codex
开源
桌面端批量测大模型越狱提示，一键跑实验看边界
针对GPT 6.0,workbuddyV4.1flash的破甲实验项目
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.