KnowledgeCircuits

拆解大模型内部知识电路，精准定位事实存储与推理路径

KnowledgeCircuits 是一个来自 NeurIPS 2024 的研究项目，专注于解析预训练 Transformer 模型（如大语言模型）内部的知识存储与计算机制。它提出并实现了“知识电路”（Knowledge Circuits）的概念，将模型视为由多个知识单元（如 MLP 神经元和注意力头）组成的电路网络，通过因果追踪和消融实验，精确定位特定事实（如“埃菲尔铁塔位于巴黎”）在模型中的完整计算路径。该项目解决了大模型可解释性中的核心难题——知识如何被编码和流动，提供了从模型内部结构层面理解知识推理的工具。核心能力包括：自动识别与特定知识相关的关键神经元和注意力头、构建知识电路图、评估不同组件对知识输出的贡献度，以及支持对模型知识编辑（如修改错误事实）的精准定位。其代码库提供了完整的实验流程和可视化工具，便于研究者复现和扩展分析。