Attention-Sink

看清注意力汇聚如何产生，优化你的语言模型训练与推理。

Attention-Sink 是 ICLR 2025 的 Spotlight 论文官方实现，从实证角度研究语言模型中注意力汇聚（attention sink）现象的出现机制。该项目通过系列实验揭示，在训练过程中，某些特殊 token（如句首标记）会吸引大量注意力权重，形成所谓的'注意力汇聚'，并分析其与模型性能、训练动态的关系。核心能力包括：提供可复现的实验代码、预训练模型检查点、以及用于分析注意力分布的可视化工具。它帮助研究者深入理解 transformer 内部运作原理，为优化模型架构（如流式生成、长上下文处理）提供理论依据。项目代码基于 PyTorch，支持自定义实验配置，适合学术研究与模型调试。