Differential-Transformer-PyTorch

用差分注意力降低噪声，让模型更聚焦关键信息

Differential-Transformer-PyTorch 是微软提出的 Differential Transformer 架构的 PyTorch 非官方实现，专注于序列建模，采用类似大语言模型的 decoder-only 结构。该架构核心是新颖的差分注意力机制（Differential Attention），通过计算两个注意力分布的差异来降低噪声，从而提升模型对关键信息的聚焦能力。项目还集成了多头注意力、RMSNorm 和 SwiGLU 激活函数，旨在复现论文中的性能表现，为研究者和开发者提供一个可直接使用的参考实现。它解决了传统注意力机制中噪声干扰和注意力分散的问题，尤其适合长序列建模和需要高精度信息检索的任务。当前项目处于早期阶段，代码简洁，便于学习和二次开发，但功能完整性和稳定性有待完善。