Differential-Transformer-PyTorch

用差分注意力降低噪声，让模型更聚焦关键信息

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 6 🐛 待处理 2 👀 关注 3
GitHub ↗
GitHub 星标 ★ 86
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

Differential-Transformer-PyTorch 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队nanowell
GitHubhttps://github.com/nanowell/Differential-Transformer-PyTorch
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型differential-transformer,large-language-models,machine-learning,pytorch
GitHub 星标★ 86
上线时间2024-10-08 00:00:00
代码更新2024-10-27
仓库体积21 KB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

Differential-Transformer-PyTorch 是微软提出的 Differential Transformer 架构的 PyTorch 非官方实现，专注于序列建模，采用类似大语言模型的 decoder-only 结构。该架构核心是新颖的差分注意力机制（Differential Attention），通过计算两个注意力分布的差异来降低噪声，从而提升模型对关键信息的聚焦能力。项目还集成了多头注意力、RMSNorm 和 SwiGLU 激活函数，旨在复现论文中的性能表现，为研究者和开发者提供一个可直接使用的参考实现。它解决了传统注意力机制中噪声干扰和注意力分散的问题，尤其适合长序列建模和需要高精度信息检索的任务。当前项目处于早期阶段，代码简洁，便于学习和二次开发，但功能完整性和稳定性有待完善。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 86

核心亮点

  • 实现差分注意力机制，有效降低注意力噪声，提升关键信息聚焦能力
  • 代码结构清晰，基于 PyTorch，易于理解和二次开发
  • 包含完整的多头注意力、RMSNorm、SwiGLU 等现代 LLM 组件，紧跟前沿

不足之处

  • 项目早期，文档和社区支持较少
  • 未提供预训练模型或完整训练脚本，需自行训练验证

适用场景

  • 长序列文本建模，如文档摘要、机器翻译
  • 需要高精度信息检索的任务，如问答系统
  • 作为研究基线，对比传统 Transformer 的噪声抑制效果

替代项目

Transformer-XL、Longformer、Sparse Transformer

上一篇：Baichuan2

下一篇：rubra

同类项目推荐

cambrian 开源

让多模态模型更懂图像细节，提升视觉理解与推理能力

Cambrian-1 is a family of multimodal LLMs with a vision-centric design.

★ 2013 2026-08-09
QuantHarness 开源

一套工具，搞定量化模型标准化评测与对比

Official Repository for QuantHarness

★ 2894 2026-08-09
gitleaks 开源

扫描 Git 历史，秒级揪出泄露的密钥和令牌

Find secrets with Gitleaks

★ 30848 2026-08-09
DOFA 开源

一个模型看懂多种卫星数据，跨模态遥感分析不再难

Code for Neural Plasticity-Inspired Foundation Model for Observing the Earth Crossin···

★ 219 2026-08-09
eullm 开源

让大模型合规落地欧盟，垂直定制一步到位

Open-source platform for creating, distributing and running sovereign EU-compliant L···

★ 61 2026-08-09
X-Prompt 开源

用统一提示词，让自回归模型轻松搞定各类图像生成任务

Official implementation of X-Prompt: Towards Universal In-Context Image Generation i···

★ 158 2026-08-09
titania 开源

一人读懂从大模型到晶体管的完整链路

Project Titania is a complete large language model system, from transformer to trans···

★ 129 2026-09-25
LucaOne 开源

一个模型统一处理核酸与蛋白序列

The resources of LucaOne, including: the model code, training scripts, embedding inf···

★ 372 2026-10-31