TPA

把注意力复杂度从平方降到线性，长序列不再卡顿

TPA（Tensor ProducT ATTenTion）是一个NeurIPS 2025 Spotlight论文的开源实现，提出了一种新型注意力机制，旨在替代标准Transformer中的多头注意力（MHA）。它通过张量积分解将注意力计算分解为低秩因子，显著降低计算和内存复杂度，同时保持或提升模型性能。TPA解决了长序列任务中注意力机制O(n²)复杂度导致的效率瓶颈，核心能力包括：线性复杂度注意力、即插即用替换现有MHA、支持多种Transformer架构适配。项目提供PyTorch实现，代码简洁，便于集成到现有NLP或视觉模型中。该工作为高效Transformer研究提供了新思路，适合对模型效率有高要求的开发者实验和部署。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 463

维护状态较活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队tensorgi

所属国家

官网地址https://tensorgi.github.io/TPA

GitHubhttps://github.com/tensorgi/TPA

定价模式free

价格说明MIT 许可证开源，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型deep-learning,foundation-models,large-language-models,llms,model-architectures,pretraining

GitHub 星标★ 463

30天Star增速

HF 下载量

上线时间2025-01-10 00:00:00

最近更新2026-09-13 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数22

使用教程

核心亮点

注意力机制线性复杂度，长序列推理速度显著提升
可直接替换现有Transformer的多头注意力模块，改动小
论文被NeurIPS 2025接收，理论有保障，代码实现清晰

不足之处

项目处于早期，文档和社区支持待完善
部分场景下低秩近似可能带来精度损失，需调参验证

适用场景

长文本处理（如文档摘要、代码生成）
高分辨率图像或视频理解任务
资源受限设备上的Transformer部署

替代项目

FlashAttention、Linformer、Performer

项目介绍

TPA 是模型训练领域的开源项目，由 tensorgi 开发，2025 年首次发布。

它收录于模型训练分类，该分类目前共有 523 个项目，GitHub 星标数为 463。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-13。MIT 许可证开源，完全免费，可自行部署使用。

它主要面向的使用场景是：长文本处理（如文档摘要、代码生成）。同类可对比的替代方案包括 FlashAttention、Linformer、Performer。

上一篇：RLCSD

下一篇：GRAPE

TPA