HLA

线性注意力升级版，长序列建模更强

HLA 是一个官方开源项目，对应论文《HLA: Higher-order Linear Attention》。该项目旨在解决传统线性注意力在建模高阶特征交互时表达能力不足的问题。它提出了一种高阶线性注意力机制，通过引入高阶统计量或特征交互，在保持线性复杂度（O(n)）的同时，提升模型对复杂序列关系的捕捉能力，尤其适用于长序列任务。核心能力包括：提供可复现的参考实现、与主流深度学习框架（如PyTorch）集成、支持多种高阶交互配置。项目目前处于早期阶段，代码结构清晰，便于研究者快速上手和扩展。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 103
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队yifanzhang-pro
所属国家
官网地址https://yifanzhang-pro.github.io/HLA
GitHubhttps://github.com/yifanzhang-pro/HLA
定价模式free
价格说明开源项目，遵循CC-BY-4.0许可证，可自由使用，无付费版本。
访问状态
是否开源是
开源协议CC-BY-4.0
主要语言HTML
技术栈/模型deep-learning,foundation-models,large-language-models,llms,model-architectures,position-encoding,pretraining
GitHub 星标★ 103
30天Star增速
HF 下载量
上线时间2025-10-30 00:00:00
最近更新2026-09-21 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 创新性地引入高阶交互，突破了传统线性注意力的表达瓶颈
  • 保持线性计算复杂度，适合超长序列处理
  • 官方实现，与论文同步，便于复现和对比实验

不足之处

  • 项目处于早期，文档和示例较少
  • 缺乏与主流基线（如Mamba、Linear Transformer）的详细对比实验

适用场景

  • 长文本理解与生成
  • DNA/蛋白质序列分析
  • 高分辨率图像处理中的长距离依赖建模

替代项目

Mamba、Linear Transformer、Performer

项目介绍

HLA 是开源模型领域的开源项目，由 yifanzhang-pro 开发，2025 年首次发布。

它收录于开源模型分类，该分类目前共有 424 个项目，GitHub 星标数为 103。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-21。遵循CC-BY-4.0许可证，可自由使用，无付费版本。

它主要面向的使用场景是：长文本理解与生成。同类可对比的替代方案包括 Mamba、Linear Transformer、Performer。

上一篇：HRM-Text

下一篇：Time-Series-Reasoning-Survey

同类项目推荐

Machine-Learning 开源

跟着博客笔记，边看边跑机器学习代码

All content related to machine learning from my blog

★ 115 2026-08-09
awesome-ltx2 开源

找齐 LTX-2 模型、工作流和 LoRA，一键上手视频生成。

All available LTX-2 models, encoders, workflows, LoRAs for ComfyUI

★ 593 2026-08-10