HLA

线性注意力升级版,长序列建模更强

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 8 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 104
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,遵循CC-BY-4.0许可证,可自由使用,无付费版本。

项目预览

HLA 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队yifanzhang-pro
定价模式🏷️完全免费
价格说明开源项目,遵循CC-BY-4.0许可证,可自由使用,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议CC-BY-4.0
主要语言HTML
技术栈/模型deep-learning,foundation-models,large-language-models,llms,model-architectures,position-encoding,pretraining
GitHub 星标★ 104
上线时间2025-10-30 00:00:00
代码更新2026-11-05
仓库体积1.1 MB
本站数据更新2026-11-10
维护状态活跃
收录时间2026-08-09
浏览次数4

项目介绍

HLA 是一个官方开源项目,对应论文《HLA: Higher-order Linear Attention》。该项目旨在解决传统线性注意力在建模高阶特征交互时表达能力不足的问题。它提出了一种高阶线性注意力机制,通过引入高阶统计量或特征交互,在保持线性复杂度(O(n))的同时,提升模型对复杂序列关系的捕捉能力,尤其适用于长序列任务。核心能力包括:提供可复现的参考实现、与主流深度学习框架(如PyTorch)集成、支持多种高阶交互配置。项目目前处于早期阶段,代码结构清晰,便于研究者快速上手和扩展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 104

核心亮点

  • 创新性地引入高阶交互,突破了传统线性注意力的表达瓶颈
  • 保持线性计算复杂度,适合超长序列处理
  • 官方实现,与论文同步,便于复现和对比实验

不足之处

  • 项目处于早期,文档和示例较少
  • 缺乏与主流基线(如Mamba、Linear Transformer)的详细对比实验

适用场景

  • 长文本理解与生成
  • DNA/蛋白质序列分析
  • 高分辨率图像处理中的长距离依赖建模

替代项目

Mamba、Linear Transformer、Performer

上一篇:HRM-Text

下一篇:Time-Series-Reasoning-Survey

同类项目推荐

LucaOne 开源

一个模型统一处理核酸与蛋白序列

The resources of LucaOne, including: the model code, training scripts, embedding inf···

★ 372 2026-10-31
sdxl-koala 开源

让SDXL在低显存显卡上快速出图,省钱又省时

[NeurIPS 2024] Empirical Lessons Toward Memory-Efficient and Fast Diffusion Models f···

★ 147 2026-08-09
Machine-Learning 开源

跟着博客笔记,边看边跑机器学习代码

All content related to machine learning from my blog

★ 115 2026-08-09
S2D2 开源

在 Notebook 里几行代码跑通 Stable Diffusion 文生图

S2D2: Simple Stable Diffusion based on Diffusers (Hires.fix on jupyter notebook, ipy···

★ 54 2026-08-09
MakeMoneyWithAI 开源

翻开源清单,找能赚钱的 AI 项目,快速变现

A list of open-source AI projects you can use to generate income easily.

★ 1195 2026-08-09
MooER 开源

开箱即用的端到端语音对话模型,一句话搞定实时交互

MooER: Moore-threads Open Omni model for speech-to-speech intERaction. MooER-omni in···

★ 219 2026-08-09
Awesome-LLM-Resources-List 开源

一站式收藏AI工程资源,快速找到从入门到实战的干货

A Curated Collection of resources for applied AI engineering (work in progress).

★ 557 2026-08-09
TokenFlow 开源

一个分词器同时搞定图像理解和生成,统一多模态。

[CVPR 2025] Official impl. of "TokenFlow: Unified Image Tokenizer for Multimodal Un···

★ 471 2026-08-09