Attention-Sink
看清注意力汇聚如何产生，优化你的语言模型训练与推理。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 164
核心亮点
- 提供 ICLR 2025 官方实证代码，可复现论文关键实验
- 包含注意力分布可视化工具，直观展示汇聚现象
- 基于 PyTorch，易于扩展和自定义实验配置
不足之处
- 文档/社区待观察
- 主要面向研究场景，对工程应用支持有限
适用场景
- 学术研究：分析注意力机制内部行为
- 模型优化：调整训练策略以利用或抑制注意力汇聚
- 教学演示：展示 transformer 训练动态
替代项目
FlashAttention、Longformer、Sparse Transformer
上一篇：DeSTA2
下一篇：LLaVA-Mini
同类项目推荐
HPT
开源
用预训练Transformer统一异构机器人策略，提升泛化与训练效率
Heterogeneous Pre-trained Transformer (HPT) as Scalable Policy Learner.
Awesome-LLM-in-Social-Science
开源
一键速览LLM在社会学科的前沿论文，紧跟研究热点
Awesome papers involving LLMs in Social Science.
LLaVAR
开源
让AI看懂图片里的文字，并和你对话
Code/Data for the paper: "LLaVAR: Enhanced Visual Instruction Tuning for Text-Rich I···
gemma
开源
谷歌开放权重模型，本地单卡即可跑推理和微调
Gemma open-weight LLM library, from Google DeepMind
Awesome-Biosignal-Foundation-Mod···
开源
一份清单，帮你快速找到生物信号AI模型和数据集。
A curated list of foundation models, datasets, and tools for biosignals
Janus
开源
一个模型搞定看图说话和画图，多模态全能选手
Janus-Series: Unified Multimodal Understanding and Generation Models
moment
开源
开箱即用的时间序列基础模型，零样本预测与微调一把梭
MOMENT: A Family of Open Time-series Foundation Models, ICML'24
awesome-vla-for-ad
开源
一榜看尽VLA自动驾驶研究脉络，快速入门与追踪前沿
Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future
General-Physics-Transformer
开源
一个模型搞定多种物理系统模拟，告别重复建模
A foundation model to learn multiple physical systems at once