FlexPrefill

长序列推理加速,稀疏注意力省算力不掉精度

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 11 🐛 待处理 9 👀 关注 2
GitHub ↗
GitHub 星标 ★ 172
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可自由使用,无付费版本。

项目预览

FlexPrefill 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队ByteDance-Seed
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可自由使用,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型large-language-models,natural-language-processing,research,sparse-attention
GitHub 星标★ 172
上线时间2025-02-18 00:00:00
代码更新2025-10-13
仓库体积674 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

FlexPrefill 是一个针对大语言模型长序列推理的稀疏注意力机制实现,源自 ICLR 2025 Oral 论文。它解决的是长上下文场景下标准注意力计算开销随序列长度平方增长的问题,通过上下文感知的方式动态选择重要的键值对,在保持模型精度的同时显著降低预填充阶段的计算量。核心能力包括:基于查询和键值交互的稀疏模式识别、自适应稀疏率调整、以及高效的 CUDA 内核实现,支持无缝集成到现有 Transformer 架构中。项目提供完整的训练和推理代码,以及论文复现脚本,适合研究者和工程师探索长序列模型的高效部署。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 172

核心亮点

  • 提出上下文感知的稀疏注意力机制,能根据输入动态选择关键token,比静态稀疏更精准
  • 在长序列预填充阶段显著降低计算量,实测加速比明显,且保持模型精度
  • 代码结构清晰,提供论文复现脚本和示例,便于研究者快速上手

不足之处

  • 项目处于早期阶段,文档和社区支持待观察
  • 稀疏注意力对硬件和算子优化依赖较高,通用性可能受限

适用场景

  • 长文档理解与摘要生成
  • 多轮对话中的长上下文建模
  • 代码库级代码生成与理解

替代项目

FlashAttention、Sparse Transformer、Longformer

上一篇:scalax

下一篇:dsc

同类项目推荐

vox-serve 开源

让 TTS/STS 模型秒变低延迟流式在线服务

A Streaming-Native Serving Engine for TTS/STS Models

★ 80 2026-08-09
gemma4.java 开源

纯 Java 跑 Gemma 4,不装 Python 也能本地推理

Fast Gemma 4 inference in pure Java

★ 70 2026-08-09
MyScaleDB 开源

用SQL同时搞定向量搜索和全文检索,AI应用数据底座一步到位

A @ClickHouse fork that supports high-performance vector search and full-text search···

★ 1043 2026-08-09
hyperspace-db 开源

1-bit 量化省内存,原生支持双曲层级向量检索

[H] HyperspaceDB is a high-performance, vector database. It features 1-bit quantizat···

★ 163 2026-10-31
intel-extension-for-transformers 开源

在英特尔硬件上,几分钟内打造并加速你的聊天机器人

⚡ Build your chatbot within minutes on your favorite device; offer SOTA compression···

★ 2173 2026-08-09
navop 开源

一个工具搞定数据库、服务器和 AI 监控,告别多窗口切换。

A native, all-in-one workspace for databases, SSH, SFTP, terminals, remote desktop, ···

★ 2114 2026-08-09
liveblocks 开源

快速为应用和智能体添加实时协作能力,无需自研后端。

Realtime infrastructure for multiplayer apps and agents

★ 4771 2026-08-09
CPA-Manager-Plus 开源

自托管AI网关监控面板,管好每次API调用和成本

A self-hosted CPA / CLIProxyAPI management panel and AI gateway observability dashbo···

★ 4043 2026-08-09
destructive_command_guard 开源

给 AI 智能体装上安全锁,防止误删误推毁仓库。

A fast Rust safety hook that blocks destructive shell, git, and filesystem commands ···

★ 6309 2026-08-09