长序列推理加速，稀疏注意力省算力不掉精度
FlexPrefill 是一个针对大语言模型长序列推理的稀疏注意力机制实现，源自 ICLR 2025 Oral 论文。它解决的是长上下文场景下标准注意力计算开销随序列长度平方增长的问题，通过上下文感知的方式动态选择重要的键值对，在保持模型精度的同时显著降低预填充阶段的计算量。核心能力包括：基于查询和键值交互的稀疏模式识别、自适应稀疏率调整、以及高效的 CUDA 内核实现，支持无缝集成到现有 Transformer 架构中。项目提供完整的训练和推理代码，以及论文复现脚本，适合研究者和工程师探索长序列模型的高效部署。
FlashAttention、Sparse Transformer、Longformer
FlexPrefill 是基础设施领域的开源项目，由 ByteDance-Seed 开发，2025 年首次发布。
它收录于基础设施分类，该分类目前共有 1,130 个项目，GitHub 星标数为 172。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-02。Apache-2.0许可证，可自由使用，无付费版本。
它主要面向的使用场景是：长文档理解与摘要生成。同类可对比的替代方案包括 FlashAttention、Sparse Transformer、Longformer。
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
