SepLLM

压缩冗余片段，让大模型推理快 2.5 倍

SepLLM 是一个针对大语言模型推理加速的开源项目，核心思想是将输入序列中的连续片段压缩为单个分隔符（separator），从而显著减少 KV 缓存大小和注意力计算量。该方法基于 ICML 2025 论文，通过识别并合并语义冗余的 token 段，在保持模型性能的同时，实现高达 2.5 倍的推理加速，并降低显存占用。项目提供了完整的训练和推理代码，支持主流 LLM 架构（如 LLaMA、Mistral），并集成了高效的注意力实现。SepLLM 解决了长上下文场景下 LLM 推理成本高昂的问题，适用于需要处理长文档、多轮对话等场景，为边缘设备或资源受限环境下的模型部署提供了可行的加速方案。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 571

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队HKUDS

所属国家

官网地址

GitHubhttps://github.com/HKUDS/SepLLM

定价模式free

价格说明开源项目，可自行部署使用，完全免费。

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型inference-speed,large-language-models,llms

GitHub 星标★ 571

30天Star增速

HF 下载量

上线时间2024-12-11 00:00:00

最近更新2026-09-21 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

使用教程

核心亮点

基于 ICML 2025 论文，方法有理论支撑，加速效果明确（最高 2.5 倍）
直接减少 KV 缓存，显存占用更低，适合长上下文和边缘部署
实现简洁，易于集成到现有 LLM 推理流程中

不足之处

压缩策略可能对某些依赖细粒度 token 信息的任务（如代码生成）有精度损失
文档和社区生态尚在早期，使用门槛较高

适用场景

长文档摘要与问答，降低推理成本
多轮对话系统，减少历史上下文的内存占用
资源受限环境（如移动端、边缘设备）部署大模型

替代项目

StreamingLLM、H2O (Heavy-Hitter Oracle)、SnapKV

项目介绍

SepLLM 是模型训练领域的开源项目，由 HKUDS 开发，2024 年首次发布。

它收录于模型训练分类，该分类目前共有 523 个项目，GitHub 星标数为 571。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-21。可自行部署使用，完全免费。

它主要面向的使用场景是：长文档摘要与问答，降低推理成本。同类可对比的替代方案包括 StreamingLLM、H2O (Heavy-Hitter Oracle)、SnapKV。

上一篇：LLM-SR

下一篇：AutoTimes