项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 229
核心亮点
- 显存占用减少3-4倍，实测数据明确，对长上下文场景效果显著
- 延迟降低2倍，提升推理吞吐，适合高并发服务
- 查询无关策略无需预知用户问题，部署简单，适配多种主流模型
不足之处
- 文档/社区待观察
- 仅支持特定模型架构，对新兴模型适配需额外工作
适用场景
- 大模型API服务中降低长对话的显存成本
- 边缘设备或GPU资源受限环境下的模型推理
- 高吞吐批处理场景，如离线文档摘要生成
替代项目
H2O、StreamingLLM、KVQuant
同类项目推荐
qwen.cpp
开源
用 C++ 在本地快速跑通 Qwen 模型，无需 Python 环境。
C++ implementation of Qwen-LM
langfuse-js
开源
给 LLM 应用装上监控，追踪每次调用与成本
Langfuse JS/TS SDK
omniai
开源
一个 Ruby 库，统一多家 AI 接口，切换模型像换插件一样简单。
OmniAI standardizes the APIs for multiple AI providers like OpenAI's Chat GPT, Mistr···
liveblocks
开源
快速为应用和智能体添加实时协作能力，无需自研后端。
Realtime infrastructure for multiplayer apps and agents
model-compose
开源
一个 YAML 文件，快速部署生产级 AI 服务，随处运行。
Declarative AI pipelines in one YAML file. Tokens, audio chunks, and video frames fl···
TrueMemory
开源
给 AI 装上本地持久记忆，自动捕获自动回忆，告别失忆。
The memory your AI should have had from the start. Automatic capture, automatic reca···
LocalAI
开源
旧电脑不装显卡，也能本地跑起 AI 全家桶
LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, vi···
full-stack-on-prem-cv-mlops
开源
一条命令，从Notebook到百万级CV服务
"1 config, 1 command from Jupyter Notebook to serve Millions of users", Full-stack O···
u-claw
开源
插上U盘，离线一键装好AI编程助手
U-Claw 虾盘 — OpenClaw AI 助手离线安装 U 盘：一键装好 Claude Code/Codex/OpenClaw，无···