
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 146
核心亮点
- 同时适配 SGLang、vLLM、llama.cpp 等多个主流推理后端,接入面广
- 强调精度保持,不是粗暴截断,适合对回答质量敏感的场景
- 覆盖 RAG 与 Agentic AI 的上下文管理,切中长上下文真实痛点
不足之处
- 项目处于早期,星标仅 139,生产环境验证案例有限
- 文档与社区生态尚不成熟,长期维护情况待观察
适用场景
- RAG 系统检索出大量文档片段时压缩上下文,降低推理成本
- Agent 多轮对话中管理历史记忆,避免上下文窗口溢出
- 长文档问答或代码库分析场景下加速首 token 响应
替代项目
LLMLingua、LongLLMLingua
同类项目推荐
recipes
开源
照抄配方,几分钟跑通 vLLM 推理服务
Common recipes to run vLLM
postgresml
开源
在 PostgreSQL 里直接跑机器学习,用 SQL 搞定 AI 应用
Postgres with GPUs for ML/AI apps.
xgrammar
开源
让大模型输出严格符合格式,又快又稳
Fast, Flexible and Portable Structured Generation
tokenu
开源
像 du 一样快速统计 token 用量,优化 AI 上下文管理
a unix-like du command line tool to count token usage per files and directories
platform
开源
把 AI 智能体从笔记本搬到 K8s,企业级管控一步到位
Agyn is an open-source Kubernetes-native runtime that moves AI agents like Claude Co···
hopsworks
开源
管好特征,让 AI 模型开发又快又稳
Hopsworks - Data-Intensive AI platform with a Feature Store
mlx-serve
开源
在 Mac 上原生跑 LLM,兼容 OpenAI/Anthropic API,无需 Python
Native LLM inference server for Apple Silicon. OpenAI + Anthropic API compatible. No···
Crane
开源
纯 Rust 多模态推理引擎,一个栈跑通文本、视觉、语音与 OCR。
A Pure Rust based LLM, VLM, VLA, TTS, OCR Inference Engine, powering by Candle & Rus···
ai-observer
开源
把多个 AI 编程助手的调用记录统一收进本地 DuckDB,随时查。
Unified local observability for agents