llmtrim

本地压缩 LLM 请求，立省 31% 输入和 74% 输出成本

llmtrim 是一个本地代理服务，用于压缩发送给大语言模型 API 的请求，从而降低使用成本，同时保证回答质量不变。它会在请求发送前自动剔除提示词、历史记录、工具输出和代码中冗余的 token，实测可减少 31% 的输入和 74% 的输出。支持任何提供商，无需额外调用模型，同时提供 MCP 服务器和可嵌入的库（支持 Rust、Python、Ruby、Kotlin、Swift、JS/TS 等语言）。项目处于早期阶段（约 200 星），主要解决 LLM 调用成本高昂和 token 浪费问题，适合对成本敏感的开发者和企业。

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 239

维护状态较活跃

是否开源是

定价模式 free

项目数据

分类基础设施

开发团队fkiene

所属国家

官网地址

GitHubhttps://github.com/fkiene/llmtrim

定价模式free

价格说明开源项目，本地部署，完全免费，无付费版本。

访问状态

是否开源是

开源协议MPL-2.0

主要语言Rust

技术栈/模型agentic-coding,ai,anthropic,claude-code,cost-reduction,developer-tools,llm,llmops,mcp,mitm-proxy,openai,prompt,prompt-compression,prompt-engineering,proxy,rust,token-optimization

GitHub 星标★ 239

30天Star增速

HF 下载量

上线时间2026-06-07 00:00:00

最近更新2026-09-24 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

核心亮点

实测数据明确：输入减少 31%，输出减少 74%，成本节省可量化
无侵入式设计：作为本地代理，无需修改现有代码即可接入
多语言支持：提供 Rust、Python、Ruby 等 SDK，集成灵活

不足之处

早期项目，文档和社区生态尚不完善
压缩效果可能因输入类型和语言模型而异，需自行验证

适用场景

高频调用 LLM API 的 SaaS 应用，降低运营成本
处理长上下文任务（如代码生成、文档分析）时减少 token 浪费
作为企业内部的 API 网关，统一优化所有 LLM 请求

替代项目

LiteLLM Proxy、OpenAI Proxy (如 one-api)、TokenTrim (假设存在)

项目介绍

llmtrim 是基础设施领域的开源项目，由 fkiene 开发，是 2026 年新上线的项目。

它收录于基础设施分类，该分类目前共有 1,133 个项目，GitHub 星标数为 239。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-24。本地部署，完全免费，无付费版本。

它主要面向的使用场景是：高频调用LLMAPI的SaaS应用，降低运营成本。同类可对比的替代方案包括 LiteLLM Proxy、OpenAI Proxy (如 one-api)、TokenTrim (假设存在)。

上一篇：inferock-bench

下一篇：Gozar