llmtrim

本地压缩 LLM 请求，立省 31% 输入和 74% 输出成本

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 23 🐛 待处理 10 👀 关注 4
GitHub ↗
GitHub 星标 ★ 271
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，本地部署，完全免费，无付费版本。

项目预览

llmtrim 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队fkiene
GitHubhttps://github.com/fkiene/llmtrim
定价模式🏷️完全免费
价格说明开源项目，本地部署，完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MPL-2.0
主要语言Rust
技术栈/模型agentic-coding,ai,anthropic,claude-code,cost-reduction,developer-tools,llm,llmops,mcp,mitm-proxy,openai,prompt,prompt-compression,prompt-engineering,proxy,rust,token-optimization
GitHub 星标★ 271
上线时间2026-06-07 00:00:00
代码更新2026-11-02
仓库体积3.9 MB
本站数据更新2026-11-10
维护状态较活跃
收录时间2026-08-09
浏览次数7

项目介绍

llmtrim 是一个本地代理服务，用于压缩发送给大语言模型 API 的请求，从而降低使用成本，同时保证回答质量不变。它会在请求发送前自动剔除提示词、历史记录、工具输出和代码中冗余的 token，实测可减少 31% 的输入和 74% 的输出。支持任何提供商，无需额外调用模型，同时提供 MCP 服务器和可嵌入的库（支持 Rust、Python、Ruby、Kotlin、Swift、JS/TS 等语言）。项目处于早期阶段（约 200 星），主要解决 LLM 调用成本高昂和 token 浪费问题，适合对成本敏感的开发者和企业。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 271

核心亮点

  • 实测数据明确：输入减少 31%，输出减少 74%，成本节省可量化
  • 无侵入式设计：作为本地代理，无需修改现有代码即可接入
  • 多语言支持：提供 Rust、Python、Ruby 等 SDK，集成灵活

不足之处

  • 早期项目，文档和社区生态尚不完善
  • 压缩效果可能因输入类型和语言模型而异，需自行验证

适用场景

  • 高频调用 LLM API 的 SaaS 应用，降低运营成本
  • 处理长上下文任务（如代码生成、文档分析）时减少 token 浪费
  • 作为企业内部的 API 网关，统一优化所有 LLM 请求

替代项目

LiteLLM Proxy、OpenAI Proxy (如 one-api)、TokenTrim (假设存在)

上一篇：inferock-bench

下一篇：Gozar

同类项目推荐

gguf 开源

让 ComfyUI 直接跑 GGUF 量化模型，低显存也能出图

gguf node for comfyui

★ 279 2026-10-16
gpu_poor 开源

选显卡前先算一算：模型显存和速度一键估算

Calculate token/s & GPU memory requirement for any LLM. Supports llama.cpp/ggml/bnb···

★ 1403 2026-08-09
llama.cpp 开源

用普通电脑本地跑大模型，量化后 CPU 也能流畅推理

LLM inference in C/C++

★ 133851 2026-09-16
fox-in-the-box 开源

一键安装 Hermes，快速自托管 AI 助手

Fox in the Box: One-click Hermes Install — self-hosted AI assistant platform

★ 89 2026-08-09
pangolin 开源

自托管零信任网关，安全访问内网应用和 AI 服务

Modern networking and security platform providing secure access and connectivity to ···

★ 23487 2026-10-17
superserve 开源

给 AI Agent 一个安全隔离的执行沙箱

Sandbox infrastructure for AI Agents

★ 505 2026-09-12
backburner 开源

插上 iPhone，Mac 本地跑 27B 大模型

Your iPhone helps your Mac run a 27B model: faster prompt reading and more context o···

★ 1174 2026-10-06
LodeDB 开源

本地嵌入的向量库，默认精确检索还带 GPU 加速

World's fastest and most compact embedded vector database: exact by default, multimo···

★ 104 2026-09-24