awesome-llm-token-optimization

一站式收藏 LLM 省钱秘籍,快速降低 Token 成本

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 40 🐛 待处理 5
GitHub ↗
GitHub 星标 ★ 119
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源资源列表,完全免费,无付费版本。

项目预览

awesome-llm-token-optimization 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队pleasedodisturb
定价模式🏷️完全免费
价格说明开源资源列表,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Shell
技术栈/模型ai,awesome,awesome-list,claude,context-window,cost-optimization,generative-ai,inference-optimization,kv-cache,large-language-models,llm,llm-cost,machine-learning,model-routing,openai,prompt-caching,prompt-compression,prompt-engineering,token-efficiency,token-optimization
GitHub 星标★ 119
上线时间2026-04-15 00:00:00
代码更新2026-11-08
仓库体积266 KB
本站数据更新2026-11-11
维护状态活跃
收录时间2026-08-09
浏览次数3

项目介绍

这是一个精选资源列表,汇集了降低大语言模型(LLM)Token 成本、提升生产环境效率的策略、工具、论文和资源。它解决的核心问题是 LLM 使用中 Token 消耗带来的高额费用和性能瓶颈。项目按类别整理了各种优化手段,包括提示词压缩、上下文缓存、模型路由、量化、蒸馏等,并提供了相关论文和开源工具的链接,帮助开发者快速找到适合自己场景的优化方案。作为早期项目,它更像一个知识库和导航站,为关注 LLM 成本优化的工程师和研究者提供系统性参考。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 119

核心亮点

  • 分类清晰,覆盖提示压缩、缓存、路由等多种优化方向
  • 整合论文与工具,节省搜索时间,便于快速上手
  • 紧跟前沿,收录最新策略,适合生产环境参考

不足之处

  • 内容以链接为主,缺乏深入对比和实操指南
  • 文档/社区待观察

适用场景

  • 开发 LLM 应用时评估成本优化方案
  • 研究 Token 压缩与效率提升技术
  • 为生产环境选型缓存或路由工具

替代项目

Awesome-LLM、LLM-Ops、Prompt-Engineering-Guide

上一篇:minimal-embodiment

下一篇:tokenu

同类项目推荐

MagiCompiler 开源

插上就快,视频生成模型推理训练免费提速

A plug-and-play compiler that delivers free-lunch optimizations for both inference a···

★ 337 2026-08-09
strix-halo-guide 开源

AMD Strix Halo 跑本地大模型,先看这份实测指南再动手

Evidence-backed AMD Strix Halo local-AI setup and benchmarks: Qwen3.8, Ollama, llama···

★ 373 2026-10-16
clearml-fractional-gpu 开源

一块GPU跑多个容器,显存限制+时间切片,利用率翻倍

ClearML Fractional GPU - Run multiple containers on the same GPU with driver level m···

★ 97 2026-08-09
ray 开源

把 Python 代码一键变成分布式,搞定大规模 AI 训练和部署

Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of···

★ 44251 2026-08-09
TinyGPT 开源

用 C++ 从零手写 LLM 推理,轻量无依赖,适合学习和嵌入式部署。

Tiny C++ LLM inference implementation from scratch

★ 132 2026-08-09
openai 开源

兼容 OpenAI 调用方式,请求时自动完成链上按次付费

Drop-in OpenAI Typescript client with transparent x402 payment support.

★ 154 2026-10-26
dns-aid-core 开源

用 DNS 让 AI 智能体像网站一样被找到和验证

DNS-based Agent Identification and Discovery - Reference Implementation for IETF BAN···

★ 75 2026-08-09
hummingbird 开源

消费级硬件上跑超大 MoE 模型,统一内存调度

hummingbird is a lightweight, zero dependency runtime for massive open source Mixtur···

★ 65 2026-08-09
n8n-nodes-qdrant 开源

在 n8n 里拖拽连接 Qdrant,快速实现向量检索与 RAG。

Official n8n node for interfacing with Qdrant

★ 78 2026-08-09