cost-optimization
本站收录 24 个带「cost-optimization」标签的 AI 开源项目
skypilot面向前沿 AI 团队的计算平台，将分散在不同云厂商的 GPU 算力整合成一台“AI 超级计算机”。它支持在多云环境下统一调度资源、自动选型最优实例并显著节省成本★ 10,665
metaflowNetflix 开源的 AI/ML 系统构建与管理框架，帮助开发者轻松编写、运行和部署机器学习流水线。它提供了简洁的 Python API，支持本地开发与云端规★ 10,283
ClawRouterClawRouter 是一个面向自主智能体的 LLM 路由层，核心解决多模型选择与成本控制问题。它内置 66 个模型（其中 8 个免费），通过本地路由实现亚毫秒★ 6,614
cascadeflowCascadeFlow 是一个面向 AI 代理（Agent）的级联运行时，旨在解决代理循环中成本、延迟、质量和策略决策的优化问题。它允许开发者将多个模型或处理步★ 3,999
NadirClawNadirClaw 是一个开源的 LLM 路由与 AI 成本优化代理，核心目标是帮你在不改变现有工具用法的前提下大幅降低大模型 API 开销。它对外暴露 Ope★ 654
sqzsqz 是一个用 Rust 编写的上下文压缩工具，专门服务于 AI 编程代理（如 Claude Code、Cursor、Codex、Kiro、Zed 及任意 M★ 634
MisceoMisceo 是一个本地部署的 Anthropic 兼容 AI 网关，核心解决多模型调用时的成本与质量平衡问题。它提供“便宜优先”的路由策略，自动将请求导向低成★ 446
prompt-cacheprompt-cache 是一个用 Go 编写的 LLM 代理，通过智能语义缓存将 LLM 调用成本降低最多 80%，并实现亚毫秒级响应。它作为即插即用的中间层★ 409
nudgebeeNudgebee 是一个统一的云运维平台，旨在解决多云环境下工具碎片化、上下文切换频繁以及模型锁定等问题。它将 AI 驱动的 SRE（站点可靠性工程）、FinO★ 397
leanctxleanctx 是一个用于生产环境 LLM 应用的即插即用提示词压缩工具。它基于 LLMLingua-2 模型，通过智能压缩提示词中的冗余内容，帮助开发者在不修★ 326
frugonfrugon 是一款免费、本地运行的开源 LLM 成本分析工具，旨在帮助开发者和团队精准定位大模型账单中的费用泄漏点。它通过解析 API 调用日志，将每次请求的★ 213
awesome-ai-tokenomics这是一个关于AI token成本管理的精选资源列表，汇集了工具、基准、论文和可直接复制的配置，旨在帮助开发者理解token的定价、找出浪费点并降低费用。项目围绕★ 190
ram-coffersram-coffers 是一个面向 LLM 推理的基础设施优化项目，通过 NUMA 感知的权重银行（weight banking）技术，在 refurbishe★ 170
edgeeEdgee 是一个用于与 Edgee Agent Gateway 交互的官方命令行工具。它主要解决开发者在同时使用多个 AI 编程助手（如 Claude Cod★ 136
claude-source-leaked这是一个针对Claude Code v2.1.88的深度源码分析项目，不包含原始代码，而是提炼了系统提示词、87个隐藏功能开关、成本优化策略、架构图、隐身模式等★ 131
nexus-llm-routernexus-llm-router 是一个智能的多 LLM 路由网关，提供与 OpenAI 兼容的 API，可无缝替换现有调用。它解决的核心问题是：在多个大模型提★ 125
awesome-ai-gatewayawesome-ai-gateway 是一个聚焦 AI 网关领域的精选资源与知识库项目。它系统梳理了 LiteLLM、OpenRouter、Portkey、Ko★ 118
AIephant-AI-Agent-GatewayAlephant 是一个开源的 AI Agent 网关，用 Rust 编写，专注于为 AI 代理、成员和工作流提供 LLM 流量的路由、追踪和控制。它解决了多代★ 113
get-beamget-beam 是一个面向 AI 基础设施的早期开源项目，旨在让用户以无服务器（Serverless）方式运行 GPU 推理和训练任务。它解决了传统 GPU ★ 104
homebrew-pandafilterhomebrew-pandafilter 是一个为 AI 编程代理设计的上下文智能层，用 Rust 编写。它解决的是 AI 编程工具在处理大型代码库时上下文窗口★ 100
gsd-proGSD Pro 是一个基于 Claude Code 的 AI 编程工作流增强工具，旨在提供比 Cursor Composer、Copilot Workspace★ 84
awesome-llm-token-optimization这是一个精选资源列表，汇集了降低大语言模型（LLM）Token 成本、提升生产环境效率的策略、工具、论文和资源。它解决的核心问题是 LLM 使用中 Token ★ 82
ZeusHammerZeusHammer 是一个面向开发者的 AI 超级智能体，主打本地大脑、语音交互与三层记忆架构。它解决了云端 AI 助手在数据隐私、响应延迟和上下文记忆方面的★ 67
llm-usellm-use 是一个面向智能体工作流的 LLM 编排工具包，采用“规划器 + 执行器 + 综合器”的架构模式，将复杂任务拆解为可管理的子任务并汇总结果。它内置★ 58