inferock-bench

本地代理,实时追踪 LLM 调用成本与失败,账单一目了然

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 50 🐛 待处理 1 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 111
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,完全免费。

项目预览

inferock-bench 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队inferock
定价模式🏷️完全免费
价格说明开源项目,本地部署,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言TypeScript
技术栈/模型ai-billing,anthropic,benchmark,billing,billing-integrity,claude,cost-tracking,developer-tools,evals,gemini,gpt,llm,llm-observability,llmops,observability,openai,openrouter,proxy,reliability-benchmark,token-counting
GitHub 星标★ 111
上线时间2026-07-02 00:00:00
代码更新2026-08-17
仓库体积9.9 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数6

项目介绍

inferock-bench 是一个面向本地 LLM 调用的成本追踪代理,支持 OpenAI、Anthropic、Gemini 以及固定的 OpenRouter 调用。它解决的是开发者在本地或测试环境中难以精确统计 token 消耗、失败率和账单一致性的问题。核心能力包括:拦截并记录所有 LLM API 请求,实时统计 token 用量,监控调用失败情况,并生成可审计的账单完整性收据,确保费用计算透明可追溯。项目基于 TypeScript 构建,轻量易集成,适合作为本地开发调试或自托管 LLM 网关的辅助工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 111

核心亮点

  • 精准拦截多厂商 API 请求,统一统计 token 消耗,避免手工估算
  • 生成账单完整性收据,可审计费用计算,防止计费偏差
  • 轻量 TypeScript 实现,易于嵌入现有开发流程或自托管部署

不足之处

  • 文档/社区待观察
  • 仅支持固定 OpenRouter 调用,灵活性受限

适用场景

  • 本地开发调试时监控 LLM API 调用成本
  • 自建 LLM 网关,统一审计多供应商账单
  • 测试环境中验证 token 计费逻辑的准确性

替代项目

Helicone、LiteLLM、OpenLLMetry

上一篇:VectorChord

下一篇:llmtrim

同类项目推荐

gpu-unlock 开源

解锁 30 系显卡 FP/BF16 发射率,逼近专业卡算力

Your GeForce runs AI at half speed. This fixes it for 20/30/40 series cards. Up to 2···

★ 18166 2026-10-26
coai 开源

一个后台管所有 AI 模型,自动计费与路由,省心省钱

Next Gen Multi-tenant AI One-Stop Solution. Builtin Admin & Billing System. Enterpri···

★ 9344 2026-08-09
mlx-serve 开源

在 Mac 上原生跑 LLM,兼容 OpenAI/Anthropic API,无需 Python

Native LLM inference server for Apple Silicon. OpenAI + Anthropic API compatible. No···

★ 2406 2026-08-09
statewave 开源

给AI智能体装上可追溯的长期记忆,告别查询式检索

Open-source memory runtime for AI agents — reproducible, provenance-tagged context ···

★ 257 2026-08-09
Crane 开源

纯 Rust 多模态推理引擎,一个栈跑通文本、视觉、语音与 OCR。

A Pure Rust based LLM, VLM, VLA, TTS, OCR Inference Engine, powering by Candle & Rus···

★ 524 2026-09-19
dify-google-cloud-terraform 开源

在 Google Cloud 上快速部署生产级 Dify,自动搞定高可用和弹性伸缩。

Terraform configuration for deploying Dify on Google Cloud with scalability, high av···

★ 260 2026-08-09
GPTFree 开源

免注册免费调用 GPT/Claude/Gemini,兼容 OpenAI 接口

Free OpenAI-compatible API providing access to powerful AI models. No registration r···

★ 54 2026-08-09
Deepthink 开源

让大模型自动反复试错,批量搜出更优方案

Using LLMs for iteratively exploring the solution search space at scale.

★ 811 2026-11-07
free-ai 开源

免费获取 OpenAI 兼容 API,50+ 模型免费用

FreeTheAI: free AI API and open model marketplace. One OpenAI-compatible endpoint at···

★ 39 2026-08-09