inferock-bench 是基础设施领域的开源项目，由 inferock 开发，是 2026 年新上线的项目。
它收录于基础设施分类，该分类目前共有 1,130 个项目，GitHub 星标数为 141。
项目仍在小幅维护中，最近一次代码更新于 2026-09-07。本地部署，完全免费。
它主要面向的使用场景是：本地开发调试时监控LLMAPI调用成本。同类可对比的替代方案包括 Helicone、LiteLLM、OpenLLMetry。
inferock-bench
本地代理，实时追踪 LLM 调用成本与失败，账单一目了然
inferock-bench 是一个面向本地 LLM 调用的成本追踪代理，支持 OpenAI、Anthropic、Gemini 以及固定的 OpenRouter 调用。它解决的是开发者在本地或测试环境中难以精确统计 token 消耗、失败率和账单一致性的问题。核心能力包括：拦截并记录所有 LLM API 请求，实时统计 token 用量，监控调用失败情况，并生成可审计的账单完整性收据，确保费用计算透明可追溯。项目基于 TypeScript 构建，轻量易集成，适合作为本地开发调试或自托管 LLM 网关的辅助工具。
开源
free
基础设施
GitHub 星标
★ 141
维护状态
维护中
是否开源
是
定价模式
free
项目数据
分类基础设施
开发团队inferock
所属国家
定价模式free
价格说明开源项目，本地部署，完全免费。
访问状态
是否开源是
开源协议NOASSERTION
主要语言TypeScript
技术栈/模型ai-billing,anthropic,benchmark,billing,billing-integrity,claude,cost-tracking,developer-tools,evals,gemini,gpt,llm,llm-observability,llmops,observability,openai,openrouter,proxy,reliability-benchmark,token-counting
GitHub 星标★ 141
30天Star增速
HF 下载量
上线时间2026-07-02 00:00:00
最近更新2026-09-07 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5
使用教程
核心亮点
- 精准拦截多厂商 API 请求，统一统计 token 消耗，避免手工估算
- 生成账单完整性收据，可审计费用计算，防止计费偏差
- 轻量 TypeScript 实现，易于嵌入现有开发流程或自托管部署
不足之处
- 文档/社区待观察
- 仅支持固定 OpenRouter 调用，灵活性受限
适用场景
- 本地开发调试时监控 LLM API 调用成本
- 自建 LLM 网关，统一审计多供应商账单
- 测试环境中验证 token 计费逻辑的准确性
替代项目
Helicone、LiteLLM、OpenLLMetry
项目介绍
上一篇：VectorChord
下一篇：llmtrim
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···