项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 160
技术标签
核心亮点
- Go 实现，性能高，资源占用低，适合高并发场景
- 统一 API 接口，切换模型无需改代码，开发效率高
- 内置缓存、限流、重试，开箱即用，减少运维负担
不足之处
- 项目处于早期阶段，文档和社区生态尚不完善
- 支持的模型提供商数量有限，可能无法覆盖所有需求
适用场景
- 快速搭建 AI 应用原型，需要对接多个模型进行对比测试
- 企业内部统一 AI 模型接入层，管理密钥和调用配额
- 作为高性能代理，用于生产环境的模型请求转发和负载均衡
替代项目
LiteLLM、OpenRouter、Kong AI Gateway
下一篇：llm.report
同类项目推荐
ESP32s3-LLM-Cluster
开源
7块ESP32-S3串成链，跑起0.4B三值量化大模型
7-node ESP32-S3 cluster running a 0.4B LLM via 1.58-bit (BitNet) ternary quantizatio···
server
开源
MySQL 的社区增强版，开箱即用更稳更强
MariaDB server is a community developed fork of MySQL server. Started by core member···
jellyfin
开源
免费开源媒体服务器，自己掌控影音库，随时随处播放
The Free Software Media System - Server Backend & API
cortexdb
开源
给 AI 装上一个能长期记忆的知识图谱大脑
Local-first AI agent memory with a knowledge graph, ontology constraints, and tracea···
SLA
开源
让视频生成模型推理更快，画质不掉线
SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse–Linear Atten···
paddock
开源
Rust 写的推理服务器，Mac 和 N 卡都能跑开放模型
Native Rust inference server for open models on NVIDIA and Apple Silicon. OpenAI- an···
openllmetry
开源
用 OpenTelemetry 一键监控你的大模型应用，看清每次调用和成本。
Open-source observability for your GenAI or LLM application, based on OpenTelemetry
tokenu
开源
像 du 一样快速统计 token 用量，优化 AI 上下文管理
a unix-like du command line tool to count token usage per files and directories
tensorzero
开源
大模型上线后的监控调优全包办，出问题不再抓瞎
TensorZero is an open-source LLMOps platform that unifies an LLM gateway, observabil···