项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-27 · 当前星标 ★ 103
核心亮点
- 复用 vLLM 的高吞吐推理内核，避免从零搭建推理服务
- 针对智能体多轮、工具调用类负载做调度适配，而非通用对话优化
- Python 实现，与主流智能体框架和 vLLM 生态集成成本低
不足之处
- 项目处于早期，星标约百级，功能与接口稳定性待观察
- 文档与社区规模有限，生产环境踩坑可参考资料较少
适用场景
- 为自建智能体应用提供统一推理后端
- 多轮工具调用场景下的并发请求调度
- 在私有环境中部署基于 vLLM 的智能体推理服务
替代项目
vLLM、SGLang、Ollama
上一篇：gpu-unlock
下一篇：anthropic-on-aws
同类项目推荐
plano
开源
为智能体应用打造的高性能 AI 原生网关，一键搞定路由、监控与安全。
Plano is an AI-native proxy server and data plane for agentic apps. Smart LLM routin···
llm-inference-at-scale
开源
把大模型从能跑到稳定省钱的实战手册
A Practitioner handbook for production llm serving.
OpenMLDB
开源
用SQL统一训练与推理特征，告别线上线下不一致
OpenMLDB is an open-source machine learning database that provides a feature platfor···
openai-node
开源
官方 TS SDK，类型安全调用 OpenAI 接口
Official JavaScript / TypeScript library for the OpenAI API
pipelines
开源
在 Kubernetes 上编排机器学习流水线，一键运行和监控
Machine Learning Pipelines for Kubeflow
deepmem
开源
5分钟换掉Mem0，检索快2倍成本省10倍
Drop-in AI memory layer with 2x faster retrieval and 10x lower cost. Fully compatibl···
octelium
开源
一套自托管平台，搞定 VPN、ZTNA、API 网关和内网穿透
A next-gen FOSS self-hosted unified zero trust secure access platform that can opera···
ClawManager
开源
在 K8s 上统一管好 AI Agent 实例和访问权限
A Kubernetes-native control plane for AI agent instance management, with governed AI···
gpt-load
开源
把多个 AI 账号聚合成一个入口，自动轮换防封省额度
Self-hosted AI gateway for multi-channel, multi-credential setups — API keys and su···