项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 189
技术标签
核心亮点
- 用 Go 实现，便于与 Go 生态的推理网关/调度器集成，部署轻量
- 专注 KV 缓存的分片调度与卸载，切中大模型长上下文推理的显存瓶颈
- 属于 llm-d 孵化项目，有明确的分布式推理生态定位，后续可复用其调度能力
不足之处
- 项目处于早期，星标仅 177，API 和文档可能不稳定
- 生态与案例较少，生产环境验证和社区支持有待观察
适用场景
- 多实例大模型推理服务中，把 KV 缓存分布到多台机器以支撑长上下文
- 推理平台需要按请求调度和卸载 KV 缓存，降低重复 prefill 计算
- 构建分布式 LLM 推理网关时，作为缓存层组件集成到调度链路
替代项目
vLLM、SGLang
上一篇：pathway
同类项目推荐
krsh
开源
声明式配置，一键部署和管理 KubeFlow 环境
A declarative KubeFlow Management Tool
olleh
开源
用 Ollama 的姿势，跑 Apple 的模型
An Ollama-compatible CLI for Apple's Foundation Models
github-copilot-api-vscode
开源
把 Copilot 订阅变成本地 OpenAI 接口，任意工具免 Key 直连
Unlock GitHub Copilot as a local API Gateway. Use Copilot with Cursor, LangChain, an···
OpenGPT
开源
免费封装 GPT API，几行代码接入智能对话
OpenGPT 3.5/4 is a project aimed at providing practical and user-friendly APIs. The ···
AI-Gateway
开源
用 Azure 网关统一管住模型、MCP 和 Agent 调用
Labs to explore AI Models, MCP servers, and Agents with the AI Gateway powered by Az···
MiMo2API
开源
把小米 MiMo 网页对话变成 OpenAI 兼容 API，现有工具直接调用
将小米 MiMo AI Studio 网页端对话转换为 OpenAI + Anthropic 兼容 API（Chat Completions···
awesome-llm-token-optimization
开源
一站式收藏 LLM 省钱秘籍，快速降低 Token 成本
A curated list of strategies, tools, papers, and resources for reducing LLM token co···
AIHelms
开源
统一纳管 AI 资源，精准控成本、强治理、提效能
企业级 AI 资源纳管平台，提供统一 AI网关、Token调度能力，纳管 OpenAI、Azure、Claude、···
afm-Server
开源
把苹果设备端模型变成本地 OpenAI API，一键调用
macOS menu bar app that exposes Apple's on-device Foundation Models as an OpenAI-com···