项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 347
核心亮点
- 聚焦决策模型推理，针对确定性输出做专门优化，同一输入结果可复现
- 结合 CUDA 加速与 KV Cache 复用，减少重复计算，降低决策场景延迟
- Python 实现，接入成本低，便于与现有 AI Agent 或策略系统集成
不足之处
- 早期项目，API 与文档可能频繁变动，生产可用性待验证
- 生态与社区规模较小，遇到问题可参考的案例和讨论有限
适用场景
- AI Agent 中需要低延迟、可复现的决策判断环节
- 规则与策略混合的在线决策服务推理加速
- 对输出一致性有要求的离线决策模型批量评估
替代项目
vLLM、TensorRT-LLM、Ollama
同类项目推荐
llm7.io
开源
一个网关接入所有主流大模型，告别多套 SDK。
LLM7.io offers a single API gateway that connects you to a wide array of leading AI ···
smg
开源
一套 API 接所有推理引擎，还能按缓存智能路由
Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility acros···
semantica
开源
知识串成图谱，AI 回答有据可查能追责
Graph-Native Infrastructure for Context and Accountable AI Systems
apisix
开源
云原生 API 网关，动态热更新，轻松管理 AI 与大模型流量。
The Cloud-Native API Gateway and AI Gateway
comfy2go
开源
用 Go 轻松接入 ComfyUI，快速实现图像生成服务
A Go-based API that acts as a bridge to the ComfyUI backend
whylogs
开源
记录数据日志，实时监控模型质量与漂移
An open-source data logging library for machine learning models and data pipelines. ···
arcadia
开源
一站式搭建安全可靠的AI应用，从原型到上线轻松搞定
A diverse, simple, and secure all-in-one LLMOps platform
rapid_llm
开源
用 Triton 手写轻量推理框架，快速读懂并改造 LLM 内核
RapidLLM is an LLM inference framework with continuous batching, tensor and data par···
codex-token-skills
开源
为 Codex CLI 省 60-80% token 成本，用前缀缓存优化
⚡ Cut 60-80% token cost for DeepSeek V4 Pro on Codex CLI. token-saver + memory skil···