项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 785
核心亮点
- 直接复用 vLLM 的连续批处理与显存管理，决策模型无需自研推理调度
- 原生 serving 形态，接口与 vLLM 生态一致，降低接入和学习成本
- Python 技术栈，与主流模型训练和部署工具链衔接顺畅
不足之处
- 早期项目，星标规模有限，生产环境验证案例较少
- 文档与社区生态待观察，遇到问题可参考的资料不多
适用场景
- 将 Jev 决策模型部署为在线推理服务
- 多并发请求下提升决策模型吞吐
- 已有 vLLM 基础设施的团队扩展决策模型能力
替代项目
vLLM、TGI、SGLang
同类项目推荐
n8n-nodes-qdrant
开源
在 n8n 里拖拽连接 Qdrant，快速实现向量检索与 RAG。
Official n8n node for interfacing with Qdrant
OB1
开源
给AI装一个统一大脑：记忆、网关、聊天全搞定
Open Brain — The infrastructure layer for your thinking. One database, one AI gatew···
navop
开源
一个工具搞定数据库、服务器和 AI 监控，告别多窗口切换。
A native, all-in-one workspace for databases, SSH, SFTP, terminals, remote desktop, ···
web-llm
开源
在浏览器里直接跑大模型，无需服务器，隐私又省钱
High-performance In-browser LLM Inference Engine
logfire
开源
一键接入，实时追踪 LLM 调用，快速定位 AI 应用故障
AI observability platform for production LLM and agent systems.
traccia-py
开源
给 AI Agent 装上黑匣子，追踪、评估、治理一步到位
OpenTelemetry-native SDK for AI agent observability, tracing, evaluation, debugging,···
ploomber
开源
像写 Notebook 一样快速构建数据管道，一键部署上云。
The fastest ⚡️ way to build data pipelines. Develop iteratively, deploy anywhere. ···
TorchStream
开源
让 PyTorch 模型像流式 API 一样边输入边输出，实时响应
A library for making PyTorch models streamable
anythingmcp
开源
无需代码，把任意 API/数据库变成 AI 的 MCP 连接器
MCP gateway for AI agents: turn any REST/OpenAPI, GraphQL, SOAP or SQL API into MCP ···