项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 88
核心亮点
- 内置 PagedAttention 和连续批处理，推理吞吐量高、显存占用低
- 提供 OpenAI 兼容 API，现有应用可零成本切换接入
- 支持本地与云端两种部署方式，灵活适配隐私和弹性需求
不足之处
- 项目处于早期阶段，文档和社区生态尚不完善
- 支持的模型架构有限，自定义模型接入门槛较高
适用场景
- 企业私有化部署大模型，保障数据安全
- 需要高并发、低延迟推理的在线 AI 服务
- 从 OpenAI API 迁移到自托管模型的降本场景
替代项目
vLLM、TGI (Hugging Face Text Generation Inference)、Ollama
上一篇：inferencedb
同类项目推荐
vestauth
开源
给 AI 智能体加上安全身份证，让请求可信可验。
auth for agents–from the creator of `dotenv` and `dotenvx`
memory-lancedb-pro
开源
让智能体记忆更准、更清晰，开箱即用的混合检索与管理工具。
Enhanced LanceDB memory plugin for OpenClaw — Hybrid Retrieval (Vector + BM25), Cro···
spectralquant
开源
旋转特征基+注水位分配，KV-Cache 压缩不降精度
SpectralQuant: Calibrated Eigenbasis Rotation and Water-Filled Bit Allocation for KV···
sbx-releases
开源
给 AI 编码代理一个隔离沙箱，随便跑不伤本机
Docker Sandboxes run AI coding agents in isolated environments on your machine or on···
axonhub
开源
一个网关，用任意 SDK 稳定调用 100+ 大模型，自动容灾省钱
⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, loa···
crane
开源
可视化桌面工具，让容器镜像管理像点鼠标一样简单
Crane is a easy-to-use and beautiful desktop application helps you build manage your···
Memori
开源
给 AI 装上持久记忆，让智能体不再失忆
Memori is agent-native memory infrastructure. A LLM-agnostic layer that turns agent ···
terraform-genai-rag
开源
填几个变量，云上 RAG 环境一键搭好
Deploys a Generative AI RAG solution
vllm-ascend
开源
让 vLLM 在昇腾 NPU 上跑起来，无缝用上大模型推理
Community maintained hardware plugin for vLLM on Huawei Ascend