项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 306
核心亮点
- 一行命令即可将任意模型部署为 API，显著降低服务化门槛
- 同时兼容 OpenAI、Anthropic、Ollama 端点，迁移成本低
- 内置聊天 UI，开箱即用，便于快速演示和调试
不足之处
- 项目处于早期阶段（星标不足300），生态和文档可能尚不完善
- 文档/社区待观察
适用场景
- 快速将 Hugging Face 模型封装为内部 API 供团队调用
- 搭建兼容 OpenAI 接口的本地模型网关，替换第三方服务
- 开发需要 MCP 工具调用的智能体应用，快速提供模型后端
替代项目
vLLM、Triton Inference Server、Ray Serve
上一篇：FreeQwenApi
下一篇：OpenGPT
同类项目推荐
rivet
开源
给 AI 智能体和协作应用装上持久记忆与实时状态
The orchestrator for agentic workloads. A fast, high-density and scalable orchestrat···
uzu
开源
用 Rust 打造超快本地音频 AI 推理，秒级生成声音
A high-performance inference engine for AI models
exstruct
开源
把 Excel 变成 AI 能读懂的 JSON，让智能体自动读写表格。
Conversion from Excel to structured JSON (tables, shapes, charts) for LLM/RAG pipeli···
rwkv.cpp
开源
在 CPU 上跑 RWKV 大模型，量化省内存，推理快人一步
INT4/INT5/INT8 and FP16 inference on CPU for RWKV language model
NeuroAPI
开源
俄罗斯开发者一键接入全球主流 AI 模型，绕过支付和地域限制。
NeuroAPI: российский AI API для Codex CLI и Claude Code — безопа···
openinference
开源
给 AI 应用装上标准监控，一键追踪 LLM 调用全链路
OpenTelemetry Instrumentation for AI Observability
mlplatform-workshop
开源
用示例代码快速搭建机器学习平台骨架
Example code for a basic ML Platform based on Pulumi, FastAPI, DVC, MLFlow and more
deepmem
开源
5分钟换掉Mem0，检索快2倍成本省10倍
Drop-in AI memory layer with 2x faster retrieval and 10x lower cost. Fully compatibl···
datapizza-ai
开源
快速搭建可靠生成式 AI 应用，省去基础设施烦恼。
Build reliable Gen AI solutions without overhead