项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 391
核心亮点
- 基于 Lightning Apps 框架，组件化设计，易于扩展和定制
- 内置负载均衡、动态批处理和 GPU 编排，直接解决生产级推理痛点
- 预置模型机制减少冷启动延迟，提升用户体验
不足之处
- 项目处于早期阶段，文档和社区支持待观察
- 依赖 Lightning Apps 框架，学习成本较高
适用场景
- 为 SaaS 平台提供 Stable Diffusion 图像生成 API
- 企业内部部署高并发图像生成服务
- 研究团队快速搭建模型服务原型
替代项目
vLLM、Text Generation Inference、BentoML
上一篇：ollama-intel-arc
下一篇：BentoDiffusion
同类项目推荐
graphsignal
开源
把 GPU 内核耗时对应回 Python 代码，快速找出推理瓶颈
GPU Profiler for AI agents
dgx-spark-inference-stack
开源
在桌面级 AI 超算上，一键部署本地大模型推理服务
Serve the home! Inference stack for your Nvidia DGX / RTX Spark (128GB ram) aka the ···
arcadia
开源
一站式搭建安全可靠的AI应用，从原型到上线轻松搞定
A diverse, simple, and secure all-in-one LLMOps platform
openai-openapi
开源
官方 API 契约，一键生成客户端与文档
OpenAPI specification for the OpenAI API
strix-halo-guide
开源
AMD Strix Halo 跑本地大模型，先看这份实测指南再动手
Evidence-backed AMD Strix Halo local-AI setup and benchmarks: Qwen3.8, Ollama, llama···
Lexoid
开源
把脏乱数据变成 AI 能用的干净上下文
The open-source universal adapter for LLMs. Turn messy real-world data into clean, a···
fastapi-admin
开源
一个系统接入所有主流大模型，统一管理密钥与调用。
企业级 LLM API 快速集成系统，支持OpenAI、Azure、文心一言、讯飞星火、通义千问、智谱GL···
axonhub
开源
一个网关，用任意 SDK 稳定调用 100+ 大模型，自动容灾省钱
⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, loa···
gguf-parser-go
开源
解析 GGUF 文件，算清显存占用和推理速度
Review/Check GGUF files and estimate the memory usage and maximum tokens per second.