项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 586
核心亮点
- 给出 Cloud Run GPU 部署的完整配置示例，含容器与显存参数
- 基于 vLLM 封装推理接口，便于对接现有调用链路
- 附带公开基准数据，可直接对比延迟与吞吐表现
不足之处
- 以 HTML 文档和示例为主，工程化封装程度有限
- 仅针对单一实验模型与特定 GPU 型号，通用性较弱
- 缺少生产级监控、扩缩容与鉴权方案
适用场景
- 在云端 GPU 上快速验证扩散语言模型的推理效果
- 为团队内部演示搭建可访问的模型服务与前端页面
- 对比 vLLM 承载扩散采样与传统自回归推理的性能差异
替代项目
vLLM、text-generation-inference、Ollama
上一篇：ome
下一篇：spark-dashboard
同类项目推荐
pegainfer
开源
纯 Rust 直调 CUDA，OpenAI 接口跑大模型
Pure Rust + CUDA LLM inference engine — no PyTorch, OpenAI-compatible, serves Qwen3···
Deep-learning-in-cloud
开源
一张清单，快速选对深度学习云服务商
List of Deep Learning Cloud Providers
OnnxStream
开源
让树莓派跑SDXL，低内存设备也能玩转大模型
Lightweight inference library for ONNX files, written in C++. It can run Stable Diff···
examples
开源
上手 Pinecone 向量数据库，边看边练快速落地
Jupyter Notebooks to help you get hands-on with Pinecone vector databases
OctoBus
开源
给AI智能体装上安全闸门，只放行企业批准的API调用。
A secure local gateway for AI agents to reliably call approved enterprise APIs, tool···
langfuse
开源
一站式搞定 LLM 应用调试、评估和提示词管理
Open source agent evals & observability: Trace, evaluate, and improve LLM applicatio···
ComfyUI-Installer
开源
Linux 上一键装好 ComfyUI，省去手动配环境的麻烦。
Easily install ComfyUI on a Linux system. Installs completely inside a Python venv.
PolyStrata
开源
一键在个人电脑跑多种大模型，本地开放兼容 API
Run large AI models on your own PC: Qwen3.8-Flash-Next on Strata's engine, and GLM 5···
TurboLLM
开源
一条命令把 Claude Code 接到自己显卡上跑
Run any local LLM engine, auto-tuned to your GPU — polished web UI + OpenAI/Anthrop···