ray_vllm_inference
用 Ray 调度 vLLM，轻松搞定高并发大模型服务
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 79
技术标签
核心亮点
- 结合 Ray Serve 的自动扩缩容与 vLLM 的高吞吐推理，兼顾弹性与性能
- 代码结构清晰，配置简单，上手门槛低，适合快速部署
- 支持流式输出与动态批处理，提升用户体验和 GPU 利用率
不足之处
- 项目处于早期阶段，文档和社区支持相对有限
- 功能较为基础，缺少高级特性如多模型管理、A/B 测试等
适用场景
- 企业内部快速搭建 LLM 推理服务原型
- 需要弹性扩缩容应对波动请求量的生产环境
- 基于 Ray 生态构建分布式 AI 应用时集成 LLM 服务
替代项目
vLLM 官方推理服务器、Ray Serve 官方 LLM 示例、TGI (Text Generation Inference)
上一篇：gateway
下一篇：openmodelz
同类项目推荐
arcadia
开源
一站式搭建安全可靠的AI应用，从原型到上线轻松搞定
A diverse, simple, and secure all-in-one LLMOps platform
llama-cpp-docker
开源
一条命令在 Docker 里跑起 GPU 加速的本地大模型
Run llama.cpp in a GPU accelerated Docker container
VelesDB
开源
一个二进制搞定 Agent 记忆，召回还能给出证据链
The explainable, local-first memory engine for AI agents. One ~9 MB binary fuses vec···
ComfyUI-Docker
开源
一条命令拉起 ComfyUI，告别环境配置地狱
Dockerfile for ComfyUI. | 容器镜像与启动脚本
VibeGuard
开源
用1%内存开销，在AI对话前自动脱敏，守住隐私底线
Uses just 1% memory while protecting 99% of your personal privacy.
ComfyUI-Nvidia-Docker
开源
一条命令拉起带 GPU 的 ComfyUI，权限不打架
ComfyUI for NVIDIA GPU in a Docker container with user configurable uid/gid
omniai
开源
一个 Ruby 库，统一多家 AI 接口，切换模型像换插件一样简单。
OmniAI standardizes the APIs for multiple AI providers like OpenAI's Chat GPT, Mistr···
Mooncake
开源
用缓存复用和分离式调度，让大模型服务又快又省
Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonsho···
FastFlowLM
开源
在 AMD NPU 上像用 Ollama 一样快速跑大模型
Run LLMs on AMD Ryzen™ AI NPUs in minutes; purpose-built and deeply optimized for t···