用 Ray 调度 vLLM，轻松搞定高并发大模型服务
ray_vllm_inference 是一个将 vLLM 与 Ray Serve 集成的轻量级 LLM 推理服务项目，旨在提供快速且可扩展的大模型服务能力。它解决了在生产环境中部署 LLM 时面临的吞吐量瓶颈和弹性扩缩容难题，通过 Ray Serve 的分布式调度能力与 vLLM 的高效推理引擎相结合，实现了高并发请求下的低延迟响应。核心能力包括：基于 Ray Serve 的 HTTP 服务接口、vLLM 的 PagedAttention 显存优化、支持流式输出、动态批处理以及多副本水平扩展。项目结构简洁，配置灵活，适合作为构建自定义 LLM 服务的基础框架，尤其适用于需要快速搭建高吞吐推理服务的场景。
vLLM 官方推理服务器、Ray Serve 官方 LLM 示例、TGI (Text Generation Inference)
ray_vllm_inference 是基础设施领域的开源项目，由 asprenger 开发，2023 年首次发布。
它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 79。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-05-26。基于Apache-2.0许可证，可免费使用和部署。
它主要面向的使用场景是：企业内部快速搭建LLM推理服务原型。同类可对比的替代方案包括 vLLM 官方推理服务器、Ray Serve 官方 LLM 示例、TGI (Text Generation Inference)。
上一篇：gateway
下一篇：openmodelz
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
