vllm-rlt
给循环 Transformer 做循环级调度的推理引擎
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 211
核心亮点
- 调度粒度下沉到循环级别，能对循环 Transformer 的每一轮计算单独编排，而非只能按层或按请求调度
- 支持可组合阶段（composable stages），便于把推理流程拆解并灵活重组
- 借鉴 vLLM 的引擎设计思路，对熟悉 vLLM 的开发者迁移成本较低
不足之处
- 早期项目，星标约 211，社区规模小，文档和示例可能不完整
- 仅面向循环 Transformer 这一细分架构，通用模型覆盖面有限
- 缺少与主流推理引擎的完整性能基准对比，生产可用性待验证
适用场景
- 研究循环 Transformer、循环深度可变模型的推理实验
- 需要按循环轮次精细控制调度与资源分配的推理服务
- 在 vLLM 思路基础上二次开发定制推理引擎
替代项目
vLLM、SGLang、TensorRT-LLM
上一篇：vllm-torchtpu
下一篇：agentic-api
同类项目推荐
deeplake
开源
海量训练数据随手存取，喂给模型不卡壳
Deeplake is AI Data Runtime for Agents. It provides serverless postgres with a multi···
build-and-deploy-real-time-featu···
开源
用Python快速搭建实时特征管道，让模型用上最新数据。
Develop and deploy a real-time feature pipeline in Python, using Bytewax and Hopswo···
cftunnel
开源
一条命令，内网服务秒变公网可访问，免费或自建任选。
全协议内网穿透 CLI — Cloud 模式免费 HTTP/WS 穿透 + Relay 模式自建中继 TCP/UDP 全协议···
litellm
开源
一个网关接入所有大模型，告别接口乱、成本散、监控难
The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in Ope···
Free-GPT-Grok-Gemini-Claude-API
开源
一个API直连GPT/Claude/Gemini，国内可用，支付宝付款
Access GPT-5, o4, Claude 4.5 & Gemini 3 via one API. The best OpenRouter alternative···
mlx-flash
开源
让 Apple 设备跑起超内存大模型，流式加载不卡顿。
Flash weight streaming for MLX: run massive models larger than your RAM on Apple Sil···
ROCm-RX6600XT
开源
让AMD显卡跑起PyTorch和TensorFlow，深度学习不再被NVIDIA垄断。
AMD ROCm Installation Guide on RX 6600 XT + TensorFlow and PyTorch
OpenContracts
开源
让智能体读懂文档，一键提取结构化数据。
The open document intelligence platform for builders and hackers - DMS for the agent···
skypilot
开源
各家云比价自动挑最划算的，算力随叫随到
The AI Compute Platform for frontier teams. SkyPilot turns fragmented AI compute int···