项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 113
核心亮点
- 提供论文方法的可运行预览代码，便于复现实验和对比基线
- 基于 vLLM 生态，调度逻辑可直接嵌入现有推理流程验证
- Python 实现、代码量相对可控，适合研究者阅读和二次修改
不足之处
- 早期预览项目，接口与实现可能随论文更新而变化
- 文档和示例有限，缺少完整的部署与调优说明
- 社区规模小，问题反馈和长期维护待观察
适用场景
- 研究团队复现 Continuum 论文实验并对比调度策略
- 大模型推理服务开发者验证长上下文场景下的资源调度效果
- 高校课程或实验室中讲解推理系统调度机制的教学案例
替代项目
vLLM、SGLang、TensorRT-LLM
上一篇：Project_Chronos
下一篇：nextjs-vllm-ui
同类项目推荐
CPA_Orbit
开源
本地命令行统一管理 AI 账号与配额，实时监控价格
From K12 price radar to CPA proxy operations: a local-first console for offers, subs···
Your-First-LLM-Studio
开源
在 Mac 上本地跑、比、测多个大模型，一站式搞定
First LLM Studio: local-first LLM workbench for Apple Silicon + MLX. 本地优先 LLM 工···
infra
开源
让AI安全执行代码，秒级启动隔离沙箱
The runtime behind every E2B stack: Cloud, Enterprise, and your own machine.
RuVector
开源
用 Rust 打造的实时自学习向量图数据库，让 AI 记忆更聪明。
RuVector provides High Performance, Real-Time decisions and agent memory , Self-Lear···
amd-strix-halo-vllm-toolboxes
开源
AMD 小主机一键跑 vLLM 本地推理
rag-ops
开源
照着搭，快速拥有生产级 RAG 服务
This project applies the core knowledge from the LLMOps module, including the design···
orthrus
开源
双视角扩散解码，让大模型推理更快且无损
[NeurIPS 2026 Spotlight] Fast, lossless LLM inference via dual-view diffusion decodi···
vulcan-sql
开源
把数据仓库变成AI能直接调用的API，让Agent轻松取数。
Data API Framework for AI Agents and Data Apps
PowerInfer
开源
让普通电脑也能飞快跑大模型，省显存不减速
High-speed Large Language Model Serving for Local Deployment