paiton-vllm-plugin
给 vLLM 加插件，不改源码就能扩展推理能力
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 116
核心亮点
- 以插件方式扩展 vLLM，避免直接 fork 上游代码，降低后续升级合并成本
- 复用 vLLM 已有的 PagedAttention、连续批处理等能力，定制部分只关注差异逻辑
- 纯 Python 实现，接入门槛低，便于快速验证自定义模型或调度策略
不足之处
- 早期项目，星标约百级，接口与文档稳定性有待观察
- 与 vLLM 主版本的兼容性依赖上游变更，缺少长期维护承诺
适用场景
- 为 vLLM 接入私有模型结构或自定义算子
- 在不改动主干的前提下试验自定义调度与请求处理策略
- 作为学习 vLLM 插件扩展机制的参考实现
替代项目
vLLM、SGLang、TGI
上一篇：vllm-radiance
下一篇：samir-vllm
同类项目推荐
Reticulum
开源
用 LoRa 和无线电搭建打不垮的加密通信网
The cryptography-based networking stack for building unstoppable networks with LoRa,···
onnxruntime-genai
开源
ONNX 模型一键跑生成式 AI，跨平台多语言
Generative AI with ONNX Runtime
aisix-archived
开源
用 Rust 打造你的 AI 网关，统一管理多模型请求
An open source, Native AI Gateway and LLM proxy built in Rust
onnxruntime
开源
一次导出模型，多端高效跑推理
ONNX Runtime: cross-platform, high performance ML inferencing and training accelerat···
plano
开源
为智能体应用打造的高性能 AI 原生网关，一键搞定路由、监控与安全。
Plano is an AI-native proxy server and data plane for agentic apps. Smart LLM routin···
paritok-4b-v1
开源
给编码问答先瘦身，速度翻倍还无损
Non-destructive compression gateway for AI coding agents. Cuts token bills 25% on tu···
terraform-genai-rag
开源
填几个变量，云上 RAG 环境一键搭好
Deploys a Generative AI RAG solution
BrowserAI
开源
在浏览器里本地跑大模型，离线私密零成本
Run local LLMs like llama, deepseek-distill, kokoro and more inside your browser
copilot-api
开源
把 Copilot 订阅变成 OpenAI 兼容 API，一行代码接入现有应用
GitHub Copilot, OpenAI Codex, OpenCode Go, and third-party AI provider gateway with ···