vLLM-Hook
给 vLLM 装上状态探针，编程控制模型内部，实现监控与干预。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-12 · 当前星标 ★ 171
核心亮点
- 直接挂钩 vLLM 内部层，无需修改引擎源码即可读取和修改隐藏状态
- 支持自定义回调，灵活实现动态干预生成过程，如安全过滤或风格控制
- 提供 Jupyter 示例，上手快，适合研究和原型验证
不足之处
- 文档/社区待观察：早期项目，文档和示例覆盖有限
- 依赖 vLLM 内部 API，版本升级可能导致兼容性问题
适用场景
- AI 安全监控：实时检测模型输出中的有害内容并干预
- 模型可解释性研究：提取中间层特征分析模型行为
- 动态推理控制：根据业务规则调整生成过程中的状态
替代项目
TransformerLens、vLLM、OpenAI Evals
上一篇：casbin-gateway
下一篇：sglang-omni
同类项目推荐
humming
开源
运行时生成量化矩阵乘内核，推理更快更灵活
Humming is a high-performance, lightweight, and highly flexible JIT (Just-In-Time) c···
vLLM-2080Ti-Definitive
开源
双2080Ti+NVLink跑Qwen 27B，单请求破100 tok/s
The definitive vLLM runtime for dual RTX 2080 Ti 22GB + NVLink, delivering Qwen 27B ···
gigatoken
开源
用 Rust 把分词速度拉到 GB/s，告别数据预处理瓶颈
Language model tokenization at GB/s
kimi-k3-in-c
开源
在普通 CPU 上跑起万亿参数大模型，内存仅需 8G。
A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RA···
minimal-embodiment
开源
给大模型装上身体，实现感知-行动闭环
A minimal hardware-software architecture giving large language models a closed-loop ···
llm-d
开源
在 Kubernetes 上榨干 GPU，让 LLM 推理飞起来
State of the art inference performance with modern accelerators on Kubernetes
flashinfer
开源
免写 CUDA，给 LLM 推理服务直接加速的算子库
FlashInfer: Kernel Library for LLM Serving
FastDeploy
开源
用飞桨生态，一键部署大模型到生产环境
High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddleP···
thepipe
开源
用视觉大模型，把复杂文档秒变干净数据
Get clean data from tricky documents, powered by vision-language models ⚡