vllm-lens
在 vLLM 推理中实时取激活、注入引导向量
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 139
核心亮点
- 直接挂载在 vLLM 推理链路上，无需改模型代码即可提取残差流激活
- 支持推理时注入 steering vector，可做激活引导与行为调控实验
- 提供 activation oracle 机制，能按上下文动态构造引导方向
不足之处
- 早期项目，星标少，接口与稳定性可能随 vLLM 版本变化
- 文档与示例覆盖有限，复杂层选择与批量场景需自行摸索
适用场景
- 机制可解释性研究：采集特定层残差流做表征分析
- 推理期行为调控：注入引导向量观察输出风格变化
- 激活预言机实验：动态生成方向向量并在线验证效果
替代项目
TransformerLens、nnsight、baukit
下一篇：vllm-mxfp4
同类项目推荐
stable-diffusion-docker
开源
一键启动全功能AI绘画环境，省去配置烦恼
Docker image for Stable Diffusion WebUI with ControlNet, After Detailer, Dreambooth,···
haupt
开源
为 Polyaxon 提供元数据与工件流管理底座
Lineage metadata API, artifacts streams, sandbox, API, and spaces for Polyaxon
aiops-modules
开源
把 AWS 上 AI 基建打包成积木，快速搭建和运维
AIOps modules is a collection of reusable Infrastructure as Code (IaC) modules for M···
Mooncake
开源
用缓存复用和分离式调度，让大模型服务又快又省
Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonsho···
google-cloud-gcp-openai-api
开源
一行配置，把谷歌大模型变成 OpenAI 接口，无缝切换。
Drop-in replacement REST API for Vertex AI (PaLM 2, Codey, Gemini) that is compatibl···
llmops
开源
用 TypeScript 快速搭建可插拔的 LLM 应用运维工具链
A pluggable LLMOps toolkit for TypeScript applications.
azhpc-images
开源
一键构建 Azure 上优化好的 HPC/AI 虚拟机镜像，省去环境配置烦恼
Azure HPC/AI VM Images
suna
开源
一站式管理你的所有 AI 智能体，让运维更省心
The open-source AI Operating System
TurboLLM
开源
一条命令把 Claude Code 接到自己显卡上跑
Run any local LLM engine, auto-tuned to your GPU — polished web UI + OpenAI/Anthrop···