nano-vllm-prefillonly

砍掉解码只留 prefill,判别式大模型推理更快更省

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施
GitHub ↗
GitHub 星标 ★ 120
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,免费使用

项目预览

nano-vllm-prefillonly 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队86MaxCao
定价模式🏷️完全免费
价格说明开源项目,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 120
上线时间2026-01-07 00:00:00
代码更新2026-09-20
仓库体积1.5 MB
本站数据更新2026-11-18
维护状态维护中
收录时间2026-10-05
浏览次数3

项目介绍

nano-vllm-prefillonly 是 nano-vllm 的一个专用优化分支,聚焦于仅需 prefill 阶段的推理任务。传统大模型推理框架通常为自回归解码设计,包含 KV Cache 管理、逐 token 生成等完整流程,但对于判别式应用(如多模态检索、打分、分类、rerank),模型只需对输入做一次前向计算即可得到结果,无需逐 token 解码。该项目正是为这类场景裁剪掉解码相关开销,保留并强化 prefill 路径,从而在工业级多模态大模型判别任务上获得更高的吞吐与更低的延迟。核心能力包括:针对 prefill-only 的调度与批处理优化、与多模态大模型输入适配、以及基于 nano-vllm 的轻量代码结构,便于二次开发与部署。适合需要大规模跑判别式推理、又不想背负完整生成式推理框架复杂度的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-05 · 当前星标 ★ 120

核心亮点

  • 针对 prefill-only 场景裁剪解码逻辑,减少无用开销,判别式任务吞吐更高
  • 基于 nano-vllm 轻量代码,结构简单易读,便于按业务二次修改
  • 面向工业级多模态大模型判别应用,贴合检索/打分/分类等真实需求

不足之处

  • 仅支持 prefill,无法用于文本生成等自回归解码任务,适用范围窄
  • 项目处于早期,星标约 120,生态、文档与社区支持有限

适用场景

  • 多模态检索中的向量/打分前向计算
  • 大规模 rerank 与相关性打分服务
  • 内容分类、审核等判别式批量推理

替代项目

vLLM、SGLang、TensorRT-LLM

上一篇:delta-Mem

下一篇:DiPlay

同类项目推荐

ai-gateway 开源

一个网关管所有AI大模型,统一接入、限流、控成本

Manages Unified Access to Generative AI Services built on Envoy Gateway

★ 2418 2026-08-09
kiwi-mem 开源

给 AI 伴侣装上会遗忘、会做梦的长期记忆

Self-hosted memory gateway for AI companions — OpenAI-compatible proxy with vector ···

★ 351 2026-09-12
env-doctor 开源

一键诊断修复 CUDA/GPU 环境,本地、Docker、CI 全搞定

Diagnose and Fix CUDA / GPU environments compatibility issues locally, in Docker, an···

★ 174 2026-08-09
vllm-ultimate-dgx-spark 开源

DGX Spark 新硬件开箱即跑 vLLM 推理镜像

AEON vLLM Ultimate — vLLM 0.27.1 built from source for DGX Spark / Blackwell (sm_12···

★ 149 2026-10-28
llm-scaler 开源

让大模型推理更快更省显存,本地部署也能跑得动

★ 590 2026-09-16
mere-run 开源

在 Mac 上一条命令跑通图像、语音、视频等本地 AI 工作流

Run local image, text, speech, vision, music, and video workflows, plus model manage···

★ 96 2026-08-09
VecturaKit 开源

在苹果设备上本地跑向量检索,构建隐私安全的 RAG 应用

Swift-based vector database for on-device RAG using MLTensor and MLX Embedders

★ 329 2026-08-09
kraken 开源

自托管 CI 系统,灵活流水线,轻松掌控测试全流程。

Kraken CI is a continuous integration and testing system.

★ 159 2026-08-09
ollama-swift 开源

Swift 项目一键接入本地 Ollama 大模型

A Swift client library for interacting with Ollama. Supports structured outputs, too···

★ 455 2026-10-29