
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-05 · 当前星标 ★ 120
核心亮点
- 针对 prefill-only 场景裁剪解码逻辑,减少无用开销,判别式任务吞吐更高
- 基于 nano-vllm 轻量代码,结构简单易读,便于按业务二次修改
- 面向工业级多模态大模型判别应用,贴合检索/打分/分类等真实需求
不足之处
- 仅支持 prefill,无法用于文本生成等自回归解码任务,适用范围窄
- 项目处于早期,星标约 120,生态、文档与社区支持有限
适用场景
- 多模态检索中的向量/打分前向计算
- 大规模 rerank 与相关性打分服务
- 内容分类、审核等判别式批量推理
替代项目
vLLM、SGLang、TensorRT-LLM
同类项目推荐
ai-gateway
开源
一个网关管所有AI大模型,统一接入、限流、控成本
Manages Unified Access to Generative AI Services built on Envoy Gateway
kiwi-mem
开源
给 AI 伴侣装上会遗忘、会做梦的长期记忆
Self-hosted memory gateway for AI companions — OpenAI-compatible proxy with vector ···
env-doctor
开源
一键诊断修复 CUDA/GPU 环境,本地、Docker、CI 全搞定
Diagnose and Fix CUDA / GPU environments compatibility issues locally, in Docker, an···
vllm-ultimate-dgx-spark
开源
DGX Spark 新硬件开箱即跑 vLLM 推理镜像
AEON vLLM Ultimate — vLLM 0.27.1 built from source for DGX Spark / Blackwell (sm_12···
llm-scaler
开源
让大模型推理更快更省显存,本地部署也能跑得动
mere-run
开源
在 Mac 上一条命令跑通图像、语音、视频等本地 AI 工作流
Run local image, text, speech, vision, music, and video workflows, plus model manage···
VecturaKit
开源
在苹果设备上本地跑向量检索,构建隐私安全的 RAG 应用
Swift-based vector database for on-device RAG using MLTensor and MLX Embedders
kraken
开源
自托管 CI 系统,灵活流水线,轻松掌控测试全流程。
Kraken CI is a continuous integration and testing system.
ollama-swift
开源
Swift 项目一键接入本地 Ollama 大模型
A Swift client library for interacting with Ollama. Supports structured outputs, too···