vllm 第 2 页
本站收录 87 个带「vllm」标签的 AI 开源项目（按 GitHub 星标从高到低，第 2 / 2 页）
llmazllmaz 是一个面向 Kubernetes 的大模型推理平台，目标是把 vLLM、SGLang、TGI、llama.cpp、Ollama 等主流推理引擎统一纳★ 315
flamaflama 是一个面向预测式与生成式 AI 的生产级框架，旨在让开发者以极简方式将任意模型快速部署为 API。它解决了模型服务化过程中配置复杂、接口不统一、缺乏★ 304
hass_local_openai_llm这是一个 Home Assistant 的本地 LLM 集成组件，让用户可以直接在 HA 中使用本地运行的 OpenAI 兼容服务（如 llama.cpp、vL★ 299
TorchSpecTorchSpec 是一个基于 PyTorch 原生实现的投机解码（speculative decoding）模型训练库，主要解决大语言模型推理加速中草稿模型（★ 262
gpt_servergpt_server 是一个面向生产环境的 AI 服务部署框架，旨在统一集成多种主流模型能力，包括大语言模型（LLM）、Embedding、Reranker、A★ 253
juliusJulius 是一个用 Go 编写的 LLM 服务识别工具，核心功能是把一个 IP:Port 快速翻译成具体的 AI 服务类型，例如 Ollama、vLLM、L★ 248
LLMKubeLLMKube 是一个 Kubernetes Operator，用于在异构 GPU 集群上自托管大模型推理。它解决的核心问题是：家里或公司机房里混着 NVIDI★ 241
dodaridodari 是一个用 AI 翻译整本书的开源工具，主打复用你已有的 AI 能力（如 Claude Code、Codex CLI 或本地 LLM），把整本电子书★ 241
LMeterXLMeterX 是一个基于 Python 的通用 API 压测平台，专注于大模型推理服务与业务 HTTP 接口的性能测试。它解决传统压测工具难以适配 LLM 流★ 212
GutenOCRGutenOCR 是一个面向 OCR 场景的开源工具集，专注于视觉语言模型（VLM）的训练与评测。它解决的核心问题是：传统 OCR 方案在复杂版式、手写体或低质★ 192
GutenOCRGutenOCR 是一个面向 OCR 场景的开源工具集，专注于视觉语言模型（VLM）的训练与评测。它解决的核心问题是：传统 OCR 方案在复杂版面、手写体、多语★ 192
vLLM-HookvLLM-Hook 是一个针对 vLLM 推理引擎的插件，允许开发者编程访问和修改模型在推理过程中的内部状态。它解决了 vLLM 默认黑盒推理、难以干预中间层输★ 165
One-EvalOne-Eval 是一个面向大语言模型评测的自动化系统，核心思路是用 agent 来驱动整个评测流程。传统 LLM 评测往往需要人工配置数据集、编写推理脚本、跑★ 164
docmind-ai-llmDocMind AI 是一个基于 Streamlit 的开源文档分析应用，核心思路是把 LlamaIndex、LangGraph 与本地大模型串起来，让用户在自★ 156
voidllmvoidllm 是一个隐私优先的 LLM 代理和 AI 网关，用 Go 编写，支持自托管。它解决的是企业在使用多个大模型 API 时的统一接入和安全管理问题，核★ 143
model-serving-minefieldmodel-serving-minefield 是一个社区维护的 LLM 推理服务“踩坑登记册”，专门收集那些会让测量结果看似正常、实则自信地给出错误结论的陷阱★ 140
keda-gpu-scalerkeda-gpu-scaler 是一个基于 KEDA 外部 gRPC 扩展器的 GPU 自动扩缩容组件。它通过 DaemonSet 方式在每个节点上运行，直接利★ 136
sndr_core_engineSNDR Core Engine (Genesis) 是一个针对消费级 NVIDIA GPU（如 RTX 3090、A5000）的 vLLM 运行时补丁覆盖层，★ 133
deepseek-local-guide-ru这是一个俄语版的 DeepSeek 本地部署完整指南，面向希望在个人电脑、Mac 或服务器上离线运行 DeepSeek V4、R1 等模型的用户。项目以 She★ 124
houtini-lmhoutini-lm 是一个 MCP 服务器，通过将 Claude Code 中的有界任务委派给本地或云端 LLM 来节省 token 消耗。它支持 LM St★ 121
model-composemodel-compose 是一个受 docker-compose 启发的 AI 服务部署工具，旨在通过一个 YAML 文件快速定义和部署生产级的 AI 服务，★ 120
vector-inferencevector-inference 是一个面向 Slurm 集群的 LLM 推理服务框架，目标是让团队在已有 HPC 调度系统上高效部署大模型推理，而不必额外搭建★ 110
stt-serverstt-server 是一个用 Python 编写的实时语音转文字 WebSocket 服务，目标是把 ASR 能力以流式接口暴露给前端或后端应用。它通过可插拔★ 107
ReadyLLMReadyLLM 是一个面向本地大模型部署与运维的可视化基础设施工具。它把模型下载、量化、推理服务启动、运行监控和参数调优整合到一个图形界面中，底层基于 lla★ 106
kube-llmopskube-llmops 是一个基于 Kubernetes 的 LLM 运维工具，旨在解决大语言模型应用在 Kubernetes 集群中的部署、管理和运维难题。它★ 103
heronHeron 是一个基于 Rust 构建的智能体与 LLM API 性能监控工具，通过网络数据包探测的方式，在服务提供方侧部署，无需修改 SDK 即可测量 Ope★ 103
End-to-End-Agentic-Ai-Automation-Lab这是一个面向智能体（Agentic AI）的动手实践型开源实验室，汇集了多智能体系统、LangChain、LangGraph、AutoGen、CrewAI、RA★ 103
SIMURGSIMURG 是一个面向大语言模型流式输出的在线异常检测与防护工具。它解决的核心问题是：LLM 在解码过程中常出现重复循环、语言漂移、乱码等退化现象，而传统方案★ 102
llm-gatewayllm-gateway 是一个零信任的 LLM 网关，提供 OpenAI 兼容的代理服务，支持语义路由和负载均衡，可对接 OpenAI、Anthropic、Ol★ 100
sample-genai-on-eks-starter-kit这是一个在 Amazon EKS 上快速部署生产级生成式 AI 基础设施的工具包。它解决了企业在 AWS 上搭建 GenAI 平台时面临的组件集成复杂、配置繁琐★ 96
bike4mindbike4mind 是一个开源的 AI 工作台，采用 open-core 模式，旨在整合多种 AI 模型和功能于一体。它提供类似笔记本的交互环境，支持智能体（a★ 87
vllm-factoryvllm-factory 是一个为编码器模型（如 ColBERT、GLiNER、ColPali 等）提供生产级推理服务的开源项目，以 vLLM 插件的形式实现，★ 86
ray_vllm_inferenceray_vllm_inference 是一个将 vLLM 与 Ray Serve 集成的轻量级 LLM 推理服务项目，旨在提供快速且可扩展的大模型服务能力。它解★ 79
Decoding-Tree-SketchingDecoding Tree Sketching (DTS) 是一个面向大语言模型并行推理的即插即用框架，发表于 ICML 2026。它无需训练，且与模型无关，可★ 72
dgx-spark-inference-stackdgx-spark-inference-stack 是一个面向 NVIDIA DGX Spark（Grace Blackwell 桌面级 AI 超算）的推理服务★ 52
vllm-chatterbox-streamvllm-chatterbox-stream 是一个基于 vLLM 推理引擎的多语言文本转语音（TTS）服务，兼容 OpenAI API 接口，支持实时 PCM★ 8
xttsv2-vllm-streaming-server这是一个基于 vLLM 的 XTTS-v2 实时流式语音合成服务器，提供与 OpenAI 兼容的 API 接口。它解决了 XTTS-v2 模型在推理时延迟高、难★ 7