vllm-torchtpu

让 vLLM 推理引擎跑在 TPU 上的后端适配层

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 29 🐛 待处理 603 👀 关注 2
GitHub ↗
GitHub 星标 ★ 116
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，文档站无商业定价

项目预览

vllm-torchtpu 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队vllm-project
GitHubhttps://github.com/vllm-project/vllm-torchtpu
定价模式🏷️完全免费
价格说明开源免费，文档站无商业定价
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 116
上线时间2026-06-10 00:00:00
代码更新2026-10-27
仓库体积132.0 MB
本站数据更新2026-10-28
维护状态活跃
收录时间2026-10-28
浏览次数0

项目介绍

vllm-torchtpu 是 vLLM 推理引擎面向 TorchTPU 后端的适配实现，目标是在 TPU 硬件上运行 vLLM 的高吞吐大模型推理能力。项目解决的核心问题是：vLLM 原生主要围绕 GPU（CUDA）生态构建，而 TPU 用户缺少成熟的、与 vLLM 调度与 PagedAttention 机制对齐的推理后端。该仓库通过对接 TorchTPU 运行时，把 vLLM 的请求调度、KV Cache 管理、连续批处理等能力映射到 TPU 执行路径上，使同一套 OpenAI 兼容接口与推理服务框架可以复用到 TPU 集群。核心能力包括：TPU 上的模型加载与算子执行适配、与 vLLM 引擎层解耦的后端接入、面向批量推理的性能调优空间。项目处于早期阶段，星标较少，适合关注异构算力推理栈、希望评估 TPU 部署大模型可行性的团队做技术预研与二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 116

核心亮点

  • 把 vLLM 的调度、KV Cache 与连续批处理能力延伸到 TPU 执行路径，复用现有推理服务框架
  • 以后端适配方式接入，与 vLLM 引擎层解耦，便于跟随上游版本演进
  • 面向 TPU 异构算力，为缺少 CUDA 资源的团队提供另一条大模型推理部署路径

不足之处

  • 项目处于早期，星标仅 116，接口与实现可能随上游 vLLM 频繁变动
  • TPU 相关文档与示例较少，部署调试成本偏高
  • 社区规模小，问题反馈与长期维护存在不确定性

适用场景

  • 在 TPU 集群上部署大模型推理服务的技术预研
  • 为已有 vLLM 服务评估迁移到 TPU 后端的可行性
  • 异构算力环境下统一推理接口与调度逻辑的探索

替代项目

vllm、TensorRT-LLM、TGI

上一篇：vllm-jev

下一篇：vllm-rlt

同类项目推荐

llms 开源

配好密钥就能跑的 LLM 聊天前后端一体工具

LLM Client, Server API and UI

★ 628 2026-09-16
rerun 开源

实时可视化多模态机器人数据，让调试和训练更高效

Visualize, query, and stream to train on multimodal robotics data.

★ 11652 2026-08-10
minimal-embodiment 开源

给大模型装上身体，实现感知-行动闭环

A minimal hardware-software architecture giving large language models a closed-loop ···

★ 281 2026-08-09
rknn-llm 开源

把大模型塞进瑞芯微开发板，NPU 加速离线跑

★ 1735 2026-10-06
NanoLLM 开源

本地跑大模型，量化多模态一条龙

Optimized local inference for LLMs with HuggingFace-like APIs for quantization, visi···

★ 379 2026-08-09
ClawRouter 开源

让智能体自动选最划算的模型，支付也顺手搞定

The agent-native LLM router for autonomous agents. Every frontier model behind one w···

★ 6639 2026-08-09
free-one-api 开源

一个 API 搞定所有免费逆向 AI，OpenAI 格式无缝切换

LLM 逆向工程接口管理 | 通过标准 OpenAI API 访问 ChatGPT / gpt4free / Bard / Claude /···

★ 935 2026-08-09
mirage 开源

把整个LLM推理塞进一个GPU内核，砍掉反复启动开销

Mirage Persistent Kernel: Compiling LLMs into a MegaKernel

★ 2574 2026-09-16
HuggingFaceModelDownloader 开源

不装 Python，一条命令拉取 HuggingFace 模型和数据集

Simple go utility to download HuggingFace Models and Datasets

★ 1200 2026-10-04