tpu-inference

让 vLLM 推理直接跑在 TPU 上

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 349 🐛 待处理 573 👀 关注 12
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 467
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费（Apache-2.0），无付费版本

项目预览

tpu-inference 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队vllm-project
官网地址https://docs.vllm.ai/projects/tpu
GitHubhttps://github.com/vllm-project/tpu-inference
定价模式🏷️完全免费
价格说明开源免费（Apache-2.0），无付费版本
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 467
上线时间2025-05-06 00:00:00
代码更新2026-10-24
仓库体积69.5 MB
本站数据更新2026-10-25
维护状态活跃
收录时间2026-10-25
浏览次数0

项目介绍

tpu-inference 是 vLLM 面向 Google TPU 的推理后端项目，当前已迁移至 vllm-project/vllm-jax。它要解决的是大模型推理框架与 TPU 硬件之间的适配问题：vLLM 原本主要面向 GPU，而 TPU 依赖 XLA/JAX 编译栈，二者在算子、内存管理和调度上差异明显。项目提供统一的 JAX 与 PyTorch 支持，使同一套 vLLM 推理接口能在 TPU 上运行，涵盖模型加载、KV Cache 管理、批处理调度等推理链路，并复用 vLLM 的 PagedAttention 等优化。对使用 Google Cloud TPU 的团队而言，它降低了从 GPU 迁移到 TPU 的改造成本，可借助 TPU 的算力与显存规模服务大模型推理。项目处于早期阶段，代码以 Python 为主，随迁移至 vllm-jax 仓库继续演进，适合关注 TPU 推理生态的开发者跟踪。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-25 · 当前星标 ★ 467

核心亮点

  • 复用 vLLM 的 PagedAttention 与调度能力，TPU 上也能获得成熟的推理优化
  • 统一 JAX 与 PyTorch 支持，降低从 GPU 迁移到 TPU 的模型改造成本
  • 直接对接 Google Cloud TPU 算力，适合大模型高吞吐推理场景

不足之处

  • 项目已迁移至 vllm-jax，本仓库处于归档/过渡状态，信息与文档可能滞后
  • TPU 生态与 XLA 编译栈门槛较高，调试和问题排查成本大于 GPU 方案

适用场景

  • 在 Google Cloud TPU 上部署大语言模型推理服务
  • 需要将已有 vLLM 推理服务从 GPU 迁移到 TPU 的团队
  • 研究 TPU 上大模型推理性能与批处理调度的实验场景

替代项目

vllm、TensorRT-LLM、TGI

上一篇：onnxruntime-inference-examples

下一篇：dynamo

同类项目推荐

ramalama 开源

像拉容器镜像一样拉取并运行AI模型，本地推理一键搞定。

RamaLama is an open-source developer tool that simplifies the local serving of AI mo···

★ 3088 2026-08-09
cresset 开源

一键从源码构建任意版本 PyTorch 环境

Template repository to build PyTorch projects from source on any version of PyTorch/···

★ 718 2026-08-09
PS5LM 开源

越狱 PS5 原生跑 GGUF 大模型

llama.cpp on a jailbroken PS5: run any GGUF model natively on the console, starting ···

★ 680 2026-10-16
python-sdk 开源

用 Python 轻松操作 Pinecone 向量库，快速实现向量检索

Official Python SDK for the Pinecone vector database

★ 454 2026-08-09
kong 开源

统一管理 API 和 AI 服务，流量安全一把梭

The API and AI Gateway

★ 44297 2026-08-09
KsanaLLM 开源

C++ 高性能 LLM 推理引擎，把并发吞吐压榨到极致

★ 553 2026-09-16
krsh 开源

声明式配置，一键部署和管理 KubeFlow 环境

A declarative KubeFlow Management Tool

★ 129 2026-08-09
hazmat 开源

给 AI 代理套上安全笼子，防破坏防泄露，还能一键回滚

Containment for AI agents - user isolation, sandboxed execution, network controls, b···

★ 178 2026-08-09
log10 开源

记录 LLM 调用数据，调试评估，提升应用准确率。

Python client library for improving your LLM app accuracy

★ 97 2026-08-09