JetStream
在 TPU 上榨干每一分性能，让 LLM 推理更快更省内存
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 473
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python
- 加速卡（真实推理）
安装与启动步骤
-
1装依赖
它的构建入口统一在 make 里。
make install-deps -
2跑 mock 服务
没有加速卡时先用 mock 验证链路。
python -m jetstream.core.implementations.mock.server -
3发请求测吞吐
配一个压测工具跑一轮。
python -m jetstream.tools.load_tester -
4跑单测
确认环境完整。
python -m unittest -v jetstream.tests.core.test_server
如何确认成功
mock 服务下能跑通请求与压测，输出吞吐数据；换成真实硬件后同一脚本仍能正常执行
注意事项
- 它面向特定加速硬件做推理优化，先用 mock 模式能省掉硬件门槛。
- 压测工具是内置的，不用自己写脚本。
- 真实吞吐数据只在对应硬件上有意义，别拿 mock 结果对外。
- 论文与仓库版本可能不同步，以仓库为准。
核心亮点
- 针对 TPU 的 XLA 深度优化，推理吞吐量显著提升
- 内存使用优化，支持更大模型或更长上下文
- 与 JAX 生态集成良好，便于现有 XLA 工作流迁移
不足之处
- 目前仅支持 TPU，GPU 支持尚在规划中
- 项目处于早期，文档和社区生态待观察
适用场景
- 在 Google Cloud TPU 上部署大模型推理服务
- 需要高吞吐量、低延迟的 LLM 在线推理场景
- 研究或生产环境中对 TPU 资源利用率有极致要求的场景
替代项目
vLLM、TensorRT-LLM、TGI (Hugging Face Text Generation Inference)
同类项目推荐
Claudoscope
开源
给 Claude Code 装上实时监控仪表盘，会话安全一目了然。
native macOS app that gives you a real-time dashboard for your Claude Code and Cowor···
cinnamon
开源
监控机器学习数据漂移，早发现早修正，模型稳如磐石。
CinnaMon is a Python library which offers a number of tools to detect, explain, and ···
pixeltable
开源
像用数据库一样管理多模态 AI 数据，省去管道工程
The backend agents build with - Multimodal database, orchestration, and serving in o···
infinity
开源
让嵌入和重排序模型跑得更快更省，轻松支撑大规模检索
Infinity is a high-throughput, low-latency serving engine for text-embeddings, reran···
qaboard
开源
把实验记录整理成册，一键对比调参结果
Quality tracking for people and agents Tests tell you it runs. QA-Board shows you i···
basic-memory
开源
让 AI 记住每次对话，告别反复解释项目背景
AI conversations that actually remember. Never re-explain your project to your AI ag···
AgentMeasure
开源
把 Agent 的真实表现和商业价值，用一把尺子量清楚。
AI financial audit and task economics: connect usage, supplier charges and business ···
harbor
开源
一条命令启动完整 AI 技术栈，告别繁琐配置
Stop configuring your AI stack. Start using it. One command brings a complete pre-wi···
ml_in_production
开源
看多种ML模型部署方式，选型不踩坑
A set of demo of deploying a Machine Learning Model in production using various meth···