在 TPU 上榨干每一分性能，让 LLM 推理更快更省内存
JetStream 是一个面向 XLA 设备（当前以 TPU 为主，未来计划支持 GPU）的 LLM 推理引擎，专注于提升吞吐量和优化内存使用。它解决了在 TPU 上高效运行大语言模型推理时面临的性能瓶颈问题，通过底层优化实现更快的推理速度和更低的资源占用。核心能力包括针对 XLA 编译器的深度优化、内存管理策略以及高效的批处理机制，使得在 TPU 硬件上部署和运行 LLM 服务更加经济高效。项目目前处于早期阶段，代码库活跃，但文档和生态尚在建设中。
vLLM、TensorRT-LLM、TGI (Hugging Face Text Generation Inference)
JetStream 是基础设施领域的开源项目，由 AI-Hypercomputer 开发，2024 年首次发布。
它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 460。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-21。Apache-2.0许可证，可免费使用和部署。
它主要面向的使用场景是：在GoogleCloudTPU上部署大模型推理服务。同类可对比的替代方案包括 vLLM、TensorRT-LLM、TGI (Hugging Face Text Generation Inference)。
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
