基础设施

mcp-gateway 开源 免费 仅开源

把 MCP 服务器管起来，K8s 里会话不丢、扩缩容不慌

mcp-gateway 是一个面向 MCP（Model Context Protocol）服务器的反向代理与管理层，用 C# 和 ASP.N···

genai-factory 开源 免费 仅开源

用 Terraform 在 GCP 一键搭好安全的生成式 AI 底座

genai-factory 是一套面向 Google Cloud（GCP）的生成式 AI 基础设施蓝图集合，用 Terraform（HCL）···

mcp-context-forge 开源 免费 仅开源

统一网关聚合 MCP/A2A/REST，让 Agent 调用更安全可控。

mcp-context-forge 是一个面向 AI Agent 与工具调用的统一网关、注册中心和代理服务。它位于 MCP、···

tpu-inference 开源 免费 仅开源

让 vLLM 推理直接跑在 TPU 上

tpu-inference 是 vLLM 面向 Google TPU 的推理后端项目，当前已迁移至 vllm-project/vllm-jax。它···

llm-d-router 开源 免费 仅开源

让 K8s 推理入口按负载智能分发请求，降低排队与延迟

llm-d-router 是 llm-d 项目中的智能推理入口组件，用 Go 编写，基于 Kubernetes Gateway API 构建···

local-llms-on-android 开源 免费 仅开源

把大模型装进口袋，离线也能智能对话

这是一个在 Android 设备上本地运行大语言模型（LLM）的开源项目，支持 Gemma、Qwen、LLaMA 等主流···

thunderid 开源 可打开

为人类和 AI 智能体打造可组合的高性能身份认证与授权栈

ThunderID 是一个面向开发者的高性能开源身份管理栈，专为人类用户、AI 智能体及工作负载提供统一的···

model-compose 开源 免费 仅开源

一个 YAML 文件，快速部署生产级 AI 服务，随处运行。

model-compose 是一个受 docker-compose 启发的 AI 服务部署工具，旨在通过一个 YAML 文件快速定义···

chonkiejs 开源 免费 仅开源

快速切分长文本，轻松构建RAG应用

Chonkie 是一个轻量级、类型友好的文本分块（chunking）库，专为处理长文本而设计。它解决了在构建···

llm-d 开源 免费 仅开源

在 Kubernetes 上榨干 GPU，让 LLM 推理飞起来

llm-d 是一个专注于在 Kubernetes 上实现现代加速器（如 GPU）上最先进推理性能的开源项目。它解决···

LocalLLMClient 开源 免费 仅开源

在苹果设备上轻松跑本地大模型，离线也能用

LocalLLMClient 是一个用 Swift 编写的开源包，旨在让开发者能够在 iOS、macOS 和 Linux 上直接运行···

llm-d-kv-cache 开源 免费 仅开源

把大模型KV缓存拆到多机，省显存提吞吐

llm-d-kv-cache 是一个用 Go 编写的分布式 KV 缓存调度与卸载库，面向大语言模型推理服务场景。它解···

aegis-stack 开源 免费 仅开源

快速搭建生产级 FastAPI 搜索知识平台

aegis-stack 是一个基于 FastAPI 的生产级平台，采用模块化组件架构，并内置控制平面，旨在帮助开发···

sdk 开源 免费 仅开源

用 Python 轻松在 K8s 上跑 AI 任务，无需懂运维

sdk 是一个通用 Python SDK，旨在简化在 Kubernetes 上运行 AI 工作负载的流程。它解决了 AI 工程师···

flintml 开源 免费 仅开源

一键搞定 ML 基础设施，让团队专注干正事

flintml 是一个面向团队的一键式机器学习基础设施工具，旨在让团队无需深入底层细节即可快速搭建和···

comfyui-nix 开源 免费 仅开源

用 Nix 一键部署 ComfyUI，告别环境配置地狱

comfyui-nix 是一个为 ComfyUI 提供的 Nix flake 配置，旨在简化 Stable Diffusion 工作流的部署。···

traceAI 开源 免费 仅开源

给 AI 应用装上监控，追踪调用链和成本

traceAI 是一个基于 OpenTelemetry 的开源 AI 追踪框架，专为 AI 应用和框架设计。它解决了 AI 应用···

LiteRT-LM 开源 免费 已失效

让大模型跑在手机端，离线低延迟还护隐私

LiteRT-LM 是 Google 推出的开源大语言模型端侧推理框架，前身为 TensorFlow Lite 相关能力演进而来···

llmgateway 开源 免费 仅开源

一个网关搞定所有大模型，统一管理、路由和分析请求。

llmgateway 是一个基于 TypeScript 构建的轻量级 LLM API 网关，旨在统一管理多个大模型提供商的请···

llm7.io 开源 仅API

一个网关接入所有主流大模型，告别多套 SDK。

LLM7.io 是一个用 TypeScript 编写的开源 API 网关，旨在统一接入多家 AI 提供商的模型接口。它解决···

llm-d-inference-sim 开源 免费 仅开源

不装 GPU 不跑模型，秒起一个假 vLLM 服务

llm-d-inference-sim 是一个用 Go 编写的轻量级推理模拟器，目标是复刻 vLLM 的对外行为，让开发者···

speculators 开源 免费 仅开源

统一投机解码库，让 vLLM 推理更快更省

speculators 是一个面向 vLLM 推理引擎的统一库，用于构建、评估和存储大语言模型（LLM）的投机解码···

exllamav3 开源 免费 仅开源

消费级显卡上高速跑大模型，省显存还快

exllamav3 是 exllama 系列的第三代版本，一个面向现代消费级 GPU 的 LLM 量化与推理库。它解决的核···

ai-inference 开源 免费 仅开源

在 GitHub 流水线里一键调用 AI 模型

ai-inference 是一个基于 TypeScript 的 GitHub Action，用于在 GitHub Actions 工作流中直接调用 ···