基础设施

unbody 开源 可打开

像用 Supabase 一样，快速搭建 AI 应用的知识后端。

unbody 是一个模块化的开源后端，旨在成为 AI 时代的 Supabase，专为知识而非静态数据设计。它解决···

foundry-local 开源 可打开

把云端 AI 搬到本地，离线也能跑大模型和语音识别

foundry-local 是一个面向本地设备的高性能 AI 推理基础设施，基于 C++ 构建，核心目标是让大语言模···

OrbitKV 开源 免费 仅开源

把大模型 KV 缓存搬出显存，长上下文更省更稳

OrbitKV 是一个用 Rust 编写的 KV Cache 存储层，面向 vLLM 与 SGLang 这类大模型推理框架，解决多···

last9-mcp-server 开源 可打开

让AI助手看懂系统监控，用自然语言排查故障

Last9 MCP Server 是一个将可观测性能力接入 AI 智能体的开源项目。它通过模型上下文协议（MCP）为···

mlx-openai-server 开源 免费 仅开源

在 Mac 上跑起 OpenAI 兼容的本地模型服务，一行代码接入现有工具。

mlx-openai-server 是一个面向 Apple Silicon 芯片的高性能 API 服务器，为 MLX 系列模型提供 Open···

bella-openapi 开源 仅开源

一个网关搞定多种AI能力，还带计费和限流

Bella OpenAPI 是一个基于 Java 构建的 AI 能力聚合网关，类似于 OpenRouter，但覆盖更广。它解决的···

agentwatch 开源 免费 仅开源

给 AI 智能体装上监控摄像头，一眼看透每次交互

agentwatch 是一个面向 AI 智能体的可观测性框架，旨在帮助开发者深入洞察智能体与各平台之间的交互···

mav 开源 免费 仅开源

实时看模型训练过程，快速定位训练问题

mav 是一个用于可视化模型训练和推理过程的 Python 工具，全称 Model Activity Visualiser。它通过···

clewdr 开源 免费 仅开源

一个入口统一转发多家大模型 API，高并发低延迟

clewdr 是一个用 Rust 编写的高性能 LLM 反向代理，定位在本地或服务器上统一接入多家大模型 API。···

langfuse-mcp 开源 免费 仅开源

让 AI 代理直接查询 Langfuse 追踪数据，实现自我调试与可观测性。

langfuse-mcp 是一个针对 Langfuse 的模型上下文协议（MCP）服务器，让 AI 代理能够直接查询 Langf···

bifrost 开源 可打开

高并发场景下，用 Bifrost 统一管理千款模型，延迟微秒级，成本一目了然。

Bifrost 是一个用 Go 构建的企业级 AI 网关，定位为比 LiteLLM 快 50 倍的超高性能代理层。它解决企···

Crane 开源 免费 仅开源

纯 Rust 多模态推理引擎，一个栈跑通文本、视觉、语音与 OCR。

Crane 是一个基于纯 Rust 构建的 LLM、VLM、VLA、TTS、OCR 推理引擎，底层依赖 Candle 框架。它的目···

edge-ai 开源 免费 仅开源

开箱即用的边缘 AI 基础设施代码包

edge-ai 是一个面向边缘 AI 场景的基础设施即代码项目，主体用 HCL 编写，把云与边缘侧 AI 方案所需···

agentgateway 开源 免费 仅开源

给 AI Agent 装个智能网关，统一管理 API、MCP 和权限，让调用更安全可控。

agentgateway 是一个用 Rust 编写的新一代 AI Agent 代理网关，专门为 AI Agent 和 MCP 服务器设计···

mlop 开源 免费 仅开源

一键记录实验，轻松对比模型，让机器学习实验管理更高效

mlop 是一个面向机器学习运维（MLOps）的实验追踪工具，旨在解决机器学习实验中实验记录分散、难以···

opik-mcp 开源 免费+付费 可打开

在 Claude Code 里直接查 Opik 追踪、打分、管提示词

opik-mcp 是 Comet 开源的 Opik LLM 可观测与评估平台配套的 Model Context Protocol 服务器。它解···

orbit 开源 免费 仅开源

自建私有 AI 网关，用自然语言安全访问数据与工具

orbit 是一个自托管的 AI 网关，兼容 OpenAI API，专注于私有 RAG、自然语言数据访问和工具调用代理···

pipeshub-ai 开源 免费 仅开源

统一企业数据，让 AI 搜索和智能体更懂业务

PipesHub 是一个开源的 AI 上下文层，旨在统一企业分散的业务数据，为可解释的企业搜索和智能体工作···

nixl 开源 免费 仅开源

为分布式推理提供统一高速数据传输层

NIXL 是 NVIDIA 开源的推理数据传输库，面向大规模分布式推理与多存储/多加速器场景。它解决的是推···

langfuse-java 开源 免费 仅开源

Java 项目快速接入 Langfuse，实现 LLM 调用追踪与观测

langfuse-java 是 Langfuse 的官方 Java 客户端，用于自动生成 API 封装，方便 Java 开发者集成 LL···

dynamo 开源 免费 仅开源

把大模型推理做成数据中心级集群服务

Dynamo 是面向数据中心规模的分布式推理服务框架，用 Rust 编写，目标是把大语言模型、扩散模型等推···

openchoreo 开源 可打开

用GitOps和AI代理，让K8s开发部署像点外卖一样简单

OpenChoreo 是一个面向 Kubernetes 的内部开发者平台（IDP），旨在解决云原生环境下应用开发、部署···

tinylm 开源 免费 仅开源

在浏览器里直接跑大模型，离线也能用，接口兼容 OpenAI。

tinylm 是一个基于浏览器的机器学习推理框架，采用 TypeScript 编写，提供 OpenAI 兼容的 API 接口···

SpargeAttn 开源 免费 仅开源

让视频生成模型推理提速数倍，无需重新训练。

SpargeAttn 是一个训练无关的稀疏注意力加速库，旨在加速任意模型（尤其是视频生成模型）的推理过程···