基础设施

foundry-local 开源

把云端 AI 搬到本地，离线也能跑大模型和语音识别

foundry-local 是一个面向本地设备的高性能 AI 推理基础设施，基于 C++ 构建，核心目标是让大语言模···

last9-mcp-server 开源

让AI助手看懂系统监控，用自然语言排查故障

Last9 MCP Server 是一个将可观测性能力接入 AI 智能体的开源项目。它通过模型上下文协议（MCP）为···

mlx-openai-server 开源

在 Mac 上跑起 OpenAI 兼容的本地模型服务，一行代码接入现有工具。

mlx-openai-server 是一个面向 Apple Silicon 芯片的高性能 API 服务器，为 MLX 系列模型提供 Open···

bella-openapi 开源

一个网关搞定多种AI能力，还带计费和限流

Bella OpenAPI 是一个基于 Java 构建的 AI 能力聚合网关，类似于 OpenRouter，但覆盖更广。它解决的···

agentwatch 开源

给 AI 智能体装上监控摄像头，一眼看透每次交互

agentwatch 是一个面向 AI 智能体的可观测性框架，旨在帮助开发者深入洞察智能体与各平台之间的交互···

mav 开源

实时看模型训练过程，快速定位训练问题

mav 是一个用于可视化模型训练和推理过程的 Python 工具，全称 Model Activity Visualiser。它通过···

clewdr 开源

一个入口统一转发多家大模型 API，高并发低延迟

clewdr 是一个用 Rust 编写的高性能 LLM 反向代理，定位在本地或服务器上统一接入多家大模型 API。···

langfuse-mcp 开源

让 AI 代理直接查询 Langfuse 追踪数据，实现自我调试与可观测性。

langfuse-mcp 是一个针对 Langfuse 的模型上下文协议（MCP）服务器，让 AI 代理能够直接查询 Langf···

bifrost 开源

高并发场景下，用 Bifrost 统一管理千款模型，延迟微秒级，成本一目了然。

Bifrost 是一个用 Go 构建的企业级 AI 网关，定位为比 LiteLLM 快 50 倍的超高性能代理层。它解决企···

Crane 开源

纯 Rust 多模态推理引擎，一个栈跑通文本、视觉、语音与 OCR。

Crane 是一个基于纯 Rust 构建的 LLM、VLM、VLA、TTS、OCR 推理引擎，底层依赖 Candle 框架。它的目···

agentgateway 开源

给 AI Agent 装个智能网关，统一管理 API、MCP 和权限，让调用更安全可控。

agentgateway 是一个用 Rust 编写的新一代 AI Agent 代理网关，专门为 AI Agent 和 MCP 服务器设计···

mlop 开源

一键记录实验，轻松对比模型，让机器学习实验管理更高效

mlop 是一个面向机器学习运维（MLOps）的实验追踪工具，旨在解决机器学习实验中实验记录分散、难以···

orbit 开源

自建私有 AI 网关，用自然语言安全访问数据与工具

orbit 是一个自托管的 AI 网关，兼容 OpenAI API，专注于私有 RAG、自然语言数据访问和工具调用代理···

pipeshub-ai 开源

统一企业数据，让 AI 搜索和智能体更懂业务

PipesHub 是一个开源的 AI 上下文层，旨在统一企业分散的业务数据，为可解释的企业搜索和智能体工作···

langfuse-java 开源

Java 项目快速接入 Langfuse，实现 LLM 调用追踪与观测

langfuse-java 是 Langfuse 的官方 Java 客户端，用于自动生成 API 封装，方便 Java 开发者集成 LL···

openchoreo 开源

用GitOps和AI代理，让K8s开发部署像点外卖一样简单

OpenChoreo 是一个面向 Kubernetes 的内部开发者平台（IDP），旨在解决云原生环境下应用开发、部署···

tinylm 开源

在浏览器里直接跑大模型，离线也能用，接口兼容 OpenAI。

tinylm 是一个基于浏览器的机器学习推理框架，采用 TypeScript 编写，提供 OpenAI 兼容的 API 接口···

SpargeAttn 开源

让视频生成模型推理提速数倍，无需重新训练。

SpargeAttn 是一个训练无关的稀疏注意力加速库，旨在加速任意模型（尤其是视频生成模型）的推理过程···

claude-code-router 开源

本地路由层，让 AI Agent 自由切换模型、组合能力、掌控成本

claude-code-router 是一个本地运行的 AI Agent 控制平面，用 TypeScript 编写。它解决的核心问题是···

kubernetes-for-ml-engineers 开源

让ML工程师用最少时间掌握K8s部署模型

这是一个面向机器学习工程师的Kubernetes入门指南，旨在用最少的必要知识帮助ML工程师快速上手K8s。···

chitu 开源

让大模型推理更快更省，轻松部署高并发服务

chitu 是一个面向大语言模型的高性能推理框架，专注于效率、灵活性和可用性。它旨在解决 LLM 推理过···

FlexPrefill 开源

长序列推理加速，稀疏注意力省算力不掉精度

FlexPrefill 是一个针对大语言模型长序列推理的稀疏注意力机制实现，源自 ICLR 2025 Oral 论文。它···

mesh-api 开源

让 LoRa 设备接入 AI 和 API，无网也能智能通信

MESH-API 是一个将 LoRa 网状网络与 AI 和各类 API 服务连接起来的开源路由器。它解决了在无蜂窝网···

RSD 开源

用奖励模型引导投机解码，又快又好地生成文本。

RSD是一个基于奖励引导的投机解码（Speculative Decoding）方法，旨在提升大语言模型推理时的效率与···