基础设施

uzu 开源

用 Rust 打造超快本地音频 AI 推理，秒级生成声音

uzu 是一个用 Rust 编写的高性能 AI 模型推理引擎，专注于音频和音乐相关的模型部署。它解决了在本···

olleh 开源

用 Ollama 的姿势，跑 Apple 的模型

olleh 是一个用 Swift 编写的命令行工具，兼容 Ollama 的 API 和 CLI 接口，让开发者能够通过熟悉的···

llm-scaler 开源

让大模型推理更快更省显存，本地部署也能跑得动

llm-scaler 是一个用 C++ 编写的大模型推理性能优化工具，目标是让本地或私有化部署的大语言模型在···

vLLM-metax 开源

让 vLLM 跑在沐曦 GPU 上，国产卡也能高吞吐推理

vLLM-metax 是社区维护的 vLLM 硬件插件，让 vLLM 推理引擎能够在沐曦（MetaX）GPU 上运行。vLLM 是···

LMeterX 开源

一键压测大模型与 HTTP 接口，AI 自动分析性能瓶颈

LMeterX 是一个基于 Python 的通用 API 压测平台，专注于大模型推理服务与业务 HTTP 接口的性能测试···

kite 开源

一个界面管多集群，AI 帮你运维 K8s

kite 是一个轻量级、现代化的 Kubernetes 仪表盘，旨在将多集群与资源管理、企业级用户治理（OAuth···

FastFlowLM 开源

在 AMD NPU 上像用 Ollama 一样快速跑大模型

FastFlowLM 是一个专为 AMD Ryzen AI NPU 深度优化的开源推理引擎，目标是在 AMD 平台上实现大语言···

dsc 开源

轻量C++张量库，快速搭建推理原型

dsc 是一个用 C++ 实现的机器学习张量库与推理框架，旨在为深度学习模型提供基础的数据结构和计算能···

gateway 开源

给大模型装个防火墙，安全可控地接入 AI 应用

gateway 是一个开源的 LLM 防火墙，旨在为 AI 应用提供安全网关。它通过自托管方式，在应用与大模型···

LLM-API-Key-Proxy 开源

一个 API 接入所有大模型，自动切换密钥和负载均衡

LLM-API-Key-Proxy 是一个通用的 LLM 网关，旨在统一管理多个大语言模型提供商的 API 密钥和端点。···

mobilecli 开源

一条命令搞定 iOS 和 Android 设备管理，告别多工具切换

mobilecli 是一个用 Go 编写的通用命令行工具，用于统一管理 iOS 和 Android 设备、模拟器、仿真器···

nano-vllm 开源

轻量跑大模型，看懂推理全流程

nano-vllm 是一个轻量级的大语言模型推理引擎，旨在以极简的代码实现 vLLM 的核心功能。它解决了 v···

n8n-nodes-qdrant 开源

在 n8n 里拖拽连接 Qdrant，快速实现向量检索与 RAG。

n8n-nodes-qdrant 是 n8n 官方发布的 Qdrant 向量数据库节点，用于在 n8n 工作流中直接读写 Qdrant···

agentcat-python-sdk 开源

给 MCP 服务器装上监控眼，实时洞察 AI 代理调用。

AgentCat 是一个面向 MCP（Model Context Protocol）服务器所有者的分析平台，提供 Python SDK 用于···

agentcat-typescript-sdk 开源

给 MCP 服务器装上监控，一眼看清工具调用数据

AgentCat 是一个面向 MCP（Model Context Protocol）服务器所有者的分析平台，本仓库是其官方 Type···

vox-serve 开源

让 TTS/STS 模型秒变低延迟流式在线服务

vox-serve 是一个面向 TTS（文本转语音）和 STS（语音转语音）模型的流式原生推理服务引擎，用 Pyt···

KVzip 开源

长文本推理显存直降4倍，延迟减半，即插即用

KVzip 是一个针对大语言模型推理的 KV 缓存压缩工具，核心解决长上下文场景下显存占用过高和推理延···

kvcached 开源

让 GPU 显存像云硬盘一样弹性共享，多模型推理不再浪费缓存。

kvcached 是一个面向大语言模型推理场景的虚拟化弹性 KV 缓存管理框架，核心目标是解决多模型、多租···

curvine 开源

让 AI 应用像访问本地文件一样快速读写云存储

curvine 是一个 AI 原生且云原生的文件语义层，专为云对象存储设计，集成了高速缓存，旨在解决 AI ···

MNNServer 开源

在手机上跑本地AI服务，离线也能语音对话和识别

MNNServer 是一个基于阿里 MNN 推理引擎的第三方服务器，旨在为移动端和边缘设备提供本地化的 AI 模···

python 开源

用 Python 轻松驾驭大规模向量检索，性能与稳定兼得

这是 Antarys 向量数据库的 Python 客户端，专为大规模向量操作设计。它解决了开发者在 Python 环境···

BharatMLStack 开源

一套打通训练到推理的 ML 基础设施，让大规模模型上线更稳更快。

BharatMLStack 是 Meesho 开源的一套端到端机器学习基础设施栈，旨在支撑印度“Bharat”规模的实时···

mxcp 开源

把企业数据安全接入大模型，让 AI 直接查数分析

mxcp 是一个面向企业级数据到 AI 场景的基础设施项目，旨在通过 Model eXecution + Context Protoc···

octelium 开源

一套自托管平台，搞定 VPN、ZTNA、API 网关和内网穿透

octelium 是一个下一代开源自托管的统一零信任安全访问平台，用 Go 语言编写。它集多种功能于一身：···