基础设施

cache-dit 开源 免费 仅开源

让大 DiT 模型在有限显存下跑得更快更省

cache-dit 是一个面向 DiT（Diffusion Transformer）架构的原生 PyTorch 推理引擎，主要解决扩散模···

LLM-API-Key-Proxy 开源 免费 仅开源

一个 API 接入所有大模型，自动切换密钥和负载均衡

LLM-API-Key-Proxy 是一个通用的 LLM 网关，旨在统一管理多个大语言模型提供商的 API 密钥和端点。···

mobilecli 开源 免费 仅开源

一条命令搞定 iOS 和 Android 设备管理，告别多工具切换

mobilecli 是一个用 Go 编写的通用命令行工具，用于统一管理 iOS 和 Android 设备、模拟器、仿真器···

nano-vllm 开源 免费 仅开源

轻量跑大模型，看懂推理全流程

nano-vllm 是一个轻量级的大语言模型推理引擎，旨在以极简的代码实现 vLLM 的核心功能。它解决了 v···

hailo_model_zoo_genai 开源 免费 仅开源

Hailo 芯片跑生成式模型的开箱即用模型库

hailo_model_zoo_genai 是 Hailo 官方维护的生成式 AI 模型仓库，面向 Hailo 系列边缘 AI 加速芯片···

gpt-load 开源 免费+付费 可打开

把多个 AI 账号聚合成一个入口，自动轮换防封省额度

gpt-load 是一个用 Go 编写的自托管 AI 网关，面向需要同时管理多个大模型渠道和多种凭据的用户。它···

n8n-nodes-qdrant 开源 免费 仅开源

在 n8n 里拖拽连接 Qdrant，快速实现向量检索与 RAG。

n8n-nodes-qdrant 是 n8n 官方发布的 Qdrant 向量数据库节点，用于在 n8n 工作流中直接读写 Qdrant···

agentcat-python-sdk 开源 可打开

给 MCP 服务器装上监控眼，实时洞察 AI 代理调用。

AgentCat 是一个面向 MCP（Model Context Protocol）服务器所有者的分析平台，提供 Python SDK 用于···

agentcat-typescript-sdk 开源 可打开

给 MCP 服务器装上监控，一眼看清工具调用数据

AgentCat 是一个面向 MCP（Model Context Protocol）服务器所有者的分析平台，本仓库是其官方 Type···

vox-serve 开源 免费 仅开源

让 TTS/STS 模型秒变低延迟流式在线服务

vox-serve 是一个面向 TTS（文本转语音）和 STS（语音转语音）模型的流式原生推理服务引擎，用 Pyt···

KVzip 开源 免费 仅开源

长文本推理显存直降4倍，延迟减半，即插即用

KVzip 是一个针对大语言模型推理的 KV 缓存压缩工具，核心解决长上下文场景下显存占用过高和推理延···

kvcached 开源 免费 仅开源

让 GPU 显存像云硬盘一样弹性共享，多模型推理不再浪费缓存。

kvcached 是一个面向大语言模型推理场景的虚拟化弹性 KV 缓存管理框架，核心目标是解决多模型、多租···

curvine 开源 免费 仅开源

让 AI 应用像访问本地文件一样快速读写云存储

curvine 是一个 AI 原生且云原生的文件语义层，专为云对象存储设计，集成了高速缓存，旨在解决 AI ···

ollamafreeapi 开源 免费+付费 仅API

不装显卡不填Key，直接调用50+开源大模型

OllamaFreeAPI 是一个面向 Ollama 大语言模型的免费分布式 API 网关，目标是让开发者无需自建 GPU ···

MNNServer 开源 免费 仅开源

在手机上跑本地AI服务，离线也能语音对话和识别

MNNServer 是一个基于阿里 MNN 推理引擎的第三方服务器，旨在为移动端和边缘设备提供本地化的 AI 模···

python 开源 免费 仅开源

用 Python 轻松驾驭大规模向量检索，性能与稳定兼得

这是 Antarys 向量数据库的 Python 客户端，专为大规模向量操作设计。它解决了开发者在 Python 环境···

BharatMLStack 开源 免费 仅开源

一套打通训练到推理的 ML 基础设施，让大规模模型上线更稳更快。

BharatMLStack 是 Meesho 开源的一套端到端机器学习基础设施栈，旨在支撑印度“Bharat”规模的实时···

mxcp 开源 可打开

把企业数据安全接入大模型，让 AI 直接查数分析

mxcp 是一个面向企业级数据到 AI 场景的基础设施项目，旨在通过 Model eXecution + Context Protoc···

VidCom2 开源 免费 仅开源

给视频大模型视觉 token 瘦身，推理更快还不掉点

VidCom2 是 EMNLP 2025 主会论文的开源实现，面向视频大语言模型（Video LLM）的推理加速。视频 LL···

ome 开源 免费 仅开源

用 K8s 声明式管理大模型推理与 GPU 调度

OME（Open Model Engine）是一个用 Go 编写的 Kubernetes Operator，面向大模型推理服务场景，把模···

octelium 开源 免费 仅开源

一套自托管平台，搞定 VPN、ZTNA、API 网关和内网穿透

octelium 是一个下一代开源自托管的统一零信任安全访问平台，用 Go 语言编写。它集多种功能于一身：···

FreeQwenApi 开源 免费 仅开源

把 Qwen 网页版变成免费 API，本地部署即用

FreeQwenApi 是一个基于 Node.js 的本地 API 代理服务，专为 Qwen AI 设计。它通过浏览器自动化技术···

easy-vecdb 开源 免费 可打开

手把手带你从零实现向量数据库，搞懂原理不再黑盒

easy-vecdb 是一个从零开始的向量数据库原理与实践教程项目，由 Datawhale 社区维护。它通过 Jupyt···

lemonade 开源 免费 仅开源

一键在本地 GPU/NPU 上跑优化大模型，数据不出门

Lemonade 是一个面向本地 AI 应用的开源推理引擎，旨在让用户直接在自己的 GPU 和 NPU 上运行优化后···