基础设施

vllm-omni 开源 免费 仅开源

一套框架通吃文本图像视频，换模型不用再重搭环境。

面向全模态模型的统一高效推理框架，支持文本、图像、视频、音频等多种模态的高性能推理，延续 vLL···

axonhub 开源 免费 仅开源

一个网关，用任意 SDK 稳定调用 100+ 大模型，自动容灾省钱

AxonHub 是一个开源的 AI 网关，旨在统一管理对 100 多个大语言模型（LLM）的访问。它解决了企业在···

Minimalistic-Comfy-Wrapper-WebUI 开源 免费 仅开源

给 ComfyUI 加个轻量推理面板，预设+队列，省心批量出图出音频

MCWW（Minimalistic-Comfy-Wrapper-WebUI）是一个基于 Gradio 的 ComfyUI 附加界面，专注于推理场景···

all-api-hub 开源 可打开

一站式管理所有 AI 中转账号，余额、签到、密钥全搞定

all-api-hub 是一个专为 New-API、Sub2API 等 AI 中转站设计的账号管理工具。它解决了多账号、多渠···

ccLoad 开源 免费 仅开源

自动切换 AI 渠道，告别手动运维，提升调用稳定性

ccLoad 是一个用 Go 编写的 AI API 网关，主要解决多模型 API 渠道管理中的手动切换问题。它提供智···

Comfyui-zhenzhen 开源 仅开源

在 ComfyUI 里拖节点调用平价 AI 生成接口

Comfyui-zhenzhen 是一个面向 ComfyUI 的第三方 API 调用节点集合，把多家平价 AI 生成服务封装成可···

amd-strix-halo-vllm-toolboxes 开源 免费 仅开源

AMD 小主机一键跑 vLLM 本地推理

面向 AMD Strix Halo 平台的开源工具箱，用于在本地部署和运行 vLLM 推理服务。项目通过容器化方式···

datapizza-ai 开源 免费 仅开源

快速搭建可靠生成式 AI 应用，省去基础设施烦恼。

datapizza-ai 是一个面向生成式 AI 应用开发的开源框架，旨在帮助开发者快速构建可靠、可落地的 Ge···

llm-metadata 开源 免费 仅开源

统一查询 LLM 元数据，告别硬编码模型信息

llm-metadata 是一个轻量级的 TypeScript 接口库，用于访问和集成大语言模型的元数据。它解决了应用···

guardian-db 开源 免费 仅开源

本地优先、点对点同步的 Rust 去中心化数据库

GuardianDB 是一个基于 Rust 和 Iroh 构建的高性能、本地优先的去中心化数据库。它旨在解决传统中心···

semantic-router 开源 免费 仅开源

按语义智能分发请求，让每个模型干最擅长的活

semantic-router 是一个用 Go 编写的可编程混合模型路由器，专为异构 LLM 推理场景设计。它解决的核···

genai-api 开源 免费+付费 仅开源

几分钟在 Cloudflare Workers 上免费接入 Gemini，每天数百次请求

genai-api 是一个基于 Cloudflare Workers 和 Google Gemini 模型的轻量级 AI API 网关，旨在帮助开···

AIStudio2API 开源 免费 仅开源

把 AI Studio 变成 OpenAI API，一行代码切换 Gemini 模型

AIStudio2API 是一个将 Google AI Studio 的 Web 界面反向代理为 OpenAI 兼容 API 的工具。它解决了···

copilot-api 开源 免费 仅开源

把 Copilot 订阅变成 OpenAI 兼容 API，一行代码接入现有应用

copilot-api 是一个统一 AI 网关，将 GitHub Copilot、OpenAI Codex、OpenCode Go 等订阅制 AI 服务···

codex-openai-wrapper 开源 免费 仅开源

把 Codex 包装成 OpenAI 接口，一行配置无缝接入现有工具

codex-openai-wrapper 是一个基于 Cloudflare Workers 的轻量级代理服务，旨在将 OpenAI Codex 的 ···

Flash-Sparse-Attention 开源 免费 仅开源

让长序列注意力更快更省，即插即用替换标准注意力

Flash-Sparse-Attention 是一个面向原生稀疏注意力机制的高效实现库，专注于解决长序列场景下标准注···

ChatMock 开源 免费 仅开源

用 Codex 引擎替换 OpenAI API，一行配置即享新能力

ChatMock 是一个基于 Python 的轻量级服务，提供与 OpenAI 和 Ollama 兼容的 API，底层由 OpenAI C···

Trae-Proxy 开源 免费 仅开源

把 OpenAI 请求灵活转发到任意后端，模型路由随心配。

Trae-Proxy 是一个用 Python 编写的智能 API 代理工具，专门用于拦截和重定向 OpenAI API 请求到自···

gerbil 开源 免费 仅开源

桌面一键运行本地大模型和图像生成，保护隐私

gerbil 是一款基于 Electron 的桌面应用，旨在让用户在本机轻松运行大型语言模型（LLM）和图像生成···

xllm 开源 免费 仅开源

一套引擎，跑遍各类模型和加速器，推理更快更省心。

xllm 是一个高性能推理引擎，专为大型语言模型（LLM）、视觉语言模型（VLM）、扩散变换器（DiT）和···

agent-sandbox 开源 免费 可打开

在 K8s 上给每个 AI Agent 开一间独立有状态的沙箱

agent-sandbox 是一个基于 Go 和 Kubernetes 的基础设施项目，专门用于管理隔离的、有状态的、单实···

cognitive-workspace 开源 免费 仅开源

让 LLM 拥有无限上下文，长任务不再失忆

cognitive-workspace 是一个面向大语言模型（LLM）的主动记忆管理系统，通过认知工作区架构实现功能···

cortexdb 开源 免费 仅开源

给 AI 装上一个能长期记忆的知识图谱大脑

cortexdb 是一个纯 Go 编写的单文件 AI 记忆与知识图谱库，同时可作为插件使用。它旨在为 AI 应用提···

llmio 开源 免费 仅开源

统一管理多个大模型，自动负载均衡，省心省钱

llmio 是一个用 TypeScript 编写的统一 LLM 网关，旨在解决多模型接入时的管理混乱问题。它提供权重···