基础设施

Minimalistic-Comfy-Wrapper-WebUI 开源

给 ComfyUI 加个轻量推理面板，预设+队列，省心批量出图出音频

MCWW（Minimalistic-Comfy-Wrapper-WebUI）是一个基于 Gradio 的 ComfyUI 附加界面，专注于推理场景···

all-api-hub 开源

一站式管理所有 AI 中转账号，余额、签到、密钥全搞定

all-api-hub 是一个专为 New-API、Sub2API 等 AI 中转站设计的账号管理工具。它解决了多账号、多渠···

ccLoad 开源

自动切换 AI 渠道，告别手动运维，提升调用稳定性

ccLoad 是一个用 Go 编写的 AI API 网关，主要解决多模型 API 渠道管理中的手动切换问题。它提供智···

datapizza-ai 开源

快速搭建可靠生成式 AI 应用，省去基础设施烦恼。

datapizza-ai 是一个面向生成式 AI 应用开发的开源框架，旨在帮助开发者快速构建可靠、可落地的 Ge···

llm-metadata 开源

统一查询 LLM 元数据，告别硬编码模型信息

llm-metadata 是一个轻量级的 TypeScript 接口库，用于访问和集成大语言模型的元数据。它解决了应用···

guardian-db 开源

本地优先、点对点同步的 Rust 去中心化数据库

GuardianDB 是一个基于 Rust 和 Iroh 构建的高性能、本地优先的去中心化数据库。它旨在解决传统中心···

semantic-router 开源

按语义智能分发请求，让每个模型干最擅长的活

semantic-router 是一个用 Go 编写的可编程混合模型路由器，专为异构 LLM 推理场景设计。它解决的核···

genai-api 开源

几分钟在 Cloudflare Workers 上免费接入 Gemini，每天数百次请求

genai-api 是一个基于 Cloudflare Workers 和 Google Gemini 模型的轻量级 AI API 网关，旨在帮助开···

AIStudio2API 开源

把 AI Studio 变成 OpenAI API，一行代码切换 Gemini 模型

AIStudio2API 是一个将 Google AI Studio 的 Web 界面反向代理为 OpenAI 兼容 API 的工具。它解决了···

copilot-api 开源

把 Copilot 订阅变成 OpenAI 兼容 API，一行代码接入现有应用

copilot-api 是一个统一 AI 网关，将 GitHub Copilot、OpenAI Codex、OpenCode Go 等订阅制 AI 服务···

codex-openai-wrapper 开源

把 Codex 包装成 OpenAI 接口，一行配置无缝接入现有工具

codex-openai-wrapper 是一个基于 Cloudflare Workers 的轻量级代理服务，旨在将 OpenAI Codex 的 ···

Flash-Sparse-Attention 开源

让长序列注意力更快更省，即插即用替换标准注意力

Flash-Sparse-Attention 是一个面向原生稀疏注意力机制的高效实现库，专注于解决长序列场景下标准注···

ChatMock 开源

用 Codex 引擎替换 OpenAI API，一行配置即享新能力

ChatMock 是一个基于 Python 的轻量级服务，提供与 OpenAI 和 Ollama 兼容的 API，底层由 OpenAI C···

Trae-Proxy 开源

把 OpenAI 请求灵活转发到任意后端，模型路由随心配。

Trae-Proxy 是一个用 Python 编写的智能 API 代理工具，专门用于拦截和重定向 OpenAI API 请求到自···

gerbil 开源

桌面一键运行本地大模型和图像生成，保护隐私

gerbil 是一款基于 Electron 的桌面应用，旨在让用户在本机轻松运行大型语言模型（LLM）和图像生成···

xllm 开源

一套引擎，跑遍各类模型和加速器，推理更快更省心。

xllm 是一个高性能推理引擎，专为大型语言模型（LLM）、视觉语言模型（VLM）、扩散变换器（DiT）和···

cognitive-workspace 开源

让 LLM 拥有无限上下文，长任务不再失忆

cognitive-workspace 是一个面向大语言模型（LLM）的主动记忆管理系统，通过认知工作区架构实现功能···

cortexdb 开源

给 AI 装上一个能长期记忆的知识图谱大脑

cortexdb 是一个纯 Go 编写的单文件 AI 记忆与知识图谱库，同时可作为插件使用。它旨在为 AI 应用提···

llmio 开源

统一管理多个大模型，自动负载均衡，省心省钱

llmio 是一个用 TypeScript 编写的统一 LLM 网关，旨在解决多模型接入时的管理混乱问题。它提供权重···

persistent-ai-memory 开源

给AI装上本地长期记忆，让对话不再失忆

这是一个为AI、LLM或VS Code中的Copilot提供持久化本地记忆的开源项目。它解决的是AI助手在会话间缺···

emmy 开源

选配方或自调优，让 LLM 推理在 GPU 上跑得更快

emmy 是一个面向 LLM 推理的 GPU 编译器优化工具，旨在解决大模型推理性能调优复杂、门槛高的问题。···

InsForge 开源

给编码智能体装上全套后端，一键从代码到上线。

InsForge 是一个开源的、面向智能体编程的全栈后端平台，旨在为 AI 编码智能体提供一站式基础设施。···

station 开源

自托管智能体运行时，让 AI 部署完全可控

Station 是一个开源的智能体运行时，旨在让团队在自己的基础设施上部署和管理 AI 智能体，同时保持···

context-keeper 开源

给大模型装上持久记忆，告别上下文丢失

context-keeper 是一个基于 Go 语言构建的 AI 记忆管理与智能上下文感知平台，旨在解决大语言模型在···