基础设施

keirouter 开源 免费 仅开源

一个端点接入所有AI模型，自动路由与密钥管理

keirouter 是一个用 Go 编写的自托管 AI 网关，定位为友好且极速的 API 路由层。它解决的是企业在接···

obelisk 开源 可打开

让AI代理记住每次会话，历史经验随时可查

Obelisk 是一个为 AI 编码代理设计的会话记忆与工作流管理基础设施。它解决了 AI 代理在长时间开发···

uteke 开源 免费 仅开源

给 AI 装上本地大脑，离线记忆秒级召回

uteke 是一个面向 AI 智能体的本地优先记忆引擎，用 Rust 编写，提供单一二进制文件，零配置即可运···

busbar 开源 免费 仅开源

一个 URL 接入所有大模型，故障自动切换，部署极简。

busbar 是一个用 Rust 编写的 LLM API 网关，旨在解决多模型供应商接入和故障转移的痛点。它通过提···

privacy-filter 开源 免费 仅开源

给 LLM 请求装个隐私过滤器，毫秒级脱敏，防数据泄露

privacy-filter 是一个用 Go 编写的 LLM 隐私网关，专注于在毫秒级延迟内对 PII（个人身份信息）和···

gemini-web2api-go 开源 免费 仅开源

把 Gemini 网页变成 OpenAI 接口，改个地址就能用

gemini-web2api-go 是一个用 Go 编写的自托管反向代理，把 Gemini 网页版（gemini.google.com）包装···

chatgpt2api 开源 可打开

逆向ChatGPT官网，白嫖文本和图像生成，兼容OpenAI接口，批量管理号池。

chatgpt2api 是一个基于 Python 的逆向工程项目，它通过模拟 ChatGPT 官网的纯协议接口，将非官方的···

homelab-monitor 开源 免费 仅开源

一个容器搞定 homelab 监控，AI 代理也能直接查

homelab-monitor 是一个即插即用的家庭实验室（homelab）仪表盘，以单个容器形式部署，集中展示 GP···

OmniKey-AI-Unified-Key-Manager 开源 免费 仅开源

统一管理多平台 LLM 密钥，自动故障转移，调用更稳更省心。

OmniKey 是一个自托管的 LLM 代理与故障转移网关，兼容 OpenAI 和 Gemini 接口。它解决多平台 API ···

gitmoney-public-framework 开源 免费 仅开源

套用现成框架，AI 办公基建不用从零搭建

GitMoney 公共框架，为纯英文 GitHub 工作流、AI 办公基础设施与创始人向 GitOps 实践提供统一支撑···

doubao2api 开源 免费 仅开源

把豆包变成 OpenAI 接口，免费多模态调用

doubao2api 是一个通过逆向工程将字节跳动旗下豆包（Doubao）的私有接口转换为 OpenAI 兼容 REST 服···

medharness 开源 免费 仅开源

给医院大模型流量装上合规闸门，防泄露、可审计、控成本。

medharness 是一个面向医疗机构的大模型流量治理网关，用 Python 实现。它解决的核心问题是：当医院···

MemTrace 开源 免费 仅开源

给大模型记忆装个行车记录仪，出错秒级定位归因

MemTrace 是一个针对大语言模型记忆系统的错误追踪与归因工具。它解决了 LLM 应用中记忆模块（如向···

emisar 开源 可打开

让 AI 安全操作你的基础设施，审批可控，生产无忧。

emisar 是一个基于 MCP（模型上下文协议）的安全基础设施代理，让 AI 工具能安全地连接并操作你的基···

OSCAR 开源 免费 仅开源

KV Cache 压到 2-bit，长上下文推理显存大降

OSCAR 是一个面向大模型推理的 KV Cache 量化方案，核心解决长上下文场景下显存占用过高的问题。它···

Switchyard 开源 免费 仅开源

不改代码，把 LLM 请求灵活分发到多模型多供应商

Switchyard 是一个用 Rust 编写的 LLM 流量路由层，面向需要在多个模型与供应商之间调度请求的应用···

llm-inference-at-scale 开源 免费 仅开源

把大模型从能跑到稳定省钱的实战手册

llm-inference-at-scale 是一本面向工程实践的生产级 LLM 推理服务手册，以 Jupyter Notebook 形式···

vpod 开源 仅开源

给 AI 代码执行加个安全壳，防跑飞防破坏

vpod 是一个用 Rust 编写的轻量级 Linux 沙箱，专为隔离不可信进程而设计，尤其适用于 AI 智能体执···

CPA-Manager-Plus 开源 免费 仅开源

自托管AI网关监控面板，管好每次API调用和成本

CPA-Manager-Plus 是一个自托管的 CPA（CLI Proxy API）管理与 AI 网关可观测性面板，专为需要精细···

comfyui-mesh 开源 免费 仅开源

把大模型拆到两张显卡上跑，显存不够也能玩 FLUX.2

comfyui-mesh 是一个针对 ComfyUI 的分布式推理扩展，旨在解决单 GPU 显存不足导致无法运行大型扩散···

awesome-ai-api-proxy 开源 仅开源

一张清单，搞定所有AI模型中转站选型

awesome-ai-api-proxy 是一个精选 AI API 中转站与 LLM 网关的导航项目，旨在解决多模型调用时密钥···

afd-plugin 开源 免费 仅开源

把注意力和FFN拆开跑，让vLLM推理更高效

afd-plugin 是 vLLM 的插件，用于支持 attention-FFN 分离（attention-ffn disaggregation）推理架···

orthrus 开源 免费 仅开源

双视角扩散解码，让大模型推理更快且无损

orthrus 是一个面向大语言模型的高效推理加速项目，核心思路是通过双视角扩散解码（dual-view diff···

dinotty 开源 免费 仅开源

让 AI 代理在服务器上拥有持久终端，多设备随时接入

dinotty 是一个面向 AI 编程代理的多设备终端服务器，采用 Rust 编写。它解决了 AI 代理在远程或容···