基础设施

Agent-RAG-LLM_deploy 开源 免费 仅开源

C++ 部署 Agent+RAG+LLM，让大模型应用真正跑进生产环境

Agent-RAG-LLM_deploy 是一个面向大模型应用部署的基础设施项目，核心目标是把 Agent、RAG（检索增···

AIephant-AI-Agent-Gateway 开源 已失效

统一管控所有 AI 代理的 LLM 调用，还能发布成付费接口赚钱

Alephant 是一个开源的 AI Agent 网关，用 Rust 编写，专注于为 AI 代理、成员和工作流提供 LLM 流···

llmix 开源 免费 仅开源

不改代码，热切换模型，自动加缓存重试熔断，让 LLM 调用更稳更省。

llmix 是一个面向 AI 智能体和工具的 LLM 调用层，旨在解决生产环境中多模型切换、稳定性保障和成本···

AIHelms 开源 仅开源

统一纳管 AI 资源，精准控成本、强治理、提效能

AIHelms 是一个面向企业的 AI 资源纳管平台，旨在解决多模型、多工具、多团队场景下的资源分散、成···

xuanji-landing 开源 付费 可打开

国内直连 Claude，防封号，替代 Claude Code 的国产客户端

玄机 XuanJi 是一个面向国内用户的 Claude 客户端和 Claude Code Agent 替代方案，旨在解决国内开发···

ax 开源 免费 仅开源

给 AI 编程代理装上记忆和监控，让每次编码都有迹可循。

ax 是一个面向 AI 编程代理（如 Claude Code 和 Codex）的体验层，专注于提供可观测性和记忆功能。···

myapi 开源 可打开

一个终端，搞定网站、后端和支付，快速落地真实业务。

myapi 是一个面向自主化公司的统一 API 平台，旨在让开发者通过一个终端即可快速搭建完整的真实业务···

delta-Mem 开源 免费 仅开源

让大模型边聊边记，长对话不再爆显存

delta-Mem 是大语言模型在线记忆方向的开源实现，对应论文《delta-mem: Efficient Online Memory f···

UnifiedModel 开源 免费 仅开源

一次建模，让 AI 智能体秒懂企业数据

UnifiedModel 是一个面向企业级 AI 智能体的语义层项目，旨在解决 AI 难以理解企业数据结构和关系的···

tokenspeed 开源 免费 仅开源

让大模型在现有硬件上跑出光速级 token 生成速度

TokenSpeed 是一个主打极致推理速度的 LLM 推理引擎，目标是让大模型在现有硬件上跑出“光速”级别···

ds4 开源 免费 仅开源

在本地显卡上直接跑 DeepSeek 4，数据不出机器

ds4 是一个用 C 语言编写的本地推理引擎，面向 DeepSeek 4 Flash 与 PRO 模型，支持 Metal、CUDA 和···

platform 开源 可打开

把 AI 智能体从笔记本搬到 K8s，企业级管控一步到位

Agyn 是一个开源的原生 Kubernetes 运行时，旨在将 Claude Code、Codex 等 AI 智能体从开发者个人电···

opendray 开源 免费 可打开

统一网关，让多个 AI 编码代理在自有服务器上协同工作

opendray 是一个自托管的 AI 编程智能体网关，旨在统一管理 Claude Code、Codex、Antigravity、Gro···

self-hosted-ai-stack 开源 免费 仅开源

一行命令部署本地 AI 全家桶，数据不出门，隐私又安全。

这是一个基于 Docker Compose 的一站式自托管 AI 技术栈部署方案，旨在帮助用户快速搭建本地优先、···

dualmark 开源 免费 仅开源

一个页面，两种形态，让 AI 和人类都能读懂你的内容。

dualmark 是一个开源的 AEO（答案引擎优化）基础设施，旨在让网页同时为人类和 AI 代理优化。它通过···

semantic-conventions-genai 开源 免费 仅开源

统一生成式 AI 遥测字段，让 LLM 调用可观测

semantic-conventions-genai 是 OpenTelemetry 生态下的生成式 AI 语义约定项目，用 Python 定义并···

OrcaRouter-Lite 开源 免费+付费 可打开

自托管统一多家大模型，OpenAI 接口即插即用

OrcaRouter-Lite 是一个可自托管的 LLM 路由网关，定位是轻量版 OrcaRouter，用 Python 编写。它解···

books-for-bots 开源 免费 仅开源

把电子书变成智能体能高效导航的 Markdown，省 token 又精准。

books-for-bots 是一个用 Rust 编写的命令行工具，专门解决大模型（LLM）智能体高效阅读电子书的问···

lemoncrow 开源 可打开

让编码智能体提速 25%、降价 30%，质量不变

lemoncrow 是一个为编码智能体（coding agents）设计的运行时加速工具。它通过优化智能体的运行流程···

fox-in-the-box 开源 免费 仅开源

一键安装 Hermes，快速自托管 AI 助手

Fox in the Box 是一个一键安装 Hermes 自托管 AI 助手平台的工具。它解决了自托管 AI 助手部署复杂···

minimal-embodiment 开源 免费 仅开源

给大模型装上身体，实现感知-行动闭环

这是一个极简的软硬件架构，旨在为大型语言模型（LLM）提供闭环的物理具身，使其具备自我感知循环。···

openlake 开源 免费 仅开源

加速 LLM 训练与推理，让 GPU 不再等数据

OpenLake 是一个用 Rust 编写的高性能存储引擎，专为大型语言模型（LLM）推理和 GPU 训练而设计。它···

router 开源 仅开源

换一个端点，50 毫秒内自动选对模型，成本直降 70%

router 是一个面向智能体系统的大模型路由基础设施，用 Go 编写。它解决的核心问题是：在复杂的多模···

MiMo2API 开源 免费 仅开源

把小米 MiMo 网页对话变成 OpenAI 兼容 API，现有工具直接调用

MiMo2API 是一个 Python 编写的反向代理服务，把小米 MiMo AI Studio 网页端的对话能力包装成 Open···