ai-infrastructure
本站收录 55 个带「ai-infrastructure」标签的 AI 开源项目（按 GitHub 星标从高到低，此处展示前 50 个）
semantica以图为核心的 AI 基础设施，致力于为上下文管理与可问责 AI 系统提供支撑。通过知识图谱表达实体关系与上下文，为智能体提供结构化、可追溯的推理依据，在需要透明★ 13,540
airweave面向 AI Agent 的开源上下文检索层，专注解决智能体的上下文获取问题。它支持连接多种数据源、清洗并向量化数据，为 Agent 提供高质量、低延迟的检索能力★ 6,560
skillhub讯飞开源的企业级 Agent 技能注册中心，支持私有化部署，用于发布与管理技能包及版本。内置 RBAC 权限控制与审计日志，可通过 Docker 或 Kuber★ 5,187
OpenMemory面向 LLM 应用的本地持久化记忆存储，兼容 Claude Desktop、GitHub Copilot、Codex 等多个主流 AI 工具。数据完全存储在本地★ 4,512
LongMemoryLongMemory 是一个面向 LLM 应用的本地持久化记忆存储基础设施，专为 Claude Desktop、GitHub Copilot、Codex、Ant★ 4,512
harnessrouterHarnessRouter 是一个自托管的开源 AI 代理网关，基于 Apache-2.0 协议，为多种代理工具（如 Codex、Claude Code、Her★ 2,738
claw-compactor面向 LLM 的 14 阶段融合式 Token 压缩流水线，支持可逆压缩、AST 感知的代码分析与智能内容路由，且完全无需 LLM 推理开销。在压缩上下文的同时★ 2,026
ai-infra-engineer-learning面向生产级 ML 基础设施的系统学习路线，专为有 2~4 年经验的工程师设计。课程涵盖模型训练、推理服务、算力调度、可观测性等基础设施核心主题，帮助工程师补齐从★ 1,746
paritok-4b-v1面向 AI 编码 Agent 的无损压缩网关，基于开源代码原生 4B 模型实现智能压缩。在首轮对话即可节省约 25% 的 Token 费用，长会话或上下文饱和场★ 1,453
tensorlakeTensorlake 是一个面向智能体应用的无服务器运行时，专注于沙箱环境和后台任务部署。它解决了 AI 智能体在代码执行、工具调用和强化学习训练中需要隔离、安★ 1,015
UniRL腾讯混元开源的统一多模态强化学习框架，支持在多模态场景下训练与优化模型。它提供统一的 RL 流程抽象，帮助研究者和工程师在文本、图像等多模态任务上高效开展强化学★ 999
sandbase-harnesssandbase-harness 是一个开源的、兼容 CMA（Common Agent Model）的智能体运行时，旨在为任何模型提供统一的执行环境。它解决了 ★ 677
caura-memclaw面向 AI Agent 集群的受治理共享记忆系统，支持多智能体、多租户且原生兼容 MCP。内置信任分级、关键策略、审计追踪与知识图谱，并具备自优化的检索能力，在★ 543
cauraCaura（原名 MemClaw）是一个面向 AI 智能体集群的受治理共享内存系统，专为多智能体、多租户场景设计，原生支持 MCP 协议。它解决的核心问题是：多★ 543
tool-journaltool-journal 是一个面向可重试工具调用的 TypeScript 执行日志库，核心解决 AI Agent 或自动化流程中工具调用因崩溃、超时、重试导致★ 368
VESTIVESTI 是一个本地优先的 AI 对话记忆中枢，用于跨主流 AI 平台（如 ChatGPT、Claude、DeepSeek、豆包、Gemini）捕获、搜索、总★ 357
grokking-system-design这是一个免费开源的系统设计面试学习资源库，旨在作为 DesignGurus.io 付费课程《Grokking the System Design Intervi★ 310
DashClaw面向 AI Agent 的审批与策略控制层，在危险操作真正执行前进行拦截、阻断或远程审批。它为智能体操作提供了细粒度的安全边界，让用户可以放心授权自动化任务，是★ 308
memlayermemlayer 是一个为大型语言模型（LLM）提供即插即用记忆能力的 Python 库，旨在用三行代码为任何模型快速添加持久化、智能且类人的记忆与回忆功能。它★ 294
ai-gatewayai-gateway 是一个用 Go 编写的统一 AI 网关，旨在为 30 多种大语言模型（如 OpenAI、Anthropic、Bedrock、Azure 等★ 266
bitloopsBitloops 是一个为 AI 编程代理提供上下文基础设施的开源工具，用 Rust 编写。它解决的核心问题是：AI 编码代理（如 Claude Code、Cu★ 242
ai-infra-junior-engineer-learning这是一个面向初级AI基础设施工程师（0-2年经验）的完整学习路线图项目。它解决了入门者面对AI基础设施领域知识庞杂、不知从何学起的问题，提供了一套结构化的课程体★ 241
TemporalStoreTemporalStore 是一个开源的 LLM 上下文管理基础设施，用 Rust 编写，提供时间序列化的上下文存储与检索能力。它解决的是大语言模型在长对话、多★ 216
homelab-monitorhomelab-monitor 是一个即插即用的家庭实验室（homelab）仪表盘，以单个容器形式部署，集中展示 GPU 使用率、本地 AI 显存占用、Dock★ 207
corpusosCorpusOS 是一个开源协议套件，旨在统一 LLM、向量、图和嵌入基础设施的接口标准。它解决了 AI 应用开发中因框架和提供商碎片化导致的集成复杂性问题，提★ 205
GrovGrov 是一个面向 AI 开发团队的记忆同步基础设施。它自动捕获开发者在使用 AI 工具（如 Cursor、Copilot）时的私有会话上下文，并将其同步到团★ 192
ram-coffersram-coffers 是一个面向 LLM 推理的基础设施优化项目，通过 NUMA 感知的权重银行（weight banking）技术，在 refurbishe★ 170
muximuxi 是一个面向 AI 智能体生产环境部署的开源基础设施项目，旨在解决 AI Agent 从原型到规模化落地过程中面临的部署、编排、记忆等核心问题。它提供了★ 166
mozaikMozaik 是一个面向并发 AI 代理的 TypeScript 运行时，旨在解决多代理协作场景下的调度、通信与上下文管理问题。它提供了一套轻量级的运行时环境，★ 161
holonholon 是一个面向 AI 代理的本地工作台，旨在支持代理跨会话、命令、人工输入和外部事件进行持续工作。它解决了代理在长时间运行或中断后如何保持上下文和状态的★ 150
qzcli_toolqzcli_tool 是面向启智平台（OpenI）的命令行工具，旨在简化 AI 训练任务的全生命周期管理。它解决了开发者在使用启智平台时，需要频繁通过网页控制台★ 134
keda-gpu-scalerkeda-gpu-scaler 是一个基于 KEDA 外部 gRPC 扩展器的 GPU 自动扩缩容组件。它通过 DaemonSet 方式在每个节点上运行，直接利★ 131
autoauto 是一个被称为“AGI 编译器”的基础设施项目，用 Rust 编写。它通过记录 LLM agent 的行为轨迹，利用 conformal predict★ 128
reshaprreshapr 是一个开源的、无需编码的 MCP（Model Context Protocol）服务器，旨在为 AI 原生应用提供统一的 API 访问层。它解决★ 127
nexus-llm-routernexus-llm-router 是一个智能的多 LLM 路由网关，提供与 OpenAI 兼容的 API，可无缝替换现有调用。它解决的核心问题是：在多个大模型提★ 125
awesome-ai-gatewayawesome-ai-gateway 是一个聚焦 AI 网关领域的精选资源与知识库项目。它系统梳理了 LiteLLM、OpenRouter、Portkey、Ko★ 118
open-indexopen-index 是一个为 AI 智能体设计的结构化上下文层，旨在解决智能体在复杂任务中缺乏上下文感知和记忆能力的问题。它通过构建上下文图谱（context★ 111
centaurloopCentaur Loop 是一个用于构建 AI 员工的最小工作单元框架，它将复杂岗位拆解为可循环执行的工作流。该框架的核心是“半人马环”概念，即 AI 负责执行★ 109
llm-gatewayllm-gateway 是一个零信任的 LLM 网关，提供 OpenAI 兼容的代理服务，支持语义路由和负载均衡，可对接 OpenAI、Anthropic、Ol★ 97
infermuxinfermux 是一个用 Go 编写的开源工具，专注于跨云服务提供商的网络路由推断。它解决了在多云或混合云环境中，难以准确判断数据包从源到目的地所经过的网络路★ 95
redb-openredb-open 是一个用 Go 编写的分布式数据网格（Data Mesh）基础设施项目，旨在解决跨多种异构数据库（如关系型、NoSQL 等）的实时数据访问、★ 82
vllm-factoryvllm-factory 是一个为编码器模型（如 ColBERT、GLiNER、ColPali 等）提供生产级推理服务的开源项目，以 vLLM 插件的形式实现，★ 82
starpodstarpod 是一个用 Rust 构建的开源 AI 智能体运行时，旨在解决多租户场景下 AI 智能体的部署与隔离问题。它允许开发者“定义一次”，然后为每个租户★ 79
cx-coreCX Linux 是一个面向 Ubuntu 和 Debian 的 AI 驱动型 Linux 操作系统，旨在为 Linux 基础设施提供 AI 层。它通过自然语言★ 79
lynqlynq 是一个面向 Kubernetes 原生的数据库驱动配置工作流自动化工具。它解决的是在 Kubernetes 环境中，基础设施配置和数据库状态管理脱节、★ 78
NeumannNeumann 是一个用 Rust 构建的早期基础设施项目，旨在通过统一的张量存储层，将关系型数据表、图关系和向量嵌入整合到同一个运行时中。它解决了传统系统需要★ 74
ai-infra-performance-learning这是一个面向AI基础设施性能工程师的学习路线图，聚焦GPU优化、推理优化和成本降低三大主题。项目以Python为主要技术栈，通过整理和串联相关的学习资源、实践案★ 74
memory-opensource这是一个为AI智能体设计的预测性记忆层基础设施。它通过整合MongoDB、Qdrant和Neo4j三种数据库，分别处理结构化数据、向量检索和知识图谱关系，并采用★ 73
awesome-ai-infrastructure这是一个精选清单，汇总了构建可扩展、高效AI基础设施所需的工具、框架、平台和资源，覆盖分布式训练、模型服务、MLOps和部署等关键环节。项目本身是一个资源索引，★ 73
awesome-ai-sreawesome-ai-sre 是一个精选列表，汇总了用于站点可靠性工程（SRE）的 AI 工具，涵盖根本原因分析（RCA）、事件响应、成本优化、基础设施管理和 ★ 72