ai-infrastructure 第 1 页

本站收录 60 个带「ai-infrastructure」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 2 页)

semantica以图为核心的 AI 基础设施,致力于为上下文管理与可问责 AI 系统提供支撑。通过知识图谱表达实体关系与上下文,为智能体提供结构化、可追溯的推理依据,在需要透明★ 14,612airweave面向 AI Agent 的开源上下文检索层,专注解决智能体的上下文获取问题。它支持连接多种数据源、清洗并向量化数据,为 Agent 提供高质量、低延迟的检索能力★ 6,545skillhub讯飞开源的企业级 Agent 技能注册中心,支持私有化部署,用于发布与管理技能包及版本。内置 RBAC 权限控制与审计日志,可通过 Docker 或 Kuber★ 5,427OpenMemory面向 LLM 应用的本地持久化记忆存储,兼容 Claude Desktop、GitHub Copilot、Codex 等多个主流 AI 工具。数据完全存储在本地★ 4,579LongMemoryLongMemory 是一个面向 LLM 应用的本地持久化记忆存储基础设施,专为 Claude Desktop、GitHub Copilot、Codex、Ant★ 4,579harnessrouterHarnessRouter 是一个自托管的开源 AI 代理网关,基于 Apache-2.0 协议,为多种代理工具(如 Codex、Claude Code、Her★ 4,363omnaraOmnara 是一个用 Go 编写的开源托管智能体平台,定位为 Claude Managed Agents 和 OpenAI Agents API 的自托管替代★ 3,398claw-compactor面向 LLM 的 14 阶段融合式 Token 压缩流水线,支持可逆压缩、AST 感知的代码分析与智能内容路由,且完全无需 LLM 推理开销。在压缩上下文的同时★ 2,005ai-infra-engineer-learning面向生产级 ML 基础设施的系统学习路线,专为有 2~4 年经验的工程师设计。课程涵盖模型训练、推理服务、算力调度、可观测性等基础设施核心主题,帮助工程师补齐从★ 1,883paritok-4b-v1面向 AI 编码 Agent 的无损压缩网关,基于开源代码原生 4B 模型实现智能压缩。在首轮对话即可节省约 25% 的 Token 费用,长会话或上下文饱和场★ 1,446UniRL腾讯混元开源的统一多模态强化学习框架,支持在多模态场景下训练与优化模型。它提供统一的 RL 流程抽象,帮助研究者和工程师在文本、图像等多模态任务上高效开展强化学★ 1,047tensorlakeTensorlake 是一个面向智能体应用的无服务器运行时,专注于沙箱环境和后台任务部署。它解决了 AI 智能体在代码执行、工具调用和强化学习训练中需要隔离、安★ 1,044sandbase-harnesssandbase-harness 是一个开源的、兼容 CMA(Common Agent Model)的智能体运行时,旨在为任何模型提供统一的执行环境。它解决了 ★ 643caura-memclaw面向 AI Agent 集群的受治理共享记忆系统,支持多智能体、多租户且原生兼容 MCP。内置信任分级、关键策略、审计追踪与知识图谱,并具备自优化的检索能力,在★ 559cauraCaura(原名 MemClaw)是一个面向 AI 智能体集群的受治理共享内存系统,专为多智能体、多租户场景设计,原生支持 MCP 协议。它解决的核心问题是:多★ 559grokking-system-design这是一个免费开源的系统设计面试学习资源库,旨在作为 DesignGurus.io 付费课程《Grokking the System Design Intervi★ 394VESTIVESTI 是一个本地优先的 AI 对话记忆中枢,用于跨主流 AI 平台(如 ChatGPT、Claude、DeepSeek、豆包、Gemini)捕获、搜索、总★ 361tool-journaltool-journal 是一个面向可重试工具调用的 TypeScript 执行日志库,核心解决 AI Agent 或自动化流程中工具调用因崩溃、超时、重试导致★ 361DashClaw面向 AI Agent 的审批与策略控制层,在危险操作真正执行前进行拦截、阻断或远程审批。它为智能体操作提供了细粒度的安全边界,让用户可以放心授权自动化任务,是★ 318autumn-recruitmentautumn-recruitment 是一个面向秋招求职者的算法与 AI 学习共建仓库,以 Jupyter Notebook 为主要载体。它试图解决传统刷题资料★ 311memlayermemlayer 是一个为大型语言模型(LLM)提供即插即用记忆能力的 Python 库,旨在用三行代码为任何模型快速添加持久化、智能且类人的记忆与回忆功能。它★ 309ai-gatewayai-gateway 是一个用 Go 编写的统一 AI 网关,旨在为 30 多种大语言模型(如 OpenAI、Anthropic、Bedrock、Azure 等★ 291ai-infra-junior-engineer-learning这是一个面向初级AI基础设施工程师(0-2年经验)的完整学习路线图项目。它解决了入门者面对AI基础设施领域知识庞杂、不知从何学起的问题,提供了一套结构化的课程体★ 266bitloopsBitloops 是一个为 AI 编程代理提供上下文基础设施的开源工具,用 Rust 编写。它解决的核心问题是:AI 编码代理(如 Claude Code、Cu★ 245homelab-monitorhomelab-monitor 是一个即插即用的家庭实验室(homelab)仪表盘,以单个容器形式部署,集中展示 GPU 使用率、本地 AI 显存占用、Dock★ 236hyper-parallelhyper-parallel 是一个面向大规模模型训练的 SuperPod 亲和性训练加速框架,用 Python 编写,基于 PyTorch 生态。它要解决的是★ 214TemporalStoreTemporalStore 是一个开源的 LLM 上下文管理基础设施,用 Rust 编写,提供时间序列化的上下文存储与检索能力。它解决的是大语言模型在长对话、多★ 212corpusosCorpusOS 是一个开源协议套件,旨在统一 LLM、向量、图和嵌入基础设施的接口标准。它解决了 AI 应用开发中因框架和提供商碎片化导致的集成复杂性问题,提★ 207holonholon 是一个面向 AI 代理的本地工作台,旨在支持代理跨会话、命令、人工输入和外部事件进行持续工作。它解决了代理在长时间运行或中断后如何保持上下文和状态的★ 197mozaikMozaik 是一个面向并发 AI 代理的 TypeScript 运行时,旨在解决多代理协作场景下的调度、通信与上下文管理问题。它提供了一套轻量级的运行时环境,★ 194GrovGrov 是一个面向 AI 开发团队的记忆同步基础设施。它自动捕获开发者在使用 AI 工具(如 Cursor、Copilot)时的私有会话上下文,并将其同步到团★ 192muximuxi 是一个面向 AI 智能体生产环境部署的开源基础设施项目,旨在解决 AI Agent 从原型到规模化落地过程中面临的部署、编排、记忆等核心问题。它提供了★ 179reshaprreshapr 是一个开源的、无需编码的 MCP(Model Context Protocol)服务器,旨在为 AI 原生应用提供统一的 API 访问层。它解决★ 176ram-coffersram-coffers 是一个面向 LLM 推理的基础设施优化项目,通过 NUMA 感知的权重银行(weight banking)技术,在 refurbishe★ 174awesome-ai-gatewayawesome-ai-gateway 是一个聚焦 AI 网关领域的精选资源与知识库项目。它系统梳理了 LiteLLM、OpenRouter、Portkey、Ko★ 157kumosskumoss 是一个面向基础设施即代码(IaC)的自动化工作流工具,把自然语言需求转换成符合规范、经过计划校验的 Terraform/OpenTofu 拉取请求★ 154qzcli_toolqzcli_tool 是面向启智平台(OpenI)的命令行工具,旨在简化 AI 训练任务的全生命周期管理。它解决了开发者在使用启智平台时,需要频繁通过网页控制台★ 152keda-gpu-scalerkeda-gpu-scaler 是一个基于 KEDA 外部 gRPC 扩展器的 GPU 自动扩缩容组件。它通过 DaemonSet 方式在每个节点上运行,直接利★ 136autoauto 是一个被称为“AGI 编译器”的基础设施项目,用 Rust 编写。它通过记录 LLM agent 的行为轨迹,利用 conformal predict★ 131nexus-llm-routernexus-llm-router 是一个智能的多 LLM 路由网关,提供与 OpenAI 兼容的 API,可无缝替换现有调用。它解决的核心问题是:在多个大模型提★ 122open-indexopen-index 是一个为 AI 智能体设计的结构化上下文层,旨在解决智能体在复杂任务中缺乏上下文感知和记忆能力的问题。它通过构建上下文图谱(context★ 114llm-gatewayllm-gateway 是一个零信任的 LLM 网关,提供 OpenAI 兼容的代理服务,支持语义路由和负载均衡,可对接 OpenAI、Anthropic、Ol★ 108inkboxInkbox 是一套面向 AI 智能体的身份基础设施 SDK,用 TypeScript 编写,目标是给智能体一个持久身份:专属邮箱地址、电话号码和互联网地址。当★ 106infermuxinfermux 是一个用 Go 编写的开源工具,专注于跨云服务提供商的网络路由推断。它解决了在多云或混合云环境中,难以准确判断数据包从源到目的地所经过的网络路★ 93vllm-factoryvllm-factory 是一个为编码器模型(如 ColBERT、GLiNER、ColPali 等)提供生产级推理服务的开源项目,以 vLLM 插件的形式实现,★ 87awesome-ai-sreawesome-ai-sre 是一个精选列表,汇总了用于站点可靠性工程(SRE)的 AI 工具,涵盖根本原因分析(RCA)、事件响应、成本优化、基础设施管理和 ★ 85starpodstarpod 是一个用 Rust 构建的开源 AI 智能体运行时,旨在解决多租户场景下 AI 智能体的部署与隔离问题。它允许开发者“定义一次”,然后为每个租户★ 82redb-openredb-open 是一个用 Go 编写的分布式数据网格(Data Mesh)基础设施项目,旨在解决跨多种异构数据库(如关系型、NoSQL 等)的实时数据访问、★ 82ai-infra-performance-learning这是一个面向AI基础设施性能工程师的学习路线图,聚焦GPU优化、推理优化和成本降低三大主题。项目以Python为主要技术栈,通过整理和串联相关的学习资源、实践案★ 82cx-coreCX Linux 是一个面向 Ubuntu 和 Debian 的 AI 驱动型 Linux 操作系统,旨在为 Linux 基础设施提供 AI 层。它通过自然语言★ 81