基础设施

uccl 开源 免费 仅开源

让 GPU 通信快如闪电，训练推理不再等数据

UCCL 是一个面向 GPU 的高效通信库，专注于解决大规模 AI 训练和推理中的数据传输瓶颈。它覆盖了集···

mloda 开源 可打开

插件化数据访问，让 AI 应用轻松获取可追溯的数据上下文。

mloda 是一个面向 AI 和机器学习场景的开源数据访问框架，采用插件化架构设计，旨在解决 AI 应用开···

serverless-comfyui 开源 已失效

把 ComfyUI 变成弹性 API，按需调用省 GPU 成本

serverless-comfyui 是一个基于 Docker 的 ComfyUI 弹性 Serverless 应用，旨在解决 ComfyUI 部署复···

gguf 开源 免费 仅开源

让 ComfyUI 直接跑 GGUF 量化模型，低显存也能出图

gguf 是一个为 ComfyUI 提供 GGUF 模型加载能力的自定义节点插件。ComfyUI 原生主要支持 safetenso···

rkllama 开源 免费 仅开源

在瑞芯微开发板上像 Ollama 一样本地跑大模型

rkllama 是面向瑞芯微（Rockchip）NPU 的开源大模型推理服务，相当于把 Ollama 的体验搬到 RK3588、···

prime 开源 仅开源

一个 CLI 加 SDK，统一管 GPU、沙箱和分布式训练

prime 是 Prime Intellect 推出的官方命令行工具与 Python SDK，面向大规模 AI 开发场景，把 GPU 算···

weightslab 开源 免费 仅开源

让 AI 工程师轻松搞定图像、视频、点云等杂乱数据

weightslab 是一个面向 AI 工程师的数据处理基础设施，专注于处理真实世界中杂乱的数据，包括图像、···

gpt2giga 开源 免费 仅开源

改个地址，现有 LLM 客户端直接接 GigaChat

gpt2giga 是一个基于 FastAPI 的 LLM 协议转换代理，把 GigaChat API 包装成 OpenAI、Anthropic、G···

airweave 开源 可打开

各种数据源一次接好，智能体随时有料可查

面向 AI Agent 的开源上下文检索层，专注解决智能体的上下文获取问题。它支持连接多种数据源、清洗···

rushdb 开源 仅开源

推送 JSON，秒得可搜索、带关系的 AI 记忆库

RushDB 是一个面向 AI 代理的图数据库和向量数据库，同时充当记忆层。它允许用户直接推送任意 JSON···

guidance-for-multi-provider-generati··· 开源 可打开

一套 OpenAI 风格接口，统一调用 AWS 上多家大模型

这是一个面向 AWS 的多模型生成式 AI 网关参考方案，用 HCL（Terraform/CDK）部署一套统一 API 层，···

mcp-pinecone 开源 免费 仅开源

让AI直接读写Pinecone向量库，实现简易RAG

mcp-pinecone 是一个基于 Model Context Protocol（MCP）的服务器实现，专门用于连接 Pinecone 向量···

awesome-ai-memory 开源 免费 仅开源

一张清单，看懂AI记忆方案怎么选

这是一个精选清单，收录了AI长期记忆相关的开源和商业项目。它解决的是AI应用缺乏持久记忆、无法跨···

basic-memory 开源 免费 仅开源

让 AI 记住每次对话，告别反复解释项目背景

basic-memory 是一个面向 AI 对话的持久记忆层开源项目，旨在解决 AI 助手在多次对话中丢失上下文、···

helix-db 开源 免费 仅开源

用对象存储构建图+向量数据库，低成本搞定复杂关联与语义搜索

HelixDB 是一个用 Rust 构建的 OLTP 图向量数据库，运行在对象存储之上。它旨在解决传统图数据库和···

awesome-ai-memory 开源 免费 仅开源

一张清单，快速摸清AI记忆项目全貌

这是一个精选AI记忆相关开源项目的列表，旨在帮助开发者、研究者和产品经理快速了解AI记忆领域的最···

Star-Attention 开源 免费 仅开源

长序列推理提速，让大模型轻松处理超长文本。

Star-Attention 是一个面向大语言模型长序列推理的高效注意力机制实现。它通过将标准注意力分解为星···

spacy-layout 开源 免费 仅开源

让 spaCy 看懂 PDF 和 Word 的版面结构，直接用于 NLP 流程。

spacy-layout 是一个将文档布局分析能力集成到 spaCy 生态的 Python 库，旨在让开发者用统一接口处···

awesome-ai-infrastructure 开源 免费 仅开源

一份清单，帮你快速选型AI基础设施工具，少走弯路。

这是一个精选清单，汇总了构建可扩展、高效AI基础设施所需的工具、框架、平台和资源，覆盖分布式训···

tensorlake 开源 可打开

一键部署智能体后台任务，沙箱安全执行代码

Tensorlake 是一个面向智能体应用的无服务器运行时，专注于沙箱环境和后台任务部署。它解决了 AI 智···

ChannelMonitor 开源 免费 仅开源

定时自动测试渠道模型，故障秒级标记，减少 API 报错

ChannelMonitor 是一个专为 OneAPI、NewAPI、OneHub 等 API 网关设计的渠道自动监控工具。它直接读···

morphik-core 开源 免费 仅开源

一键摄取多模态数据，快速搭建企业级 RAG 检索应用

Morphik Core 是一个开源的多模态检索引擎，旨在为 AI 应用提供统一的文档摄取、处理和检索能力。它···

ai 开源 免费 仅开源

用 Stripe 打通 AI 产品从开发到收费的全流程，快速上线赚钱。

ai 是一个基于 TypeScript 构建的一站式 AI 产品开发套件，旨在帮助开发者快速搭建并商业化 AI 应用···

codegate 开源 免费 仅开源

给 AI 代理加道安全闸，多开不串台

CodeGate 是一个面向 AI 智能体框架的安全与工作区管理网关。它解决的核心问题是：当多个 AI 代理或···