基础设施

redb-open 开源

统一接入多数据库，实时迁移复制，为AI和大规模数据而生。

redb-open 是一个用 Go 编写的分布式数据网格（Data Mesh）基础设施项目，旨在解决跨多种异构数据库···

Memori 开源

给 AI 装上持久记忆，让智能体不再失忆

Memori 是一个面向生产环境的智能体原生记忆基础设施，定位为与模型无关的中间层，将智能体的执行过···

comfyui-triton-and-sageattention-ins··· 开源

一键搞定 ComfyUI 的 Triton 和 SageAttention 加速安装，Windows 也能轻松用上 RTX 5090 性能。

这是一个为 ComfyUI 用户设计的跨平台安装工具，专门解决 Triton 和 SageAttention 在 Windows 环境···

runanywhere-sdks 开源

本地跑AI，生产级工具包，低延迟高隐私

runanywhere-sdks 是一个面向生产环境的 C++ 工具包，旨在让 AI 模型在本地设备上高效运行。它解决···

traceroot 开源

给 AI Agent 装上黑匣子，看清每一步再持续调优

TraceRoot 是一个面向 AI Agent 的开源可观测性与自我改进层，由 YC S25 团队打造。它解决的核心问···

litellm-pgvector 开源

把 LiteLLM 日志变成可搜索的向量库，快速挖掘调用模式

litellm-pgvector 是一个将 LiteLLM 的请求日志与向量数据库 pgvector 集成的开源项目。它解决了 L···

archestra 开源

给企业 AI 套上护栏，统一管理模型与工具，安全落地

Archestra 是一个面向企业的 AI 平台，核心解决企业在生产环境中安全、可控地使用大模型的问题。它···

litellm-rs 开源

用 Rust 实现的高性能 AI 网关，一行代码切换 100+ 大模型

litellm-rs 是一个用 Rust 编写的高性能 AI 网关，旨在统一调用 100 多种 LLM API。它兼容 OpenAI ···

nexus 开源

用 Rust 给 AI 上把锁，治理安全两不误

nexus 是一个用 Rust 编写的开源 AI 治理与安全平台，旨在帮助企业管理和保护其 AI 系统。它解决的···

llamafarm 开源

几分钟部署任意 AI 模型到本地或云端

llamafarm 是一个面向 AI 应用的一站式部署工具，旨在让用户能够在几分钟内将任意 AI 模型、智能体···

LLM-Hub 开源

本地跑大模型，图像语音问答全搞定

LLM-Hub 是一个本地 AI 助手，专注于图像生成领域，但实际覆盖多模态能力。它基于 C++ 构建，集成多···

oxidizePdf 开源

纯 Rust 解析 PDF，结构感知分块，让 RAG 检索更准。

oxidizePdf 是一个用纯 Rust 编写的 PDF 处理库，专为 AI 和 RAG 场景设计。它解决了 PDF 在检索增···

agentsight 开源

用 eBPF 透视 AI Agent 的系统行为，无侵入定位问题

agentsight 是一个用 C 语言编写的轻量级系统级 AI Agent 可观测性工具，基于 eBPF 技术实现。它解···

llm-inference-handbook 开源

一册看懂 LLM 推理全流程，选型调优不再靠猜

llm-inference-handbook 是一个用 TypeScript 编写的开源知识手册，系统梳理大语言模型推理（LLM I···

llm-checker 开源

一条命令扫描硬件，告诉你本地能跑哪些大模型

llm-checker 是一个用 JavaScript 编写的命令行工具，专门解决“我的电脑到底能跑哪个本地大模型”···

DataPup 开源

AI 加持的免费跨平台数据库客户端，让查询更智能

DataPup 是一款现代、AI 辅助的跨平台数据库客户端，基于 Electron 和 TypeScript 构建，完全免费。···

gguf-loader 开源

本地一键加载 GGUF 模型，离线聊天还带智能代理

gguf-loader 是一个专注于本地离线运行大语言模型的开源工具，旨在简化 GGUF 格式模型的加载与管理···

sample-genai-on-eks-starter-kit 开源

在 EKS 上快速搭建生产级 GenAI 基础设施，省心省力

这是一个在 Amazon EKS 上快速部署生产级生成式 AI 基础设施的工具包。它解决了企业在 AWS 上搭建 ···

token-limit 开源

盯紧 AI 上下文用量，超限自动提醒，省钱省心

token-limit 是一个用于监控 AI 工具中代码和配置 token 消耗量的开源工具。它主要解决开发者在与 ···

Eloquent 开源

本地多GPU跑AI，图像语音代码全搞定，零订阅

Eloquent 是一个面向本地 AI 工作站的集成平台，旨在将多种 AI 能力整合到一个统一的桌面应用中，解···

eLLM 开源

长程推理跑 CPU，比 GPU 还快，省卡省钱

eLLM 是一个用 Rust 编写的 CPU 推理引擎，目标是在长程（long-horizon）大模型推理任务上跑得比 G···

gemini-cli-openai 开源

让 OpenAI 客户端不改代码直接调用 Gemini

gemini-cli-openai 是一个把 Google Gemini CLI 的调用能力包装成 OpenAI 兼容 API 的轻量代理，部···

semantica 开源

知识串成图谱，AI 回答有据可查能追责

以图为核心的 AI 基础设施，致力于为上下文管理与可问责 AI 系统提供支撑。通过知识图谱表达实体关···

coze-loop 开源

一站式调试、评估、监控你的 AI Agent，让开发更高效

coze-loop 是一个面向 AI Agent 的全生命周期优化平台，旨在解决 Agent 开发中调试难、评估缺、监控···