基础设施

seekdb 开源 可打开

一个数据库搞定智能体所有数据，检索快还省心

seekdb 是一个 AI 原生的搜索数据库，专为智能体（Agent）存储设计。它将向量、全文、结构化及半结···

OpenMemory 开源 可打开

AI 工具共用一份记忆，关掉重开照样记得你

面向 LLM 应用的本地持久化记忆存储，兼容 Claude Desktop、GitHub Copilot、Codex 等多个主流 AI ···

LongMemory 开源 免费 仅开源

给 AI 应用装上本地长期记忆，告别每次对话都失忆

LongMemory 是一个面向 LLM 应用的本地持久化记忆存储基础设施，专为 Claude Desktop、GitHub Copi···

kiji-proxy 开源 免费 仅开源

给 OpenAI 请求加层隐私滤镜，敏感信息不外泄。

kiji-proxy 是一个用 Go 编写的轻量级隐私代理，专门用于转发 OpenAI API 请求。它解决了直接调用 ···

ncnn_llm 开源 免费 仅开源

让大模型在手机端离线跑起来，不依赖 GPU 和 Python。

ncnn_llm 是一个把大语言模型推理搬到 ncnn 框架上的开源项目，用 C++ 实现，目标是在手机、嵌入式···

Axon 开源 免费 仅开源

终端里实时看穿 LLM 调用链，调试智能体快人一步

Axon 是一个基于 OpenTelemetry 原生的 LLM 可观测性命令行工具。它解决了开发者在构建和调试 LLM ···

recodex 开源 免费 仅开源

自建 Codex 中转站，轻松管理 AI 请求

recodex 是一个可自部署的代理服务，专门用于中转 OpenAI Codex 的请求。它解决了 Codex 用户在使用···

superserve 开源 可打开

给 AI Agent 一个安全隔离的执行沙箱

superserve 是一个面向 AI Agent 的沙箱基础设施，用 TypeScript 编写。它要解决的问题是：当 AI A···

skald 开源 仅开源

把 AI 上下文管起来，让应用更聪明更省钱

skald 是一个部署在基础设施中的上下文层平台，旨在为 AI 应用提供统一、实时的上下文管理。它解决···

LLMRouter 开源 免费 仅开源

一个接口管多个大模型，自动挑最划算的那个

LLMRouter 是一个开源的 LLM 路由库，用来解决多模型调用场景下「该把请求发给哪个模型」的问题。随···

gpu-hot 开源 免费 仅开源

打开网页，实时盯紧每一块 NVIDIA GPU 的状态

gpu-hot 是一个基于 JavaScript 开发的实时 NVIDIA GPU 监控仪表盘，以网页形式直观展示 GPU 的实时···

moss 开源 免费 仅开源

不用向量数据库，10毫秒内搞定AI检索

moss 是一个面向生产环境 AI 系统的检索层，主打闪电般的搜索速度（<10ms），且无需依赖向量数据库···

genai-fullstack-blueprint 开源 免费 仅开源

一套TypeScript全栈骨架，快速搭建多模态AI应用前后端。

这是一个面向多模态生成式AI应用的全栈参考架构，采用TypeScript monorepo组织，包含Angular前端客···

TensorRT-Edge-LLM 开源 免费 仅开源

在边缘设备上跑大模型，C++ 推理又快又省显存

TensorRT-Edge-LLM 是一个面向物理 AI（机器人、自动驾驶、边缘设备）的高性能轻量级 C++ 推理软件···

coralnpu 开源 免费 仅开源

把 AI 推理塞进低功耗边缘芯片，本地实时跑模型

CoralNPU 是一个面向边缘端 AI 推理的开源机器学习加速器核心，目标是让低功耗设备也能高效跑神经网···

rag-ops 开源 免费 仅开源

照着搭，快速拥有生产级 RAG 服务

rag-ops 是一个基于 Python 的 RAG（检索增强生成）系统基础设施参考实现，它将 LLMOps 的核心方法···

SLA 开源 免费 仅开源

让视频生成模型推理更快，画质不掉线

SLA（Sparse-Linear Attention）是一个面向扩散Transformer（DiT）的推理加速项目，通过引入可微调···

llms 开源 免费 仅开源

配好密钥就能跑的 LLM 聊天前后端一体工具

llms 是一个用 JavaScript 实现的 LLM 客户端、服务端 API 与 UI 一体化工具。它把调用大模型所需的···

LongLive 开源 免费 可打开

让视频生成突破时长限制，轻松产出长视频。

LongLive 是一个面向长视频生成的基础设施项目，旨在解决当前视频生成模型在生成长序列视频时面临的···

parallax 开源 免费 仅开源

把多台机器拼成一个AI超级服务器，轻松跑大模型

Parallax 是一个分布式模型推理框架，旨在帮助用户在任何地方构建自己的 AI 集群。它通过将多个计算···

llmedge 开源 免费 仅开源

在 Android 上轻松跑多模态 AI，离线推理一条龙

llmedge 是一个面向 Android 的原生 AI 推理库，旨在将大语言模型、图像生成、图像识别、视频处理、···

OpenKL 开源 免费 仅开源

给个人AI代理装上持久记忆，告别每次对话都失忆。

OpenKL（Open Knowledge Layer）是一个为个人智能体提供高级知识与记忆层的开源项目，目前处于早期···

automem 开源 免费 仅开源

给 AI 装上跨会话的长期记忆，让对话更连贯

automem 是一个为 AI 助手提供长期记忆的开源项目，采用图数据库与向量存储相结合的方式，帮助 AI ···

afm-Server 开源 免费 仅开源

把苹果设备端模型变成本地 OpenAI API，一键调用

afm-Server 是一个运行在 macOS 菜单栏的小工具，它将苹果设备内置的 Foundation Models（如设备端···