基础设施

basic-memory 开源

让 AI 记住每次对话，告别反复解释项目背景

basic-memory 是一个面向 AI 对话的持久记忆层开源项目，旨在解决 AI 助手在多次对话中丢失上下文、···

helix-db 开源

用对象存储构建图+向量数据库，低成本搞定复杂关联与语义搜索

HelixDB 是一个用 Rust 构建的 OLTP 图向量数据库，运行在对象存储之上。它旨在解决传统图数据库和···

awesome-ai-memory 开源

一张清单，快速摸清AI记忆项目全貌

这是一个精选AI记忆相关开源项目的列表，旨在帮助开发者、研究者和产品经理快速了解AI记忆领域的最···

Star-Attention 开源

长序列推理提速，让大模型轻松处理超长文本。

Star-Attention 是一个面向大语言模型长序列推理的高效注意力机制实现。它通过将标准注意力分解为星···

spacy-layout 开源

让 spaCy 看懂 PDF 和 Word 的版面结构，直接用于 NLP 流程。

spacy-layout 是一个将文档布局分析能力集成到 spaCy 生态的 Python 库，旨在让开发者用统一接口处···

awesome-ai-infrastructure 开源

一份清单，帮你快速选型AI基础设施工具，少走弯路。

这是一个精选清单，汇总了构建可扩展、高效AI基础设施所需的工具、框架、平台和资源，覆盖分布式训···

tensorlake 开源

一键部署智能体后台任务，沙箱安全执行代码

Tensorlake 是一个面向智能体应用的无服务器运行时，专注于沙箱环境和后台任务部署。它解决了 AI 智···

ChannelMonitor 开源

定时自动测试渠道模型，故障秒级标记，减少 API 报错

ChannelMonitor 是一个专为 OneAPI、NewAPI、OneHub 等 API 网关设计的渠道自动监控工具。它直接读···

morphik-core 开源

一键摄取多模态数据，快速搭建企业级 RAG 检索应用

Morphik Core 是一个开源的多模态检索引擎，旨在为 AI 应用提供统一的文档摄取、处理和检索能力。它···

ai 开源

用 Stripe 打通 AI 产品从开发到收费的全流程，快速上线赚钱。

ai 是一个基于 TypeScript 构建的一站式 AI 产品开发套件，旨在帮助开发者快速搭建并商业化 AI 应用···

codegate 开源

给 AI 代理加道安全闸，多开不串台

CodeGate 是一个面向 AI 智能体框架的安全与工作区管理网关。它解决的核心问题是：当多个 AI 代理或···

chats 开源

一套接口接入21+大模型，聊天与网关开箱即用

chats 是一个基于 C#/.NET 构建的大语言模型前端与 AI 网关，定位为统一接入层，解决多模型供应商 ···

ai-gateway 开源

用 Rust 打造低延迟 AI 网关，统一接入多家模型，让 AI 应用更快更稳。

ai-gateway 是一个用 Rust 编写的高性能 AI 网关，专为严苛的 AI 工作流设计。它提供与供应商无关的···

kvpress 开源

一行代码压缩 KV 缓存，让长上下文推理更快更省显存

kvpress 是一个专注于大语言模型（LLM）KV 缓存压缩的 Python 库，旨在让 KV 缓存压缩变得简单易用···

mlx-omni-server 开源

在 Mac 上本地跑多模态 AI，OpenAI 接口无缝接入

mlx-omni-server 是一个基于 Apple MLX 框架的本地推理服务器，专为 Apple Silicon（M 系列）芯片优···

comfy-pack 开源

一键锁定打包 ComfyUI 环境，告别部署翻车

comfy-pack 是一个面向 ComfyUI 工作流的 Python 工具包，旨在解决 ComfyUI 工作流环境难以复现和部···

zerolan-core 开源

一个框架集成本地多模态 AI 模型，开箱即用

ZerolanCore 是一个本地部署的 AI 模型集成框架，旨在将多种开源 AI 模型统一整合到一个可扩展的架···

Electron-BitNet 开源

在桌面轻松跑微软 BitNet，无需命令行

Electron-BitNet 是一个将微软的 BitNet 模型封装为桌面应用的早期开源项目，采用 Electron、React···

hub 开源

用 Rust 打造的高性能 LLM 网关，自带监控，轻松管理大规模 AI 请求。

hub 是一个用 Rust 编写的高性能 LLM 网关，专为大规模 AI 应用设计。它解决了在多个 LLM 提供商（···

ai-gateway 开源

一个网关管所有AI大模型，统一接入、限流、控成本

ai-gateway 是一个基于 Envoy Gateway 构建的统一访问管理网关，专门用于管理和路由对各类生成式 A···

gateway 开源

本地统一调用 200+ 大模型，告别接口碎片化

gateway 是一个完全本地化的生产级超级 SDK，为调用 200 多个大型语言模型提供简单、统一且强大的接···

k8m 开源

给 K8s 配个 AI 助手，一句话搞定集群运维

k8m 是一款轻量级、跨平台的 Mini Kubernetes AI Dashboard，用 Go 语言开发，解决 Kubernetes 集群···

avr-infra 开源

一键拉起语音代理，对接Asterisk实现智能对话

avr-infra 是一个面向语音代理场景的基础设施项目，旨在启动 Agent Voice Response 应用，集成 Cor···

rapid_llm 开源

用 Triton 手写轻量推理框架，快速读懂并改造 LLM 内核

rapid_llm 是一个基于 Triton 内核实现的轻量级类 LLaMA 大模型推理框架，用 Python 编写，目标是在···