基础设施

OpenArc 开源

让英特尔设备也能一键跑起 OpenAI 兼容的大模型服务

OpenArc 是一个面向英特尔硬件（CPU、核显、Arc 独显）的推理引擎，基于 OpenVINO 工具链构建，目标···

InferrLM 开源

在手机本地跑 AI，无需联网，保护隐私

InferrLM 是一个面向 iOS 和 Android 的端侧 AI 推理框架，基于 TypeScript 构建，旨在让移动应用无···

oss-llmops-stack 开源

一套组合拳，搞定 LLM 应用的路由、监控与调优

oss-llmops-stack 是一个模块化的开源 LLMOps 技术栈，旨在将 LLM 应用开发中的不同关注点分离，解···

xberg 开源

一个库解析百种文档，支持多语言调用，省去格式适配烦恼。

xberg 是一个多语言文档智能框架，核心用 Rust 编写，旨在解决文档解析碎片化问题。它能从 101 种格···

vllm-ascend 开源

让 vLLM 在昇腾 NPU 上跑起来，无缝用上大模型推理

vllm-ascend 是 vLLM 在华为昇腾（Ascend）硬件上的社区维护插件，旨在让 vLLM 这一主流大模型推理···

deepreasoning 开源

让 Claude 思考过程可见，结合 DeepSeek R1 推理链，提升 AI 决策透明度。

DeepReasoning 是一个高性能的 LLM 推理 API 和聊天界面，它将 DeepSeek R1 的思维链（CoT）推理过···

markify 开源

把各种文件秒变 Markdown，让 RAG 和 LLM 更懂你

markify 是一个将多种格式文件转换为 Markdown 的工具，旨在帮助 RAG 或 LLM 更好地理解文档内容。···

VecturaKit 开源

在苹果设备上本地跑向量检索，构建隐私安全的 RAG 应用

VecturaKit 是一个基于 Swift 的本地向量数据库，专为设备端 RAG（检索增强生成）设计。它利用 MLT···

caddy-defender 开源

给 Caddy 装上 AI 爬虫盾，一键拦截训练数据抓取

caddy-defender 是一个 Caddy 服务器模块，用于拦截或处理来自 AI 爬虫和云服务的请求，防止它们抓···

wyoming_openai 开源

把本地语音服务变成 OpenAI 接口，轻松接入 Home Assistant

wyoming_openai 是一个将 Wyoming 协议转换为 OpenAI 兼容接口的中间代理服务。它主要解决 Home As···

VectorCode 开源

给代码建索引，让 LLM 更懂你的仓库

VectorCode 是一个代码仓库索引工具，旨在增强大语言模型（LLM）的代码理解能力。它通过解析代码仓···

yek 开源

把整个代码库一键打包成 LLM 能懂的上下文

yek 是一个用 Rust 编写的高性能命令行工具，专门用于将仓库或目录中的文本文件序列化为适合大语言···

BrowserAI 开源

在浏览器里本地跑大模型，离线私密零成本

BrowserAI 是一个基于 WebGPU 的浏览器端本地 AI 推理引擎，支持在浏览器中直接运行 llama、deepse···

OM1 开源

让机器人开发像拼积木，硬件接口统一，AI 接入即插即用。

OM1 是一个面向机器人的模块化 AI 硬件抽象层（HAL），用 Go 语言编写。它旨在解决机器人开发中硬件···

uccl 开源

让 GPU 通信快如闪电，训练推理不再等数据

UCCL 是一个面向 GPU 的高效通信库，专注于解决大规模 AI 训练和推理中的数据传输瓶颈。它覆盖了集···

mloda 开源

插件化数据访问，让 AI 应用轻松获取可追溯的数据上下文。

mloda 是一个面向 AI 和机器学习场景的开源数据访问框架，采用插件化架构设计，旨在解决 AI 应用开···

serverless-comfyui 开源

把 ComfyUI 变成弹性 API，按需调用省 GPU 成本

serverless-comfyui 是一个基于 Docker 的 ComfyUI 弹性 Serverless 应用，旨在解决 ComfyUI 部署复···

rkllama 开源

在瑞芯微开发板上像 Ollama 一样本地跑大模型

rkllama 是面向瑞芯微（Rockchip）NPU 的开源大模型推理服务，相当于把 Ollama 的体验搬到 RK3588、···

weightslab 开源

让 AI 工程师轻松搞定图像、视频、点云等杂乱数据

weightslab 是一个面向 AI 工程师的数据处理基础设施，专注于处理真实世界中杂乱的数据，包括图像、···

airweave 开源

各种数据源一次接好，智能体随时有料可查

面向 AI Agent 的开源上下文检索层，专注解决智能体的上下文获取问题。它支持连接多种数据源、清洗···

rushdb 开源

推送 JSON，秒得可搜索、带关系的 AI 记忆库

RushDB 是一个面向 AI 代理的图数据库和向量数据库，同时充当记忆层。它允许用户直接推送任意 JSON···

guidance-for-multi-provider-generati··· 开源

一套 OpenAI 风格接口，统一调用 AWS 上多家大模型

这是一个面向 AWS 的多模型生成式 AI 网关参考方案，用 HCL（Terraform/CDK）部署一套统一 API 层，···

mcp-pinecone 开源

让AI直接读写Pinecone向量库，实现简易RAG

mcp-pinecone 是一个基于 Model Context Protocol（MCP）的服务器实现，专门用于连接 Pinecone 向量···

awesome-ai-memory 开源

一张清单，看懂AI记忆方案怎么选

这是一个精选清单，收录了AI长期记忆相关的开源和商业项目。它解决的是AI应用缺乏持久记忆、无法跨···