基础设施

NeuroSandboxWebUI 开源

一个界面玩转本地文本、图像、视频、音频 AI 模型

NeuroSandboxWebUI 是一个本地运行的神经网络模型 WebUI，基于 Python 和 Gradio 构建，支持文本、···

MyScaleDB 开源

用SQL同时搞定向量搜索和全文检索，AI应用数据底座一步到位

MyScaleDB 是一个基于 ClickHouse 二次开发的开源数据库，专注于高性能向量搜索与全文搜索的融合。···

ax-llm 开源

把大模型塞进爱芯芯片，OpenAI 接口即插即用

ax-llm 是爱芯元智（AXera）AI 芯片上的大模型部署工具，目标是把 LLM 和 VLM 推理搬到 AX620E、AX···

lix 开源

给任意文件装上时光机，让AI变更可追溯

lix 是一个用 Rust 编写的通用版本控制系统，专为任意文件格式设计，尤其关注 AI 智能体场景下的变···

vector-inference 开源

在 Slurm 集群上直接跑 LLM 推理服务

vector-inference 是一个面向 Slurm 集群的 LLM 推理服务框架，目标是让团队在已有 HPC 调度系统上···

JetStream 开源

在 TPU 上榨干每一分性能，让 LLM 推理更快更省内存

JetStream 是一个面向 XLA 设备（当前以 TPU 为主，未来计划支持 GPU）的 LLM 推理引擎，专注于提升···

gpt4local 开源

本地跑 GPT，文档问答秒回，OpenAI 接口无缝换

gpt4local 是一个轻量级的本地大语言模型推理工具，提供 OpenAI 兼容的 API 接口，并支持文档问答。···

MinerU 开源

把 PDF/Word 一键转成 AI 能读懂的 Markdown，让文档直接喂给大模型。

MinerU 是一个开源工具，能将 PDF、Word 等复杂文档转换为适合大语言模型（LLM）使用的 Markdown 或···

neo4j-graphrag-python 开源

把知识图谱变成 RAG 引擎，让 AI 回答更懂关系

neo4j-graphrag-python 是 Neo4j 官方推出的 Python 库，用于将知识图谱与检索增强生成（RAG）结合···

mistral.rs 开源

用 Rust 快速跑大模型，本地部署低延迟

mistral.rs 是一个用 Rust 编写的高性能、灵活的 LLM 推理引擎，旨在提供快速且可定制的模型推理服···

awesome-open-source-data-engineering 开源

一张清单，搞定数据工程选型

这是一个精选开源数据工程工具列表，旨在帮助数据工程师和分析平台构建者快速找到合适的开源组件。···

clearml-fractional-gpu 开源

一块GPU跑多个容器，显存限制+时间切片，利用率翻倍

ClearML Fractional GPU 是一个基础设施工具，旨在解决单个 GPU 上运行多个容器时的资源隔离问题。···

agentos 开源

把代理当进程跑，无需沙箱虚拟机，直接嵌入现有后端。

agentos 是一个用 Rust 编写的开源库，旨在为 AI 代理提供类似操作系统的底层支持。它解决了代理运···

daytona 开源

让 AI 代码在安全沙箱里跑起来，不怕搞崩系统

Daytona 是一个为 AI 生成的代码提供安全、弹性运行基础设施的开源项目。它解决了 AI 编程助手和智···

LLM-TPU 开源

在算能TPU上跑大模型，边缘部署快人一步

LLM-TPU 是一个面向算能（Sophgo）BM1684X 和 BM1688 系列 TPU 芯片的开源推理项目，旨在让生成式 ···

kitops 开源

把 AI 模型打包成标准镜像，像管容器一样管 AI 资产

kitops 是一个来自 CNCF 的 DevOps 工具，用于将 AI/ML 模型、数据集、代码和配置打包并版本化为 O···

ai-infra-landscape 开源

一张图看懂生成式AI基础设施全景，快速定位技术选型

ai-infra-landscape 是一个以 HTML 呈现的生成式 AI 基础设施全景图，旨在梳理和展示支撑生成式 AI···

ServerlessLLM 开源

把大模型部署变成按需调用的无服务器服务，省钱又省心

ServerlessLLM 是一个面向大语言模型（LLM）的无服务器推理服务平台，旨在让任何人都能轻松部署和运···

openlit 开源

一键接入，全栈监控你的 LLM 应用，从开发到生产。

OpenLIT 是一个面向 AI 工程的开源可观测性平台，基于 OpenTelemetry 原生标准，帮助开发者监控、评···

MoE-Infinity 开源

把 MoE 大模型塞进小显存，推理快还省钱

MoE-Infinity 是一个基于 PyTorch 的开源库，旨在高效、低成本地服务混合专家（MoE）大语言模型。它···

gateway 开源

搭建AI应用后端，统一管理模型调用与流量

这是一个已弃用的AI网关项目，旨在为构建生产级AI应用提供核心基础设施。它作为统一入口，处理对各···

llm-ollama 开源

一条命令把本地 Ollama 模型接入 LLM 工具链

llm-ollama 是 Simon Willison 的 LLM 命令行工具的一个插件，让用户通过统一的 llm 命令直接调用本···

oracle-ai-developer-hub 开源

用 Oracle 数据库和云服务，快速上手构建企业级 AI 应用

Oracle AI Developer Hub 是 Oracle 官方推出的 AI 开发者技术资源库，旨在帮助开发者利用 Oracle ···

pebblo 开源

加载数据前先过一道安全筛，让 Gen AI 应用安心上线

Pebblo 是一个面向生成式 AI 应用的数据安全加载与合规检查工具，旨在帮助开发者在将 Gen AI 应用从···