基础设施

ollama-swift 开源 免费 仅开源

Swift 项目一键接入本地 Ollama 大模型

ollama-swift 是一个用 Swift 编写的 Ollama 客户端库，面向 Apple 平台开发者，帮助他们在 iOS、m···

kitops 开源 免费 仅开源

把 AI 模型打包成标准镜像，像管容器一样管 AI 资产

kitops 是一个来自 CNCF 的 DevOps 工具，用于将 AI/ML 模型、数据集、代码和配置打包并版本化为 O···

ai-infra-landscape 开源 免费 仅开源

一张图看懂生成式AI基础设施全景，快速定位技术选型

ai-infra-landscape 是一个以 HTML 呈现的生成式 AI 基础设施全景图，旨在梳理和展示支撑生成式 AI···

ServerlessLLM 开源 免费 仅开源

把大模型部署变成按需调用的无服务器服务，省钱又省心

ServerlessLLM 是一个面向大语言模型（LLM）的无服务器推理服务平台，旨在让任何人都能轻松部署和运···

openlit 开源 免费 仅开源

一键接入，全栈监控你的 LLM 应用，从开发到生产。

OpenLIT 是一个面向 AI 工程的开源可观测性平台，基于 OpenTelemetry 原生标准，帮助开发者监控、评···

MoE-Infinity 开源 免费 仅开源

把 MoE 大模型塞进小显存，推理快还省钱

MoE-Infinity 是一个基于 PyTorch 的开源库，旨在高效、低成本地服务混合专家（MoE）大语言模型。它···

gateway 开源 免费 仅开源

搭建AI应用后端，统一管理模型调用与流量

这是一个已弃用的AI网关项目，旨在为构建生产级AI应用提供核心基础设施。它作为统一入口，处理对各···

llm-ollama 开源 免费 仅开源

一条命令把本地 Ollama 模型接入 LLM 工具链

llm-ollama 是 Simon Willison 的 LLM 命令行工具的一个插件，让用户通过统一的 llm 命令直接调用本···

BentoVLLM 开源 免费 仅开源

用 vLLM 跑推理、BentoML 打包部署，自托管大模型更省事

BentoVLLM 是一个把 vLLM 推理引擎与 BentoML 模型服务框架结合的开源项目，目标是让开发者用一套标···

oracle-ai-developer-hub 开源 免费 仅开源

用 Oracle 数据库和云服务，快速上手构建企业级 AI 应用

Oracle AI Developer Hub 是 Oracle 官方推出的 AI 开发者技术资源库，旨在帮助开发者利用 Oracle ···

pebblo 开源 免费 仅开源

加载数据前先过一道安全筛，让 Gen AI 应用安心上线

Pebblo 是一个面向生成式 AI 应用的数据安全加载与合规检查工具，旨在帮助开发者在将 Gen AI 应用从···

Awesome-DiT-Inference 开源 免费 仅开源

一站式索引扩散模型推理加速论文与代码，快速提升生成效率

Awesome-DiT-Inference 是一个精选的扩散模型推理加速论文与代码资源列表，专注于 DiT（Diffusion ···

csghub 开源 仅开源

自建 Hugging Face，私有化掌控模型全生命周期

CSGHub 是由 OpenCSG 团队开发的开源大模型管理平台，旨在提供类似 Hugging Face 的功能，但支持私···

csghub-server 开源 免费+付费 可打开

自建大模型资产平台，统一管模型数据推理微调

CSGHub Server 是 CSGHub 平台的后端服务，用 Go 语言编写，面向大模型与数据资产的统一管理。它解···

hub 开源 免费 可打开

集中登记管理模型版本与元数据，打通实验到生产

Model Registry 是一个用 Go 编写的开源模型注册中心，为机器学习模型开发者提供统一的模型索引与管···

llm-graph-builder 开源 免费 仅开源

上传文档，一键用LLM自动生成知识图谱

llm-graph-builder 是一个利用大语言模型从非结构化数据自动构建 Neo4j 知识图谱的开源工具。它解决···

sglang 开源 免费 仅开源

让大模型服务更快更省，复杂提示词场景吞吐翻倍

SGLang 是一个高性能的大语言模型和多模态模型服务框架，旨在解决 LLM 推理服务中吞吐量低、延迟高···

aiops-modules 开源 免费 仅开源

把 AWS 上 AI 基建打包成积木，快速搭建和运维

AIOps modules 是一套面向 AWS 云上机器学习、基础模型、大语言模型及生成式 AI 开发运维的可复用 ···

openeverest 开源 免费+付费 可打开

在 K8s 上一键自动创建和管理多种数据库

OpenEverest 是一个面向 Kubernetes 的开源数据库自动化供给与管理平台，用 TypeScript 编写。它要···

rtp-llm 开源 免费 仅开源

阿里出品的高性能推理引擎，让LLM部署更快更省

RTP-LLM是阿里巴巴开源的高性能大语言模型推理引擎，旨在为多样化的应用场景提供低延迟、高吞吐的推···

openinference 开源 免费 仅开源

给 AI 应用装上标准监控，一键追踪 LLM 调用全链路

OpenInference 是一个面向 AI 应用的可观测性开源项目，基于 OpenTelemetry 标准构建。它解决的是 ···

eternal 开源 可打开

一个平台跑通多种 AI 模型，快速搭建图像生成工作流

Eternal 是一个实验性的机器学习模型与工作流平台，旨在为 AI 图像生成提供统一、灵活的推理服务。···

chromem-go 开源 免费 仅开源

Go 项目内嵌向量数据库，零依赖实现本地语义搜索

chromem-go 是一个为 Go 语言设计的嵌入式向量数据库，提供与 Chroma 类似的接口，且零第三方依赖。···

llama-cpp-docker 开源 免费 仅开源

一条命令在 Docker 里跑起 GPU 加速的本地大模型

llama-cpp-docker 是一个将 llama.cpp 封装进 Docker 容器的开源项目，旨在简化 llama.cpp 的部署和···