基础设施

serve 开源

一键部署 PyTorch 模型，自动扩缩容，生产级推理服务

Serve 是一个用于在生产环境中部署、优化和扩展 PyTorch 模型的开源基础设施项目。它解决了将训练好···

CTranslate2 开源

让 Transformer 模型在 CPU/GPU 上跑得更快，省时省力

CTranslate2 是一个专为 Transformer 类模型设计的高性能推理引擎，用 C++ 编写，支持 CPU（含 AVX···

metaflow 开源

Netflix 同款流水线玩法，从实验到上线一路顺畅

Netflix 开源的 AI/ML 系统构建与管理框架，帮助开发者轻松编写、运行和部署机器学习流水线。它提供···

milvus 开源

海量向量秒级搜索，轻松构建 AI 应用

Milvus 是一款高性能、云原生的向量数据库，专为可扩展的向量近似最近邻（ANN）搜索而设计。它解决···

actions-ml-cicd 开源

用现成 GitHub Action 快速搭起 MLOps 流水线，省去重复造轮子。

actions-ml-cicd 是一个 GitHub Actions 的集合，旨在简化 MLOps 流程。它解决的是机器学习项目在持···

mlrun 开源

一键编排ML流水线，从开发到上线全自动

MLRun 是一个开源的 MLOps 平台，旨在帮助团队快速构建和管理持续运行的机器学习应用全生命周期。它···

deeplake 开源

海量训练数据随手存取，喂给模型不卡壳

面向 AI Agent 的数据运行时，提供无服务器 PostgreSQL 与多模态数据湖，支持大规模数据的高效检索···

dolt 开源

像 Git 管代码一样管数据库，分支合并回滚全搞定

Dolt 是一个将 Git 版本控制能力与关系型数据库融合的开源项目，被称为“数据的 Git”。它解决了数···

raft 开源

GPU 加速的检索与机器学习算子库，开箱即用

RAFT 是 NVIDIA 开源的 CUDA 加速算法与基础原语库，面向机器学习和信息检索场景。它把常用但实现复···

clearml 开源

一站式 MLOps 平台，从实验到部署全自动

ClearML 是一个开源的 MLOps/LLMOps 平台，旨在统一管理机器学习项目的全生命周期。它解决了 AI 开···

awesome-hosting 开源

按最低价排序的托管清单，几分钟挑出最省钱的服务器

awesome-hosting 是一个按最低套餐价格排序的托管服务清单，本质是精选资源集合而非可运行软件。它···

kamonohashi 开源

一站式管理 AI 数据、训练与 GPU 资源，提升团队研发效率

KAMONOHASHI 是一个面向 AI 开发的基础设施平台，旨在为机器学习团队提供从数据管理、模型训练到部···

vearch 开源

一键部署分布式向量搜索，让AI应用秒级找到相似内容

vearch 是一个面向 AI 原生应用的分布式向量搜索引擎，由京东开源。它解决了传统数据库无法高效处理···

MLOps 开源

跟着示例，快速上手机器学习运维全流程

MLOps 是一个专注于机器学习运维（MLOps）的示例集合，以 Jupyter Notebook 形式呈现。它旨在解决机···

kedro 开源

数据管道按工程规范搭，实验转生产不返工

面向生产级数据科学项目的工具箱，将软件工程最佳实践引入数据流水线开发，让管道具备可复现、可维···

Deep-learning-in-cloud 开源

一张清单，快速选对深度学习云服务商

这是一个整理深度学习云服务提供商的精选列表，旨在帮助开发者和企业快速找到适合的云端AI训练与推···

MNN 开源

阿里出品，手机端跑大模型，快人一步

MNN是阿里巴巴开源的一款轻量级深度学习推理引擎，专注于移动端和边缘设备的高性能模型推理。它解决···

apisix 开源

云原生 API 网关，动态热更新，轻松管理 AI 与大模型流量。

Apache APISIX 是一个云原生、高性能、可扩展的 API 网关和 AI 网关。它基于 Nginx 和 etcd 构建，···

BentoML 开源

模型打包一键变线上服务，上线运维全不操心

以最简单的方式部署 AI 应用与模型的开源框架，支持构建模型推理 API、任务队列、LLM 应用与多模型···

kserve 开源

在 Kubernetes 上标准化部署 AI 模型，一键搞定推理服务

KServe 是一个基于 Kubernetes 的标准化的分布式生成式 AI 和预测式 AI 推理平台，旨在为可扩展、多···

graphjin 开源

给AI代理一个统一数据入口，安全读写数据库和API

GraphJin 是一个面向 AI 代理的治理型数据访问层，将 GraphQL 与 MCP（模型上下文协议）结合，统一···

steedos-platform 开源

用大白话把需求变成企业软件，AI 驱动快速搭建 ERP/CRM

Steedos Platform 是一个面向企业应用的 AI 原生基础设施，基于 ObjectStack 技术（包括 ObjectQL、···

hongbomiao.com 开源

把个人研发实验变成可分享的知识库

hongbomiao.com 是一个个人研发实验室，旨在促进知识共享。它由 Python 驱动，结合了现代基础设施技···

MLOpsPython 开源

用 Azure 全家桶，把机器学习模型从训练到上线全流程自动化。

MLOpsPython 是一个基于 Azure 机器学习服务和 Azure DevOps 的端到端 MLOps 参考实现。它解决了机···