基础设施

stable-diffusion-webui-docker 开源

一条命令跑起 Stable Diffusion WebUI，告别环境配置地狱

stable-diffusion-webui-docker 是一个基于 Docker 的 Stable Diffusion WebUI 部署方案，旨在简化···

modal-examples 开源

一键跑通云端 GPU 任务，从示例到生产部署

modal-examples 是 Modal 官方维护的示例库，集中展示了如何在 Modal 无服务器云平台上构建和运行各···

stable-diffusion-deploy 开源

一键部署 Stable Diffusion 到云端，自动负载均衡与动态批处理。

stable-diffusion-deploy 是一个基于 Lightning Apps 框架构建的 Stable Diffusion 模型云服务部署···

nim-anywhere 开源

一键部署 NVIDIA NIM，让生成式 AI 应用秒级落地

nim-anywhere 是一个面向生成式 AI 开发者的开源工具集，旨在通过 NVIDIA NIM 和 NVIDIA AI Workbe···

feature-store 开源

打通数据与模型，让特征复用不再重复造轮子

feature-store 是一个用于连接 DataOps 与 MLOps 工作流的特征存储开源项目，旨在解决机器学习开发···

mlops-project 开源

一键跑通ML全流程，从训练到部署不再手忙脚乱

这是一个端到端的机器学习运维（MLOps）示例项目，旨在演示如何将机器学习模型从开发阶段顺利部署到···

distributed-inference 开源

用 WebRTC 和 Redis Streams 搭建跨语言分布式推理管道

这是一个用 Go 语言编写的演示项目，旨在展示如何在深度学习/机器学习领域设计跨语言、分布式的推理···

awesome-sagemaker 开源

一站式收藏 SageMaker 精华资源，快速上手少走弯路

awesome-sagemaker 是一个精选的 Amazon SageMaker 参考资源列表，旨在帮助开发者、数据科学家和机···

surprisal 开源

统一接口，一键计算任意语言模型的惊异度

surprisal 是一个用于从语言模型中计算惊异度（surprisal，即对数概率）的统一接口库。它解决了不同···

infinity 开源

为LLM应用而生的极速混合搜索数据库，毫秒级检索知识

Infinity 是一个专为 LLM 应用打造的 AI 原生数据库，核心解决大模型应用中知识检索的效率和准确性···

mlops-stacks 开源

在 Databricks 上，几分钟生成生产级 ML 项目骨架。

mlops-stacks 是一个用于在 Databricks 平台上快速启动生产级机器学习项目的可定制模板仓库。它解决···

Serving-Machine-Learning-Models 开源

一套代码示例，搞定模型上线多种姿势

这是一个专注于机器学习模型服务与部署的教学型仓库，提供了使用 Docker、Flask、FastAPI、BentoML···

lance 开源

两行代码转换 Parquet，让多模态 AI 数据访问快 100 倍

lance 是一个面向多模态 AI 数据的开源列式存储格式，基于 Rust 和 Apache Arrow 构建。它解决了传···

truss 开源

把模型打包成 API，一行命令部署上线

Truss 是一个用于在生产环境中部署 AI/ML 模型的 Python 开源框架，旨在简化模型服务的流程。它解决···

mlstacks 开源

一行配置，云端一键拉起完整 MLOps 平台

mlstacks 是一个基于 Terraform 的基础设施即代码项目，旨在通过预置的“配方”帮助用户在云上快速···

FastDeploy 开源

用飞桨生态，一键部署大模型到生产环境

FastDeploy 是百度飞桨（PaddlePaddle）生态下的高性能推理与部署工具包，专注于大语言模型（LLM）···

onramp 开源

一键搭建安全家庭实验室，快速上手 Traefik 和 Cloudflare

Onramp 是一个基于 Docker Compose 的快速部署方案，旨在帮助用户快速、安全地搭建 Traefik 反向代···

tpu-mlir 开源

把 PyTorch/ONNX 模型一键编译到算能 TPU 上跑起来

tpu-mlir 是算能（Sophgo）开源的机器学习编译器，基于 MLIR 框架构建，专门面向 Sophgo TPU 硬件做···

aqueduct 开源

在任意云上跑LLM和ML工作负载，但已停更

Aqueduct 是一个已停止维护的开源基础设施项目，旨在帮助用户在任意云基础设施上运行大语言模型（L···

optimum-intel 开源

让 Hugging Face 模型在 Intel 芯片上跑得更快，几行代码实现加速。

Optimum Intel 是 Hugging Face 与 Intel 合作推出的优化工具库，旨在通过 Intel 的 OpenVINO 等工···

FAI-Model 开源

一键部署大模型，推理性能拉满，API 兼容 OpenAI。

FAI-Model 是 FriendliAI 推出的模型中心（Model Hub），旨在为 AI 应用提供一套标准化的模型服务基···

beelzebub 开源

低代码+AI，快速搭建仿真蜜罐，诱捕分析攻击

beelzebub 是一个基于 Go 语言开发的安全低代码欺骗运行时框架，利用 AI 技术实现系统虚拟化。它旨···

kusion 开源

用声明式代码编排内部开发者平台，让基础设施交付自动化。

Kusion 是一个声明式、意图驱动的平台编排器，专为内部开发者平台（IDP）设计。它帮助平台工程团队···

skops 开源

一键分享和部署 scikit-learn 模型，告别 pickle 混乱

skops 是一个专注于 scikit-learn 模型共享与生产的 Python 库。它解决了机器学习模型在训练后难以···