基础设施

TransformerEngine 开源 免费 仅开源

让 Transformer 在 NVIDIA GPU 上跑得更快更省显存

TransformerEngine 是 NVIDIA 推出的开源加速库，面向 Transformer 类模型在 NVIDIA GPU 上的训练与···

ggml 开源 免费 仅开源

轻量级 C++ 张量库，让大模型在本地设备流畅跑起来

ggml 是一个用 C++ 编写的机器学习张量库，专为高效推理和边缘设备优化而设计。它解决了传统深度学···

docker-diffusers-api 开源 仅开源

把 Stable Diffusion 装进 Docker，一行命令起 REST API，快速集成图像生成。

这是一个将 Hugging Face Diffusers 和 Stable Diffusion 模型打包进 Docker 容器，并对外提供 RES···

AI-Horde 开源 仅开源

众包算力，免费生成 AI 图片和文字

AI-Horde 是一个众包式分布式集群，用于 AI 绘画和文本生成。它解决了个人算力不足的问题，通过志愿···

dfserver 开源 免费 仅开源

用 Go 打造高并发 AI 图像生成流水线，提升吞吐量。

dfserver 是一个用 Go 语言编写的分布式后端 AI 流水线服务器，专注于图像生成场景。它解决了 Stab···

whitebox 开源 免费 仅开源

在K8s和边缘设备上，一站式监控你的ML模型健康

Whitebox 是一个开源的端到端机器学习监控平台，特别强调边缘计算能力，并能与 Kubernetes 良好集成···

mljet 开源 免费 仅开源

一行命令把 ML 模型变成 HTTP 服务

mljet 是一个极简的机器学习模型自动部署工具，旨在解决模型从训练到上线过程中的部署复杂性问题。···

stable-diffusion-k8s 开源 免费 仅开源

在 Kubernetes 上快速部署 Stable Diffusion 推理服务

stable-diffusion-k8s 是一个将 Stable Diffusion 图像生成模型部署到 Kubernetes 集群的 Helm 图表···

stable-diffusion-rocm-docker 开源 免费 仅开源

AMD显卡用户，一条命令跑起Stable Diffusion

这是一个为AMD Radeon显卡预配置的Stable Diffusion Docker镜像项目。它解决了在AMD GPU上运行Stab···

hoop 开源 可打开

一个网关统一管住 MCP、LLM、数据库和容器的访问策略

Hoop 是一个用 Go 编写的统一网关，部署在各类协议前端，为 MCP、LLM、数据库和容器等不同后端提供···

stable-diffusion-webui-docker 开源 免费 仅开源

一条命令跑起 Stable Diffusion WebUI，告别环境配置地狱

stable-diffusion-webui-docker 是一个基于 Docker 的 Stable Diffusion WebUI 部署方案，旨在简化···

infrahub 开源 免费+付费 不稳定

像管代码一样管基础设施数据，变更可评审可回滚

Infrahub 是一个基于图数据库的基础设施数据管理平台，专为大规模自动化场景设计。它把网络设备、I···

modal-examples 开源 可打开

一键跑通云端 GPU 任务，从示例到生产部署

modal-examples 是 Modal 官方维护的示例库，集中展示了如何在 Modal 无服务器云平台上构建和运行各···

stable-diffusion-deploy 开源 免费 仅开源

一键部署 Stable Diffusion 到云端，自动负载均衡与动态批处理。

stable-diffusion-deploy 是一个基于 Lightning Apps 框架构建的 Stable Diffusion 模型云服务部署···

nim-anywhere 开源 免费 仅开源

一键部署 NVIDIA NIM，让生成式 AI 应用秒级落地

nim-anywhere 是一个面向生成式 AI 开发者的开源工具集，旨在通过 NVIDIA NIM 和 NVIDIA AI Workbe···

infisical 开源 免费+付费 可打开

把密钥、证书和 AI 凭证统一管起来，告别明文 .env

Infisical 是一个开源密钥与身份安全管理平台，用 TypeScript 编写，目标是把散落在 .env 文件、CI···

feature-store 开源 免费 仅开源

打通数据与模型，让特征复用不再重复造轮子

feature-store 是一个用于连接 DataOps 与 MLOps 工作流的特征存储开源项目，旨在解决机器学习开发···

mlops-project 开源 免费 仅开源

一键跑通ML全流程，从训练到部署不再手忙脚乱

这是一个端到端的机器学习运维（MLOps）示例项目，旨在演示如何将机器学习模型从开发阶段顺利部署到···

distributed-inference 开源 免费 仅开源

用 WebRTC 和 Redis Streams 搭建跨语言分布式推理管道

这是一个用 Go 语言编写的演示项目，旨在展示如何在深度学习/机器学习领域设计跨语言、分布式的推理···

awesome-sagemaker 开源 免费 仅开源

一站式收藏 SageMaker 精华资源，快速上手少走弯路

awesome-sagemaker 是一个精选的 Amazon SageMaker 参考资源列表，旨在帮助开发者、数据科学家和机···

InfiniTensor 开源 免费 仅开源

让大模型在多种 GPU 上快速跑起来并方便做实验

InfiniTensor 是一个面向 GPU 与 AI 加速器的高性能推理引擎，用 C++ 编写，核心目标是让大模型推理···

surprisal 开源 免费 仅开源

统一接口，一键计算任意语言模型的惊异度

surprisal 是一个用于从语言模型中计算惊异度（surprisal，即对数概率）的统一接口库。它解决了不同···

infinity 开源 免费 仅开源

为LLM应用而生的极速混合搜索数据库，毫秒级检索知识

Infinity 是一个专为 LLM 应用打造的 AI 原生数据库，核心解决大模型应用中知识检索的效率和准确性···

mlops-stacks 开源 免费 仅开源

在 Databricks 上，几分钟生成生产级 ML 项目骨架。

mlops-stacks 是一个用于在 Databricks 平台上快速启动生产级机器学习项目的可定制模板仓库。它解决···