基础设施

redis-vl-python 开源

用 Redis 做向量检索，一套 Python 库搞定 AI 数据层

RedisVL 是 Redis 官方推出的 AI 原生 Python 客户端库，旨在弥合传统 Redis 数据库与向量检索、AI···

higress 开源

用 Envoy 打造 AI 原生网关，统一管理模型流量与成本。

higress 是一个云原生、AI 原生的 API 网关，基于 Envoy 构建，兼容 Ingress 与 Gateway API 标准。···

OpenContracts 开源

让智能体读懂文档，一键提取结构化数据。

OpenContracts 是一个面向构建者和开发者的开源文档智能平台，定位为智能体世界的文档管理系统（DM···

get-beam 开源

让 GPU 任务像调用 API 一样，按需弹性伸缩，省心省钱。

get-beam 是一个面向 AI 基础设施的早期开源项目，旨在让用户以无服务器（Serverless）方式运行 GP···

xvc 开源

用 Rust 快速管理 ML 数据和流水线，像 Git 一样追踪大文件

xvc 是一个用 Rust 编写的 MLOps 工具，专注于数据版本管理和流水线管理。它解决了机器学习项目中数···

x-stable-diffusion 开源

把 Stable Diffusion 推理压到 0.88 秒，实时出图不是梦。

x-stable-diffusion 是一个专注于 Stable Diffusion 实时推理加速的开源项目，目标是将延迟降低至 ···

are-you-a-cat 开源

用ZenML搭建可复现的猫脸识别流水线，快速上手MLOps

这是一个面向ZenML MLOps竞赛的示例项目，名为“你是猫吗”。它演示了如何利用ZenML构建一个完整的···

dstoolkit-mlops-databricks 开源

统一 Databricks 与 Azure ML，一键搭建 MLOps 流水线

这是一个面向 Databricks 和 Azure 机器学习平台的 MLOps 加速器，旨在统一两者的机器学习运维流程···

chroma 开源

给 AI 应用装一个超快的向量搜索引擎

Chroma 是一个为 AI 应用设计的开源嵌入式数据库，专注于向量搜索和检索增强生成（RAG）场景。它解···

mlops-template 开源

一键生成标准 MLOps 项目骨架，快速落地工程化实践

mlops-template 是一个基于 Python 的 MLOps 项目模板，旨在帮助团队快速搭建机器学习项目的标准结···

Data-Engineering-Roadmap 开源

一张图理清数据工程学习路径，从入门到实战

Data-Engineering-Roadmap 是一个面向数据工程师的学习路线图项目，旨在帮助初学者和进阶者系统掌握···

llm-gateway 开源

一套接口接所有大模型，Agent 换供应商不用改代码

llm-gateway 是一个用 TypeScript 编写的 LLM 统一网关，定位是让各类 AI Agent 与开发框架能够无缝···

unstructured 开源

把 PDF/Word 等复杂文档，一键变成 LLM 能用的干净数据

Unstructured 是一个开源的 ETL 工具，专注于将复杂文档（如 PDF、Word、PPT、图片等）转换为干净、···

feathub 开源

一套特征定义，流批通吃，实时上线不求人

FeatHub 是一个面向实时机器学习的流批统一特征存储系统，旨在解决特征工程中训练与推理不一致、特···

onediff 开源

一键加速扩散模型，生成速度提升数倍，画质不变

OneDiff 是一个开箱即用的扩散模型加速库，专门针对 Stable Diffusion 等图像生成模型进行推理优化···

ggml 开源

轻量级 C++ 张量库，让大模型在本地设备流畅跑起来

ggml 是一个用 C++ 编写的机器学习张量库，专为高效推理和边缘设备优化而设计。它解决了传统深度学···

docker-diffusers-api 开源

把 Stable Diffusion 装进 Docker，一行命令起 REST API，快速集成图像生成。

这是一个将 Hugging Face Diffusers 和 Stable Diffusion 模型打包进 Docker 容器，并对外提供 RES···

AI-Horde 开源

众包算力，免费生成 AI 图片和文字

AI-Horde 是一个众包式分布式集群，用于 AI 绘画和文本生成。它解决了个人算力不足的问题，通过志愿···

dfserver 开源

用 Go 打造高并发 AI 图像生成流水线，提升吞吐量。

dfserver 是一个用 Go 语言编写的分布式后端 AI 流水线服务器，专注于图像生成场景。它解决了 Stab···

whitebox 开源

在K8s和边缘设备上，一站式监控你的ML模型健康

Whitebox 是一个开源的端到端机器学习监控平台，特别强调边缘计算能力，并能与 Kubernetes 良好集成···

mljet 开源

一行命令把 ML 模型变成 HTTP 服务

mljet 是一个极简的机器学习模型自动部署工具，旨在解决模型从训练到上线过程中的部署复杂性问题。···

stable-diffusion-k8s 开源

在 Kubernetes 上快速部署 Stable Diffusion 推理服务

stable-diffusion-k8s 是一个将 Stable Diffusion 图像生成模型部署到 Kubernetes 集群的 Helm 图表···

stable-diffusion-rocm-docker 开源

AMD显卡用户，一条命令跑起Stable Diffusion

这是一个为AMD Radeon显卡预配置的Stable Diffusion Docker镜像项目。它解决了在AMD GPU上运行Stab···

hoop 开源

一个网关统一管住 MCP、LLM、数据库和容器的访问策略

Hoop 是一个用 Go 编写的统一网关，部署在各类协议前端，为 MCP、LLM、数据库和容器等不同后端提供···