基础设施

pymilo 开源 免费 仅开源

统一序列化 ML 模型，跨框架安全保存与加载

PyMilo 是一个专注于机器学习模型序列化与反序列化的 Python 库，旨在解决不同 ML 框架（如 scikit···

Safe-and-Stable-Ckpt2Safetensors-Con··· 开源 免费 仅开源

一键安全转换 ckpt 为 safetensors，告别恶意代码风险

这是一个将 Stable Diffusion 的 ckpt 模型文件安全转换为 safetensors 格式的图形化工具。它解决了···

tiktoken 开源 免费 仅开源

精准算 token、快速切文本，LLM 应用必备

tiktoken 是 OpenAI 开源的快速 BPE 分词器，专门用于其 GPT 系列模型的分词与 token 计数。它解决···

pathway 开源 免费+付费 可打开

一份 Python 代码，同时跑批处理和实时流，还能接 RAG。

Pathway 是一个用 Python 编写的开源 ETL 与流处理框架，核心定位是把批处理和流处理统一到同一套代···

ort 开源 免费 仅开源

用 Rust 跑 ONNX 模型，推理训练一把梭

ort 是一个基于 Rust 的 ONNX 模型推理与训练库，它封装了微软的 ONNX Runtime，为 Rust 开发者提供···

stable-diffusion-webui-auto-tls-http··· 开源 免费 仅开源

一键给SD WebUI加HTTPS，远程访问不怕被偷看

stable-diffusion-webui-auto-tls-https 是一个为 AUTOMATIC1111 的 Stable Diffusion WebUI 设计的···

intel-extension-for-transformers 开源 免费 仅开源

在英特尔硬件上，几分钟内打造并加速你的聊天机器人

Intel Extension for Transformers 是英特尔推出的开源工具包，旨在让开发者快速构建聊天机器人，并···

phoenix 开源 免费+付费 可打开

一键追踪调试你的 AI 应用，让模型问题无所遁形

Phoenix 是一个面向 AI 应用的可观测性与评估平台，由 Arize AI 开发。它解决了 LLM 应用在生产环境···

a-guide-to-mlops 开源 免费 仅开源

从传统到现代，一份指南带你玩转MLOps工具链

这是一个关于MLOps工具与实践的简明指南，旨在帮助机器学习团队从传统工作方式过渡到现代MLOps方法···

redis-vl-python 开源 免费 仅开源

用 Redis 做向量检索，一套 Python 库搞定 AI 数据层

RedisVL 是 Redis 官方推出的 AI 原生 Python 客户端库，旨在弥合传统 Redis 数据库与向量检索、AI···

higress 开源 免费 仅开源

用 Envoy 打造 AI 原生网关，统一管理模型流量与成本。

higress 是一个云原生、AI 原生的 API 网关，基于 Envoy 构建，兼容 Ingress 与 Gateway API 标准。···

OpenContracts 开源 免费 仅开源

让智能体读懂文档，一键提取结构化数据。

OpenContracts 是一个面向构建者和开发者的开源文档智能平台，定位为智能体世界的文档管理系统（DM···

get-beam 开源 仅开源

让 GPU 任务像调用 API 一样，按需弹性伸缩，省心省钱。

get-beam 是一个面向 AI 基础设施的早期开源项目，旨在让用户以无服务器（Serverless）方式运行 GP···

xvc 开源 免费 仅开源

用 Rust 快速管理 ML 数据和流水线，像 Git 一样追踪大文件

xvc 是一个用 Rust 编写的 MLOps 工具，专注于数据版本管理和流水线管理。它解决了机器学习项目中数···

x-stable-diffusion 开源 可打开

把 Stable Diffusion 推理压到 0.88 秒，实时出图不是梦。

x-stable-diffusion 是一个专注于 Stable Diffusion 实时推理加速的开源项目，目标是将延迟降低至 ···

are-you-a-cat 开源 免费 仅开源

用ZenML搭建可复现的猫脸识别流水线，快速上手MLOps

这是一个面向ZenML MLOps竞赛的示例项目，名为“你是猫吗”。它演示了如何利用ZenML构建一个完整的···

dstoolkit-mlops-databricks 开源 免费 仅开源

统一 Databricks 与 Azure ML，一键搭建 MLOps 流水线

这是一个面向 Databricks 和 Azure 机器学习平台的 MLOps 加速器，旨在统一两者的机器学习运维流程···

chroma 开源 免费+付费 可打开

给 AI 应用装一个超快的向量搜索引擎

Chroma 是一个为 AI 应用设计的开源嵌入式数据库，专注于向量搜索和检索增强生成（RAG）场景。它解···

mlops-template 开源 免费 仅开源

一键生成标准 MLOps 项目骨架，快速落地工程化实践

mlops-template 是一个基于 Python 的 MLOps 项目模板，旨在帮助团队快速搭建机器学习项目的标准结···

Data-Engineering-Roadmap 开源 免费 仅开源

一张图理清数据工程学习路径，从入门到实战

Data-Engineering-Roadmap 是一个面向数据工程师的学习路线图项目，旨在帮助初学者和进阶者系统掌握···

llm-gateway 开源 免费+付费 不稳定

一套接口接所有大模型，Agent 换供应商不用改代码

llm-gateway 是一个用 TypeScript 编写的 LLM 统一网关，定位是让各类 AI Agent 与开发框架能够无缝···

unstructured 开源 免费+付费 仅开源

把 PDF/Word 等复杂文档，一键变成 LLM 能用的干净数据

Unstructured 是一个开源的 ETL 工具，专注于将复杂文档（如 PDF、Word、PPT、图片等）转换为干净、···

feathub 开源 免费 仅开源

一套特征定义，流批通吃，实时上线不求人

FeatHub 是一个面向实时机器学习的流批统一特征存储系统，旨在解决特征工程中训练与推理不一致、特···

onediff 开源 免费 仅开源

一键加速扩散模型，生成速度提升数倍，画质不变

OneDiff 是一个开箱即用的扩散模型加速库，专门针对 Stable Diffusion 等图像生成模型进行推理优化···