基础设施

FlexLLMGen 开源

单卡跑大模型，吞吐量翻倍，省钱又高效

FlexLLMGen是一个专注于在单张GPU上高效运行大语言模型的开源推理框架，主要面向高吞吐量场景。它解···

tt-metal 开源

用 Tenstorrent 硬件跑 AI 模型，底层算子与内核编程一手掌控

tt-metal 是 Tenstorrent 公司推出的底层算子库与内核编程模型，包含 TT-NN 算子库和 TT-Metalium ···

x-ui-yg 开源

一键部署多协议代理面板，集成隧道与订阅，翻墙更省心

x-ui-yg 是一个基于 x-ui 面板的精简修改版脚本，主要面向需要快速部署和管理代理服务的高级用户。···

batchlinks-webui 开源

一条链接列表，批量拉取模型，省时省力

batchlinks-webui 是一个面向 Stable Diffusion 用户的批量下载工具，以 Gradio 界面集成到 SD Web···

vllm 开源

同一个模型跑出几倍速度，机器成本省一半

面向 LLM 的高吞吐、内存高效的推理与 serving 引擎，支持 PagedAttention 等核心技术，是大规模模···

willow-inference-server 开源

本地一键部署，让语音和 LLM 推理服务秒级上线

Willow 是一个开源的、本地自托管的语言推理服务器，专注于音频和语音场景，同时支持 ASR/STT、TTS···

helicone 开源

一行代码接入，实时监控和评估你的 LLM 应用

Helicone 是一个开源的 LLM 可观测性平台，旨在帮助开发者监控、评估和优化大语言模型应用。它通过···

awesome-kubeflow 开源

一站式找到 Kubeflow 生态的优质工具和教程，少走弯路。

awesome-kubeflow 是一个精选资源列表，汇集了与 Kubeflow 相关的优秀项目、工具、教程和文档。Kub···

automlops 开源

几分钟搭好MLOps流水线，告别繁琐工程配置

automlops 是一个用于快速构建 MLOps 管道的开源基础设施工具，旨在将机器学习项目的开发到部署流程···

rust-mlops-template 开源

用 Rust 搭建高性能 MLOps 基础设施，告别 Python 性能瓶颈

rust-mlops-template 是一个正在开发中的开源项目，旨在使用 Rust 语言构建机器学习运维（MLOps）解···

sd-webui-stable-horde-worker 开源

把闲置 GPU 接入 Stable Horde，边赚积分边帮别人出图

这是一个将 Stable Horde 分布式算力网络与 Stable Diffusion WebUI (AUTOMATIC1111) 连接起来的桥···

keras-sd-serving 开源

把 Keras 版 Stable Diffusion 快速部署成服务

keras-sd-serving 是一个展示如何将基于 Keras 的 Stable Diffusion 模型部署为服务的开源项目。它···

Stable-Diffusion-WSL2-Docker 开源

Windows用户一键搞定Stable Diffusion，免配置直接出图

这是一个为Windows用户提供的一键安装脚本，旨在通过WSL2和Docker简化Stable Diffusion的部署流程。···

serverless-workers 开源

一键部署 AI 模型为无服务器端点，省时省力

这是一个由 Runpod 官方提供的无服务器 worker 集合，用于在 Runpod 平台上运行 AI 推理任务。它包···

ai-on-openshift 开源

在OpenShift上快速部署AI工作负载，参考架构即拿即用。

ai-on-openshift 是一个专注于在 OpenShift 平台上部署和运行 AI 工作负载的开源项目，其网站源码托···

babylog 开源

生产环境轻量记录图像和预测，快速排查模型问题

babylog 是一个面向机器学习团队的轻量级日志工具，专门用于在生产环境中记录图像和模型预测结果。···

pymilo 开源

统一序列化 ML 模型，跨框架安全保存与加载

PyMilo 是一个专注于机器学习模型序列化与反序列化的 Python 库，旨在解决不同 ML 框架（如 scikit···

Safe-and-Stable-Ckpt2Safetensors-Con··· 开源

一键安全转换 ckpt 为 safetensors，告别恶意代码风险

这是一个将 Stable Diffusion 的 ckpt 模型文件安全转换为 safetensors 格式的图形化工具。它解决了···

pathway 开源

一份 Python 代码，同时跑批处理和实时流，还能接 RAG。

Pathway 是一个用 Python 编写的开源 ETL 与流处理框架，核心定位是把批处理和流处理统一到同一套代···

ort 开源

用 Rust 跑 ONNX 模型，推理训练一把梭

ort 是一个基于 Rust 的 ONNX 模型推理与训练库，它封装了微软的 ONNX Runtime，为 Rust 开发者提供···

stable-diffusion-webui-auto-tls-http··· 开源

一键给SD WebUI加HTTPS，远程访问不怕被偷看

stable-diffusion-webui-auto-tls-https 是一个为 AUTOMATIC1111 的 Stable Diffusion WebUI 设计的···

intel-extension-for-transformers 开源

在英特尔硬件上，几分钟内打造并加速你的聊天机器人

Intel Extension for Transformers 是英特尔推出的开源工具包，旨在让开发者快速构建聊天机器人，并···

phoenix 开源

一键追踪调试你的 AI 应用，让模型问题无所遁形

Phoenix 是一个面向 AI 应用的可观测性与评估平台，由 Arize AI 开发。它解决了 LLM 应用在生产环境···

a-guide-to-mlops 开源

从传统到现代，一份指南带你玩转MLOps工具链

这是一个关于MLOps工具与实践的简明指南，旨在帮助机器学习团队从传统工作方式过渡到现代MLOps方法···