基础设施

E2B 开源 免费+付费 可打开

让 AI 智能体安全地运行代码、操作文件，直接对接真实世界工具

E2B 是一个开源的、安全的代码解释环境，专为企业级 AI 智能体设计。它解决了 AI 模型在生成代码或···

ChatGPTAPIFree 开源 免费 仅开源

免费代理 ChatGPT API，零成本集成智能对话

ChatGPTAPIFree 是一个开源的代理 API 项目，旨在让开发者免费访问 OpenAI 的 ChatGPT API。它通过···

mega 开源 免费 可打开

为 AI 代理打造的 Git 兼容 monorepo 引擎，让大规模协作更高效。

Mega 是一个开源的、与 Google Piper 兼容的 monorepo 引擎，专为 AI Agent 时代设计。它解决了传统···

SD-to-CoreML 开源 免费 仅开源

一键转换 Stable Diffusion 模型为 Apple Core ML 格式，轻松部署到 iPhone 和 Mac。

SD-to-CoreML 是一个用 Shell 脚本编写的工具，旨在将 Stable Diffusion 1.5 模型转换为 Apple 的 ···

lancedb 开源 免费+付费 可打开

嵌入式向量检索，少运维多搜索，多模态 AI 即插即用

LanceDB 是一个用 Rust 编写的开源嵌入式向量检索库，面向多模态 AI 应用。它把向量数据库能力做成···

cortex 开源 免费 仅开源

统一管理多模型和智能体工具，一键切换后端AI服务

cortex 是一个开源的 AI 后端控制平面，专注于模型路由、智能体工具和私有工作空间管理。它提供 Op···

Docker-Warp-Socks 开源 免费 仅开源

一键启动 WARP SOCKS5 代理，让容器内应用秒连 CloudFlare 网络。

Docker-Warp-Socks 是一个基于 Docker 的轻量级工具，用于连接 CloudFlare WARP 服务，并将 WARP 的···

ai-system 开源 免费 仅开源

一站式管理 AI 模型全生命周期，告别工具碎片化

ai-system 是一个面向 LLM/MLOps/LLMOps 领域的基础设施项目，旨在为机器学习与大型语言模型的全生···

FlexLLMGen 开源 免费 仅开源

单卡跑大模型，吞吐量翻倍，省钱又高效

FlexLLMGen是一个专注于在单张GPU上高效运行大语言模型的开源推理框架，主要面向高吞吐量场景。它解···

tt-metal 开源 免费 仅开源

用 Tenstorrent 硬件跑 AI 模型，底层算子与内核编程一手掌控

tt-metal 是 Tenstorrent 公司推出的底层算子库与内核编程模型，包含 TT-NN 算子库和 TT-Metalium ···

batchlinks-webui 开源 免费 仅开源

一条链接列表，批量拉取模型，省时省力

batchlinks-webui 是一个面向 Stable Diffusion 用户的批量下载工具，以 Gradio 界面集成到 SD Web···

vllm 开源 免费 仅开源

同一个模型跑出几倍速度，机器成本省一半

面向 LLM 的高吞吐、内存高效的推理与 serving 引擎，支持 PagedAttention 等核心技术，是大规模模···

willow-inference-server 开源 免费 仅开源

本地一键部署，让语音和 LLM 推理服务秒级上线

Willow 是一个开源的、本地自托管的语言推理服务器，专注于音频和语音场景，同时支持 ASR/STT、TTS···

helicone 开源 免费+付费 可打开

一行代码接入，实时监控和评估你的 LLM 应用

Helicone 是一个开源的 LLM 可观测性平台，旨在帮助开发者监控、评估和优化大语言模型应用。它通过···

awesome-kubeflow 开源 免费 仅开源

一站式找到 Kubeflow 生态的优质工具和教程，少走弯路。

awesome-kubeflow 是一个精选资源列表，汇集了与 Kubeflow 相关的优秀项目、工具、教程和文档。Kub···

automlops 开源 免费 仅开源

几分钟搭好MLOps流水线，告别繁琐工程配置

automlops 是一个用于快速构建 MLOps 管道的开源基础设施工具，旨在将机器学习项目的开发到部署流程···

rust-mlops-template 开源 免费 仅开源

用 Rust 搭建高性能 MLOps 基础设施，告别 Python 性能瓶颈

rust-mlops-template 是一个正在开发中的开源项目，旨在使用 Rust 语言构建机器学习运维（MLOps）解···

unstructured-inference 开源 免费 仅开源

把杂乱文档解析成带类型的结构化文本块

unstructured-inference 是 Unstructured 生态中的推理服务层，用 Python 实现，负责把各类原始文档···

sd-webui-stable-horde-worker 开源 免费 仅开源

把闲置 GPU 接入 Stable Horde，边赚积分边帮别人出图

这是一个将 Stable Horde 分布式算力网络与 Stable Diffusion WebUI (AUTOMATIC1111) 连接起来的桥···

keras-sd-serving 开源 免费 仅开源

把 Keras 版 Stable Diffusion 快速部署成服务

keras-sd-serving 是一个展示如何将基于 Keras 的 Stable Diffusion 模型部署为服务的开源项目。它···

Stable-Diffusion-WSL2-Docker 开源 免费 仅开源

Windows用户一键搞定Stable Diffusion，免配置直接出图

这是一个为Windows用户提供的一键安装脚本，旨在通过WSL2和Docker简化Stable Diffusion的部署流程。···

serverless-workers 开源 仅开源

一键部署 AI 模型为无服务器端点，省时省力

这是一个由 Runpod 官方提供的无服务器 worker 集合，用于在 Runpod 平台上运行 AI 推理任务。它包···

ai-on-openshift 开源 免费 仅开源

在OpenShift上快速部署AI工作负载，参考架构即拿即用。

ai-on-openshift 是一个专注于在 OpenShift 平台上部署和运行 AI 工作负载的开源项目，其网站源码托···

babylog 开源 免费 仅开源

生产环境轻量记录图像和预测，快速排查模型问题

babylog 是一个面向机器学习团队的轻量级日志工具，专门用于在生产环境中记录图像和模型预测结果。···