基础设施

gateway 开源

一个 API 接入 1600+ 模型，内置安全护栏，AI 应用开发提速。

gateway 是一个高性能的 AI 网关，旨在统一管理对 1600+ 大语言模型（LLM）的访问，并内置 50+ 种 ···

unofficial-claude-api 开源

免官方API，用Python轻松调用Claude，支持文件上传。

这是一个非官方的 Claude API 封装库，基于 Python 实现，通过 Firefox 浏览器和 geckodriver 驱动···

VectorHub 开源

向量搜索入门资源库，已停更，新用户请转向 SIE 引擎

VectorHub 是一个已废弃的历史仓库，由 Superlinked 团队维护，现已转向开发 SIE（自托管推理引擎）···

comfy2go 开源

用 Go 轻松接入 ComfyUI，快速实现图像生成服务

comfy2go 是一个基于 Go 语言开发的 API 网关，旨在作为 ComfyUI 后端的桥梁，让开发者能够通过简洁···

TensorRT-LLM 开源

NVIDIA GPU 上跑大模型，编译优化后推理又快又省显存

TensorRT-LLM 是 NVIDIA 推出的开源大语言模型推理加速库，提供易用的 Python API 来定义 LLM，并在···

google-cloud-gcp-openai-api 开源

一行配置，把谷歌大模型变成 OpenAI 接口，无缝切换。

这是一个将 Google Cloud Vertex AI（支持 PaLM 2、Codey、Gemini）封装成 OpenAI API 兼容格式的轻···

ezdata 开源

连接 60+ 数据源，AI 自动查询、绘图、分析，让数据开口说话。

ezdata 是一个 AI 原生的数据平台，旨在解决数据接入、处理、分析和 AI 问答之间的割裂问题。它内置···

agentops 开源

给 AI 智能体装上监控仪表盘，实时追踪成本与性能

AgentOps 是一个面向 AI 智能体（Agent）的 Python 监控与可观测性 SDK，旨在解决 LLM 应用开发中调···

Awesome-LLMOps 开源

一站式找齐 LLMOps 工具，告别选型大海捞针

Awesome-LLMOps 是一个精心整理的 LLMOps 工具清单，旨在帮助开发者、数据科学家和运维人员快速发现···

comfyicu 开源

把 ComfyUI 工作流扔到云端跑，本地无需高配 GPU

ComfyICU 是一个将 ComfyUI 工作流部署到云端运行的工具，旨在解决本地运行 ComfyUI 时硬件资源不足···

TinyGPT 开源

用 C++ 从零手写 LLM 推理，轻量无依赖，适合学习和嵌入式部署。

TinyGPT 是一个从零开始用 C++ 实现的轻量级大语言模型推理引擎，旨在提供极简、无依赖的 LLM 推理···

node-llama-cpp 开源

在 Node.js 里直接跑本地大模型，还能强制输出合法 JSON

node-llama-cpp 是一个将 llama.cpp 绑定到 Node.js 的库，让你能在本地机器上直接运行 AI 模型（如···

infra 开源

让AI安全执行代码，秒级启动隔离沙箱

infra 是 E2B Cloud 的基础设施层，用 Go 语言实现，为 AI 智能体提供安全、隔离的云端代码解释器运···

nndeploy 开源

一套代码搞定多端AI推理，省心又高效

nndeploy 是一款专注于 AI 模型部署的 C++ 框架，旨在解决深度学习模型从训练到生产环境落地时面临···

ai-gate 开源

一个应用搞定所有AI聊天，免密钥免切换

AI Gate 是一款基于 Electron 的桌面应用，旨在解决用户同时使用多个 AI 聊天工具时需要频繁切换、···

ComfyUI-Installer 开源

Linux 上一键装好 ComfyUI，省去手动配环境的麻烦。

ComfyUI-Installer 是一个用于在 Linux 系统上快速安装 ComfyUI 的 Shell 脚本工具。它解决了 Comf···

inference 开源

一行代码部署视觉模型，让任何设备秒变 CV 指挥中心

inference 是一个将任何计算机或边缘设备转变为计算机视觉项目指挥中心的开源工具。它解决了视觉模···

chromadb-chart 开源

一条命令在 Kubernetes 上部署 ChromaDB，省心省力

chromadb-chart 是一个用于在 Kubernetes 集群中部署 ChromaDB 的 Helm Chart 项目。ChromaDB 是一···

litellm 开源

一个网关接入所有大模型，告别接口乱、成本散、监控难

litellm 是一个轻量级 AI 网关，核心用 Rust 编写，同时提供 Python SDK，可以统一调用 100 多种 L···

tabpfn-client 开源

几行代码调用 TabPFN，轻松搞定小样本表格预测

TabPFN Client 是一个轻量级 Python 客户端，旨在简化对表格基础模型 TabPFN 的 API 访问。TabPFN ···

scalax 开源

让 JAX 程序轻松跑满多卡，分布式训练不再复杂。

scalax 是一个用于扩展 JAX 程序的轻量级库，旨在简化大规模机器学习训练和推理的分布式计算。它解···

docker-code-interpreter 开源

一键启动开源代码解释器，省去环境配置烦恼

docker-code-interpreter 是一个基于 Docker 的一键部署工具，旨在简化开源代码解释器项目的启动流···

llm-inference-solutions 开源

一张清单，搞定LLM推理选型

这是一个收录大语言模型（LLM）推理解决方案的精选列表，旨在为开发者提供一站式的推理工具参考。项···

dockit 开源

用大白话聊数据库，AI 帮你查 Elasticsearch、MongoDB 等，可视化监控一把梭。

dockit 是一款面向开发者的桌面级数据库 GUI 客户端，专注于 Elasticsearch、OpenSearch、DynamoDB···