基础设施

Free-GPT-Grok-Gemini-Claude-API 开源 免费+付费 可打开

一个API直连GPT/Claude/Gemini，国内可用，支付宝付款

这是一个聚合多种顶级AI模型（如GPT-5、Claude 4.5、Gemini 3）的统一API接口项目，旨在成为OpenRo···

fastapi-admin 开源 可打开

一个系统接入所有主流大模型，统一管理密钥与调用。

fastapi-admin 是一个用 Go 语言构建的企业级 LLM API 快速集成系统，旨在统一管理并代理多种主流大···

fastapi 开源 可打开

一个网关接入所有大模型，企业 AI 集成快人一步

fastapi 是一个用 Go 编写的企业级 LLM API 快速集成网关，旨在统一接入 OpenAI、Azure、文心一言、···

llmaz 开源 免费 可打开

在 K8s 上一键部署多种 LLM 推理服务

llmaz 是一个面向 Kubernetes 的大模型推理平台，目标是把 vLLM、SGLang、TGI、llama.cpp、Ollama ···

cuvs 开源 免费 仅开源

GPU 上跑向量检索与聚类，十亿级数据也能秒级返回

cuVS 是 NVIDIA 开源的 GPU 向量搜索与聚类库，属于 RAPIDS 生态的基础设施组件。它把近似最近邻搜···

ollama-helm 开源 免费 仅开源

一条 helm 命令，把 Ollama 大模型服务部署进 K8s 集群

ollama-helm 是为 Ollama 提供 Kubernetes 部署能力的 Helm Chart 项目。Ollama 是一个本地运行大语···

chmonitor 开源 免费+付费 可打开

给 ClickHouse 配个 AI 军师，实时监控并自动给出调优建议

chmonitor 是一个面向 ClickHouse 的开源运维顾问，提供实时监控与 AI 驱动的索引、分区、物化视图···

datalinkx 开源 免费 仅开源

配置化搞定异构数据源同步，支持增量与全量，内置大模型算子。

DatalinkX 是一个基于 Flink 和 SeaTunnel 引擎的异构数据源同步系统，主要解决企业数据在不同存储···

beta9 开源 仅开源

让 GPU 推理快如闪电，秒级启动，按需付费

beta9 是一个面向 AI 推理和计算场景的超快无服务器 GPU 平台，用 Go 语言实现。它解决了传统 GPU ···

onnxruntime-genai 开源 免费 仅开源

ONNX 模型一键跑生成式 AI，跨平台多语言

onnxruntime-genai 是微软 ONNX Runtime 团队推出的生成式 AI 推理库，用 C++ 实现，为 ONNX 模型提···

new-api 开源 免费 仅开源

一个网关接入所有大模型，协议随意转换，省心又省钱

new-api 是一个统一的大模型网关，旨在解决 AI 模型碎片化问题。它将 OpenAI、Claude、Gemini 等不···

sagemaker-genai-hosting-examples 开源 免费 仅开源

照着 Notebook 跑通大模型托管与推理

该项目是面向 Amazon SageMaker 的生成式 AI 托管示例集合，以 Jupyter Notebook 形式提供从模型部···

sie 开源 免费 仅开源

一个服务搞定所有模型，让智能体部署不再头疼

sie 是一个开源的推理服务器和生产级集群，专为智能体（agent）所需的各类模型提供统一部署和调度。···

spellbook-docker 开源 免费 仅开源

一条命令拉起本地多模型AI全家桶

spellbook-docker 是一个基于 Docker 的 AI 模型集成部署工具，旨在简化多种 AI 模型的本地运行与交···

Ollamac 开源 免费 仅开源

Mac 上玩本地大模型，告别命令行，点开即聊。

Ollamac 是一款专为 macOS 打造的 Ollama 客户端应用，用 Swift 原生开发。它解决的是在 Mac 上使用···

vidur 开源 免费 仅开源

不买 GPU，也能预演大模型推理性能与容量

Vidur 是微软开源的 LLM 推理系统模拟器，用于在无需真实 GPU 集群的情况下，大规模、精确地评估大···

candle-vllm 开源 免费 仅开源

Rust 写的本地大模型推理服务，兼容 OpenAI API，开箱即用

candle-vllm 是一个基于 Rust 和 Hugging Face Candle 框架构建的本地大模型推理与服务化平台。它解···

ray_vllm_inference 开源 免费 仅开源

用 Ray 调度 vLLM，轻松搞定高并发大模型服务

ray_vllm_inference 是一个将 vLLM 与 Ray Serve 集成的轻量级 LLM 推理服务项目，旨在提供快速且可···

comfy-trt-test 开源 免费 仅开源

给ComfyUI装上TensorRT引擎，让SD出图更快

这是一个将TensorRT推理引擎集成到ComfyUI中的早期实验性项目，旨在解决ComfyUI中Stable Diffusion···

kubeai 开源 免费 可打开

在 K8s 上声明式部署大模型，自动扩缩容，开箱即用 OpenAI 接口

KubeAI 是一个面向 Kubernetes 的 AI 推理 Operator，目标是把大模型、视觉语言模型、Embedding 和···

stable-fast 开源 免费 仅开源

让 Stable Diffusion 在 NVIDIA GPU 上跑出数倍速度，无需改代码。

stable-fast 是一个专为 NVIDIA GPU 设计的 HuggingFace Diffusers 推理性能优化框架，由 WaveSpee···

voyageai-python 开源 仅开源

一行代码接入顶级文本嵌入和重排序，让语义搜索更准。

Voyage AI 的官方 Python 库，用于调用其嵌入（Embedding）和重排序（Rerank）API。它解决了开发者···

openvino.genai 开源 免费 仅开源

几行代码在 Intel 硬件上跑通大模型推理

openvino.genai 是 Intel 基于 OpenVINO Runtime 构建的生成式 AI 推理工具库，提供简洁的 C++ 和 ···

text-embeddings-inference 开源 免费 仅开源

用 Rust 极速跑嵌入模型，高吞吐低延迟，一键部署生产级 API

text-embeddings-inference 是一个用 Rust 编写的高性能文本嵌入模型推理服务，专为大规模生产环境···