基础设施

DeepCache 开源

免训练加速扩散模型，生成速度翻倍，画质不掉线。

DeepCache 是一个针对扩散模型（Diffusion Models）的免训练加速方案，核心思想是利用扩散模型去噪···

arcjet-js 开源

给 AI 应用装上安全气囊，防注入、防越权、防泄露

Arcjet 是一个面向 AI 应用和智能体的运行时安全库，专为 JavaScript/TypeScript 生态设计。它解决···

ollama-api 开源

一键部署本地大模型和图像生成的 RESTful API，快速集成到你的应用。

ollama-api 是一个基于 Python 的轻量级 RESTful API 服务，旨在为 Ollama 和 Stable Diffusion 提···

Free-GPT-Grok-Gemini-Claude-API 开源

一个API直连GPT/Claude/Gemini，国内免梯子，支付宝付款

这是一个聚合多种顶级AI模型（如GPT-5、Claude 4.5、Gemini 3）的统一API接口项目，旨在成为OpenRo···

fastapi-admin 开源

一个系统接入所有主流大模型，统一管理密钥与调用。

fastapi-admin 是一个用 Go 语言构建的企业级 LLM API 快速集成系统，旨在统一管理并代理多种主流大···

fastapi 开源

一个网关接入所有大模型，企业 AI 集成快人一步

fastapi 是一个用 Go 编写的企业级 LLM API 快速集成网关，旨在统一接入 OpenAI、Azure、文心一言、···

llmaz 开源

在 K8s 上一键部署多种 LLM 推理服务

llmaz 是一个面向 Kubernetes 的大模型推理平台，目标是把 vLLM、SGLang、TGI、llama.cpp、Ollama ···

cuvs 开源

GPU 上跑向量检索与聚类，十亿级数据也能秒级返回

cuVS 是 NVIDIA 开源的 GPU 向量搜索与聚类库，属于 RAPIDS 生态的基础设施组件。它把近似最近邻搜···

chmonitor 开源

给 ClickHouse 配个 AI 军师，实时监控并自动给出调优建议

chmonitor 是一个面向 ClickHouse 的开源运维顾问，提供实时监控与 AI 驱动的索引、分区、物化视图···

datalinkx 开源

配置化搞定异构数据源同步，支持增量与全量，内置大模型算子。

DatalinkX 是一个基于 Flink 和 SeaTunnel 引擎的异构数据源同步系统，主要解决企业数据在不同存储···

beta9 开源

让 GPU 推理快如闪电，秒级启动，按需付费

beta9 是一个面向 AI 推理和计算场景的超快无服务器 GPU 平台，用 Go 语言实现。它解决了传统 GPU ···

new-api 开源

一个网关接入所有大模型，协议随意转换，省心又省钱

new-api 是一个统一的大模型网关，旨在解决 AI 模型碎片化问题。它将 OpenAI、Claude、Gemini 等不···

sie 开源

一个服务搞定所有模型，让智能体部署不再头疼

sie 是一个开源的推理服务器和生产级集群，专为智能体（agent）所需的各类模型提供统一部署和调度。···

spellbook-docker 开源

一条命令拉起本地多模型AI全家桶

spellbook-docker 是一个基于 Docker 的 AI 模型集成部署工具，旨在简化多种 AI 模型的本地运行与交···

Ollamac 开源

Mac 上玩本地大模型，告别命令行，点开即聊。

Ollamac 是一款专为 macOS 打造的 Ollama 客户端应用，用 Swift 原生开发。它解决的是在 Mac 上使用···

vidur 开源

不买 GPU，也能预演大模型推理性能与容量

Vidur 是微软开源的 LLM 推理系统模拟器，用于在无需真实 GPU 集群的情况下，大规模、精确地评估大···

ray_vllm_inference 开源

用 Ray 调度 vLLM，轻松搞定高并发大模型服务

ray_vllm_inference 是一个将 vLLM 与 Ray Serve 集成的轻量级 LLM 推理服务项目，旨在提供快速且可···

comfy-trt-test 开源

给ComfyUI装上TensorRT引擎，让SD出图更快

这是一个将TensorRT推理引擎集成到ComfyUI中的早期实验性项目，旨在解决ComfyUI中Stable Diffusion···

kubeai 开源

在 K8s 上声明式部署大模型，自动扩缩容，开箱即用 OpenAI 接口

KubeAI 是一个面向 Kubernetes 的 AI 推理 Operator，目标是把大模型、视觉语言模型、Embedding 和···

stable-fast 开源

让 Stable Diffusion 在 NVIDIA GPU 上跑出数倍速度，无需改代码。

stable-fast 是一个专为 NVIDIA GPU 设计的 HuggingFace Diffusers 推理性能优化框架，由 WaveSpee···

voyageai-python 开源

一行代码接入顶级文本嵌入和重排序，让语义搜索更准。

Voyage AI 的官方 Python 库，用于调用其嵌入（Embedding）和重排序（Rerank）API。它解决了开发者···

text-embeddings-inference 开源

用 Rust 极速跑嵌入模型，高吞吐低延迟，一键部署生产级 API

text-embeddings-inference 是一个用 Rust 编写的高性能文本嵌入模型推理服务，专为大规模生产环境···

infinity 开源

让嵌入和重排序模型跑得更快更省，轻松支撑大规模检索

Infinity 是一个面向文本嵌入、重排序模型、CLIP、CLAP 和 ColPali 的高吞吐量、低延迟推理引擎。它···

worker-comfyui 开源

把 ComfyUI 变成按需付费的 API，秒级调用图像生成

worker-comfyui 是一个将 ComfyUI 部署为 Runpod 无服务器 API 的解决方案。它解决了在 Runpod 平台···