基础设施

podman-desktop-extension-ai-lab 开源 免费 可打开

在桌面点点鼠标，用容器在本机跑起大模型

这是一个 Podman Desktop 扩展，目标是把本地大模型运行所需的一整套组件（模型文件、推理服务器、···

videodb-python 开源 仅开源

几行 Python 把视频变成可搜索、可剪辑的数据库

VideoDB Python SDK 是访问 VideoDB 云服务的官方 Python 客户端。VideoDB 把视频当作可查询的数据···

gpt_server 开源 免费 仅开源

一套框架搞定多模态 AI 模型的生产级部署与调用

gpt_server 是一个面向生产环境的 AI 服务部署框架，旨在统一集成多种主流模型能力，包括大语言模型···

PowerInfer 开源 免费 仅开源

让普通电脑也能飞快跑大模型，省显存不减速

PowerInfer 是一个面向本地部署的高速大语言模型推理引擎，专注于在消费级硬件上实现接近服务器级的···

mixtral-offloading 开源 免费 仅开源

让 8x7B 大模型在低配电脑上跑起来

mixtral-offloading 是一个让 Mixtral-8x7B 大模型在消费级硬件（如 Colab 免费版或个人桌面）上运···

space 开源 免费 仅开源

一个框架管好机器学习全流程的存储，告别散乱文件

space 是一个面向机器学习全生命周期的统一存储框架，旨在解决 ML 项目中数据、模型、实验产物等分···

NpgsqlRest 开源 免费 仅开源

数据库直接变 REST API，省掉写后端代码

NpgsqlRest 是一个用 C# 编写的开源工具，能把 PostgreSQL 数据库直接变成生产可用的独立 REST API···

GPTRouter 开源 免费 仅开源

一个接口管所有大模型，自动切换保稳定，响应提速不宕机。

GPTRouter 是一个面向多 LLM 与图像模型统一管理的开源基础设施，用 TypeScript 编写。它解决了企业···

sd4j 开源 免费 仅开源

Java 里跑 Stable Diffusion，无需 Python，直接集成图像生成

sd4j 是一个基于 Java 和 ONNX Runtime 的 Stable Diffusion 推理管线实现，旨在为 Java 开发者提供···

glide 开源 免费 仅开源

一个网关搞定所有AI模型，快速上线生产应用

glide 是一个用 Go 编写的开源模型网关，旨在为生产级生成式 AI 应用提供极速、简单的接入层。它解···

distributed-llama 开源 免费 仅开源

把家里闲置设备组集群，跑大模型更快更省

distributed-llama 是一个用 C++ 实现的开源项目，旨在将家庭中的多台设备（如电脑、树莓派等）组成···

tokencost 开源 免费 仅开源

输入模型和 token 数，秒估 400+ 大模型成本

tokencost 是一个轻量级的 Python 库，为 400 多个大语言模型提供统一的 token 价格估算。它解决了···

chatllm.cpp 开源 免费 仅开源

纯 C++ 本地跑大模型，开箱即聊不装 Python

chatllm.cpp 是一个用纯 C++ 实现的本地大语言模型推理引擎，目标是在个人电脑上直接运行多种开源模···

DeepCache 开源 免费 仅开源

免训练加速扩散模型，生成速度翻倍，画质不掉线。

DeepCache 是一个针对扩散模型（Diffusion Models）的免训练加速方案，核心思想是利用扩散模型去噪···

arcjet-js 开源 免费+付费 可打开

给 AI 应用装上安全气囊，防注入、防越权、防泄露

Arcjet 是一个面向 AI 应用和智能体的运行时安全库，专为 JavaScript/TypeScript 生态设计。它解决···

terraform-genai-rag 开源 免费 仅开源

填几个变量，云上 RAG 环境一键搭好

terraform-genai-rag 是一个基于 Terraform 的开源部署方案，用于在云上快速搭建生成式 AI 检索增强···

ollama-api 开源 可打开

一键部署本地大模型和图像生成的 RESTful API，快速集成到你的应用。

ollama-api 是一个基于 Python 的轻量级 RESTful API 服务，旨在为 Ollama 和 Stable Diffusion 提···

Free-GPT-Grok-Gemini-Claude-API 开源 免费+付费 可打开

一个API直连GPT/Claude/Gemini，国内可用，支付宝付款

这是一个聚合多种顶级AI模型（如GPT-5、Claude 4.5、Gemini 3）的统一API接口项目，旨在成为OpenRo···

fastapi-admin 开源 可打开

一个系统接入所有主流大模型，统一管理密钥与调用。

fastapi-admin 是一个用 Go 语言构建的企业级 LLM API 快速集成系统，旨在统一管理并代理多种主流大···

fastapi 开源 可打开

一个网关接入所有大模型，企业 AI 集成快人一步

fastapi 是一个用 Go 编写的企业级 LLM API 快速集成网关，旨在统一接入 OpenAI、Azure、文心一言、···

llmaz 开源 免费 可打开

在 K8s 上一键部署多种 LLM 推理服务

llmaz 是一个面向 Kubernetes 的大模型推理平台，目标是把 vLLM、SGLang、TGI、llama.cpp、Ollama ···

cuvs 开源 免费 仅开源

GPU 上跑向量检索与聚类，十亿级数据也能秒级返回

cuVS 是 NVIDIA 开源的 GPU 向量搜索与聚类库，属于 RAPIDS 生态的基础设施组件。它把近似最近邻搜···

ollama-helm 开源 免费 仅开源

一条 helm 命令，把 Ollama 大模型服务部署进 K8s 集群

ollama-helm 是为 Ollama 提供 Kubernetes 部署能力的 Helm Chart 项目。Ollama 是一个本地运行大语···

chmonitor 开源 免费+付费 可打开

给 ClickHouse 配个 AI 军师，实时监控并自动给出调优建议

chmonitor 是一个面向 ClickHouse 的开源运维顾问，提供实时监控与 AI 驱动的索引、分区、物化视图···