基础设施

gpustack 开源 免费 仅开源

一键管理 GPU 集群，轻松部署高性能 AI 模型服务

gpustack 是一个面向高性能 AI 模型服务的 GPU 集群管理器，专注于简化 vLLM、SGLang 等推理引擎的···

swiftLLM 开源 免费 仅开源

用 2000 行代码实现 vLLM 级推理性能，研究利器

swiftLLM 是一个极简但高性能的 LLM 推理系统，专为研究目的设计。它用仅约 2000 行 Python 代码实···

ADI-Stable-Diffusion 开源 免费 仅开源

用 C++ 和 ONNXRuntime 让 Stable Diffusion 推理飞起来

ADI-Stable-Diffusion 是一个基于 C++ 和 ONNXRuntime 的 Stable Diffusion 推理加速库，旨在解决 ···

sd-webui-all-in-one 开源 免费 仅开源

一键安装管理多种AI绘图工具，省去折腾环境

这是一个面向 Stable Diffusion 生态的一体化管理工具，旨在解决多种 AI WebUI（如 ComfyUI、Foooc···

mirage 开源 免费 仅开源

把整个LLM推理塞进一个GPU内核，砍掉反复启动开销

Mirage 是一个面向大语言模型推理的持久化内核编译项目，核心思路是把整个 LLM 推理流程编译成一个···

bex 开源 可打开

Git push 即部署，让 AI 智能体成为你的运维搭档。

bex 是一个开源的 AI 原生部署平台，定位为 Render 的替代品。它让开发者通过 Git push 即可完成构···

Olares 开源 可打开

把个人设备变成专属 AI 云，让智能体 7x24 小时在线干活

Olares 是一个开源的个人云操作系统，专为常驻智能体（Always-On Agents）设计。它解决了个人在本地···

paddler 开源 免费 仅开源

自托管 LLM 负载均衡，简单部署，CPU/GPU 通吃

paddler 是一个用 Rust 编写的开源 LLM/VLM 负载均衡与服务平台，专为自托管大语言模型和多模态模型···

llama3.java 开源 免费 仅开源

纯 Java 跑 Llama 3，不装 Python 也能本地推理

llama3.java 是一个纯 Java 实现的 Llama 3 及后续版本的大语言模型推理库，无需依赖 C/C++ 或 Pyt···

LLM-Tools 开源 免费 仅开源

输入模型参数，秒算 GPU 显存和硬件需求

LLM-Tools 是一个开源的计算器工具，专门用于估算大型语言模型（LLM）系统的硬件需求。它解决了在部···

logfire 开源 免费+付费 可打开

一键接入，实时追踪 LLM 调用，快速定位 AI 应用故障

Logfire 是一个面向生产环境 LLM 和智能体系统的 AI 可观测性平台，旨在解决 AI 应用调试难、追踪难···

semantic-cache 开源 免费 仅开源

让缓存懂语义，相似查询秒命中，降低后端压力

semantic-cache 是一个基于语义相似度而非词法等值匹配的模糊键值存储库。它解决的是传统缓存或键值···

GenAIComps 开源 免费 仅开源

把大模型功能拆成积木，按需拼出你的 AI 服务

GenAIComps 是面向生成式 AI 应用的基础设施项目，把大模型应用里常见的功能拆成微服务级别的组件，···

ollama-operator 开源 免费 仅开源

用 K8s 声明式 YAML 一键部署和管理 Ollama 大模型服务

ollama-operator 是一个用 Go 编写的 Kubernetes Operator，目标是把 Ollama 大语言模型运行时以声···

subnet-2 开源 不稳定

给去中心化 AI 推理加上可验证证明

subnet-2 是 Bittensor 网络上的一个子网项目，用 Rust 实现，聚焦可验证推理（verifiable inferen···

picollm 开源 免费 仅开源

让大模型在手机和嵌入式设备上流畅跑起来

picollm 是一个专注于设备端（on-device）大语言模型推理的开源项目，通过 X-Bit 量化技术实现高效···

WilmerAI 开源 免费 仅开源

多模型路由中间件，让提示词按规则自动流转

WilmerAI 是一个较早出现的 LLM 语义路由中间件，位于你的应用与多个 LLM API 之间，通过多层提示词···

anyquery 开源 可打开

用 SQL 一把梭，轻松查遍 60+ 工具数据，还能喂给 AI

anyquery 是一个用 Go 编写的开源工具，它提供统一的 SQL 接口，让用户可以通过 SQL 查询 60 多种外···

btp-genai-starter-kit 开源 免费 仅开源

一键自动化配置SAP AI环境，快速启动你的生成式AI项目

这是一个面向SAP BTP平台的生成式AI起步工具包，旨在帮助开发者快速上手genAI开发。它通过Terrafor···

AI-Gateway 开源 可打开

用 Azure 网关统一管住模型、MCP 和 Agent 调用

AI-Gateway 是微软基于 Azure API Management 和 Microsoft Foundry 构建的实验性项目，用于统一接···

compressed-tensors 开源 免费 仅开源

让量化稀疏模型权重标准化存盘、一键加载

compressed-tensors 是 safetensors 格式的扩展库，用于在磁盘上高效存储稀疏与量化后的张量。它解···

EmbedAnything 开源 免费 仅开源

用 Rust 打造极速、安全的嵌入与索引流水线，让 AI 应用更快更稳

EmbedAnything 是一个基于 Rust 构建的高性能、模块化、内存安全的向量嵌入与索引引擎，专为生产环···

NanoLLM 开源 免费 仅开源

本地跑大模型，量化多模态一条龙

NanoLLM 是一个专注于本地大模型推理优化的开源工具库，提供类似 HuggingFace 的简洁 API，支持模型···

langtrace 开源 免费 仅开源

一键接入，实时追踪 LLM 应用全链路，调试评估不再抓瞎。

Langtrace 是一个基于 OpenTelemetry 的开源端到端可观测性工具，专为 LLM 应用设计。它解决开发者···