基础设施

chats 开源 免费+付费 可打开

一套接口接入21+大模型，聊天与网关开箱即用

chats 是一个基于 C#/.NET 构建的大语言模型前端与 AI 网关，定位为统一接入层，解决多模型供应商 ···

ai-gateway 开源 免费 仅开源

用 Rust 打造低延迟 AI 网关，统一接入多家模型，让 AI 应用更快更稳。

ai-gateway 是一个用 Rust 编写的高性能 AI 网关，专为严苛的 AI 工作流设计。它提供与供应商无关的···

kvpress 开源 免费 仅开源

一行代码压缩 KV 缓存，让长上下文推理更快更省显存

kvpress 是一个专注于大语言模型（LLM）KV 缓存压缩的 Python 库，旨在让 KV 缓存压缩变得简单易用···

mlx-omni-server 开源 免费 仅开源

在 Mac 上本地跑多模态 AI，OpenAI 接口无缝接入

mlx-omni-server 是一个基于 Apple MLX 框架的本地推理服务器，专为 Apple Silicon（M 系列）芯片优···

comfy-pack 开源 免费 仅开源

一键锁定打包 ComfyUI 环境，告别部署翻车

comfy-pack 是一个面向 ComfyUI 工作流的 Python 工具包，旨在解决 ComfyUI 工作流环境难以复现和部···

zerolan-core 开源 免费 仅开源

一个框架集成本地多模态 AI 模型，开箱即用

ZerolanCore 是一个本地部署的 AI 模型集成框架，旨在将多种开源 AI 模型统一整合到一个可扩展的架···

Electron-BitNet 开源 免费 仅开源

在桌面轻松跑微软 BitNet，无需命令行

Electron-BitNet 是一个将微软的 BitNet 模型封装为桌面应用的早期开源项目，采用 Electron、React···

hub 开源 免费 仅开源

用 Rust 打造的高性能 LLM 网关，自带监控，轻松管理大规模 AI 请求。

hub 是一个用 Rust 编写的高性能 LLM 网关，专为大规模 AI 应用设计。它解决了在多个 LLM 提供商（···

ai-gateway 开源 免费 仅开源

一个网关管所有AI大模型，统一接入、限流、控成本

ai-gateway 是一个基于 Envoy Gateway 构建的统一访问管理网关，专门用于管理和路由对各类生成式 A···

ComfyUI-Easy-Install 开源 免费 仅开源

一键装好 ComfyUI，开箱即用不折腾环境

ComfyUI-Easy-Install 是一个面向 ComfyUI 用户的一键便携安装器，支持 Windows、macOS 和 Linux 三···

gateway 开源 免费 仅开源

本地统一调用 200+ 大模型，告别接口碎片化

gateway 是一个完全本地化的生产级超级 SDK，为调用 200 多个大型语言模型提供简单、统一且强大的接···

k8m 开源 免费 仅开源

给 K8s 配个 AI 助手，一句话搞定集群运维

k8m 是一款轻量级、跨平台的 Mini Kubernetes AI Dashboard，用 Go 语言开发，解决 Kubernetes 集群···

avr-infra 开源 可打开

一键拉起语音代理，对接Asterisk实现智能对话

avr-infra 是一个面向语音代理场景的基础设施项目，旨在启动 Agent Voice Response 应用，集成 Cor···

rapid_llm 开源 免费 仅开源

用 Triton 手写轻量推理框架，快速读懂并改造 LLM 内核

rapid_llm 是一个基于 Triton 内核实现的轻量级类 LLaMA 大模型推理框架，用 Python 编写，目标是在···

suna 开源 可打开

一站式管理你的所有 AI 智能体，让运维更省心

suna 是一个开源的 AI 管理系统，旨在帮助团队和企业统一管理、部署和监控各类 AI 智能体。它解决了···

llama-swap 开源 免费 仅开源

一个接口自动切换本地大模型，显存不够也能跑多模型

llama-swap 是一个用 Go 编写的本地大模型服务代理，解决在 llama.cpp、vLLM 等本地推理服务器上同···

SageAttention 开源 免费 仅开源

渲染提速好几倍，出片快人一步

清华开源的量化注意力算子，相较 FlashAttention 可实现 2~5 倍加速，在语言、图像与视频模型上均保···

kitchenai 开源 免费 仅开源

让AI团队像做菜一样，轻松管理模型和提示词，快速上线应用。

kitchenai 是一个面向 AI 团队的开源 LLMOps 工具，旨在简化大语言模型应用的开发、部署和运维流程···

trench 开源 免费 仅开源

一条命令部署，快速搭建产品分析平台

Trench 是一个开源的轻量级分析基础设施，旨在帮助开发者快速构建产品分析、LLM RAG、可观测性平台···

digiRunner-Open-Source 开源 免费 仅开源

快速搭建微服务API网关，统一入口、安全可控。

digiRunner 是一个基于 Java 开发的轻量级 API 网关，专为微服务架构设计。它解决了微服务场景下 A···

ollama-intel-arc 开源 免费 仅开源

让 Intel Arc 显卡跑起 Ollama 和 Stable Diffusion，一键部署 AI 全栈。

这是一个基于 Docker 的部署方案，旨在让用户充分利用 Intel Arc 系列 GPU 运行 Ollama、Stable Di···

reader 开源 免费 仅开源

本地部署，给任意网页加个前缀，秒变LLM可读文本

reader 是 Jina AI Reader 的本地化改编版本，通过 Docker 实现一键部署，将任意网页 URL 转换为大···

pangolin 开源 免费+付费 可打开

自托管零信任网关，安全访问内网应用和 AI 服务

Pangolin 是一个现代化的网络与安全平台，用 TypeScript 编写，目标是把反向代理、身份认证和零信任···

VoAPI 开源 可打开

统一接入多家AI大模型，一个API搞定分发、计费与监控。

VoAPI 是一个基于 Go 语言构建的下一代 AI 大模型 API 聚合与分发系统，定位为高颜值、高性能、高扩···