基础设施

restai 开源 可打开

一键将多种AI模型封装为API，可视化搭建AI服务

RESTai 是一个开源的 AI 即服务（AIaaS）平台，旨在将多种 AI 能力统一封装为 RESTful API，降低 A···

ctransformers 开源 免费 仅开源

在 Python 里直接跑 GGML 量化模型，本地推理又快又省资源。

ctransformers 是一个 Python 绑定库，它封装了基于 GGML 库的 C/C++ Transformer 模型实现，让 Py···

pixeltable 开源 可打开

像用数据库一样管理多模态 AI 数据，省去管道工程

Pixeltable 是一个面向 AI 数据应用的多模态数据后端，旨在统一管理图像、视频、文本等非结构化数据···

LLamaSharp 开源 免费 仅开源

在 .NET 里本地跑大模型，一行代码接入聊天

LLamaSharp 是一个面向 C#/.NET 开发者的本地大语言模型推理库，基于 llama.cpp 的高效 C++ 内核封···

awesome-agent-apis 开源 免费 仅开源

一站式查找660+AI代理API，按能力快速筛选集成

这是一个精选的AI代理API与工具目录，聚合了660多个由muapi托管的生成式媒体模型，以及社区提交的第···

RWKV-Runner 开源 免费 可打开

一键跑起 RWKV 模型，8MB 轻量工具，兼容 OpenAI API

RWKV-Runner 是一个专为 RWKV 大语言模型设计的管理与启动工具，体积仅 8MB，提供全自动化操作，并···

stable-diffusion-nodejs 开源 免费 仅开源

在 Node.js 里直接跑 Stable Diffusion，GPU 加速出图

stable-diffusion-nodejs 是一个基于 Node.js 的 Stable Diffusion 运行时，利用修改后的 ONNX Run···

mlc-llm 开源 免费 仅开源

一次编译，跑遍所有设备，让大模型部署又快又省

mlc-llm 是一个通用的 LLM 部署引擎，核心思路是用机器学习编译技术将大模型高效地部署到各种硬件后···

OpenGPT 开源 仅API

免费封装 GPT API，几行代码接入智能对话

OpenGPT 是一个提供 GPT-3.5/4 实用且易用 API 的开源项目，旨在让开发者快速将自然语言处理能力集···

binary-mlc-llm-libs 开源 免费 仅开源

免编译下载即用，本地跑大模型省去环境折腾

binary-mlc-llm-libs 是 MLC-LLM 项目的预编译二进制库集合，主要解决大语言模型在本地设备上部署时···

langkit 开源 免费 仅开源

给大模型装上监控仪表盘，实时洞察输出质量与安全风险

LangKit 是一个面向大语言模型（LLM）的开源监控工具包，专注于从提示词和模型响应中提取信号，以保···

llm.report 开源 免费 仅开源

记录 OpenAI 调用日志，分析成本，优化提示词

llm.report 是一个开源的 OpenAI API 日志与分析平台，专门用于记录 ChatGPT API 请求、分析成本并···

Free-GPT4-WEB-API 开源 免费 仅API

自建免费AI网关，一次接入GPT、Gemini、Claude等模型，无限调用。

这是一个自托管的免费AI模型API聚合服务，旨在为用户提供无需付费即可访问多种主流大语言模型（如G···

GPT_API_free 开源 免费+付费 可打开

免费拿GPT/DeepSeek等大模型API，每日刷新额度，开发测试不花钱

GPT_API_free 是一个提供免费大模型 API 的聚合平台，主要解决开发者调用 GPT、DeepSeek、Claude、···

pezzo 开源 已失效

一站式管理提示词，让 LLM 应用开发、发布和监控更高效。

Pezzo 是一个开源、开发者优先的 LLMOps 平台，旨在简化大语言模型应用的整个生命周期管理。它解决···

one-api 开源 可打开

一个网关管所有大模型API，统一密钥、分发、监控

one-api 是一个开源的 LLM API 管理与分发系统，旨在解决多个大模型 API 密钥分散、调用方式不统一···

sqlite-ml 开源 免费 仅开源

在 SQLite 里跑机器学习，用 SQL 直接训练和预测

sqlite-ml 是一个将机器学习能力直接嵌入 SQLite 的扩展库，让你能用 SQL 语句完成模型训练和预测，···

mlops-best-practices 开源 免费 仅开源

照着做，把机器学习模型稳稳送上线

这是一个关于机器学习运维（MLOps）最佳实践的实用指南，旨在帮助数据科学家和工程师构建端到端的机···

OpenLLM 开源 可打开

开源大模型一键变成标准接口，部署上线像点外卖

让任意开源 LLM（如 DeepSeek、Llama）一键以 OpenAI 兼容的 API 形式部署到云端的工具。它屏蔽了模···

edit-anything-app 开源 不稳定

用无服务器+Stable Diffusion快速搭建AI图像编辑应用

edit-anything-app 是一个基于 fal-serverless 和 Next.js 构建的图像编辑演示应用，展示了如何利用···

pgvecto.rs 开源 免费 仅开源

在 Postgres 里实现高性能向量搜索，无需迁移数据库。

pgvecto.rs 是一个基于 Rust 开发的 Postgres 向量检索扩展，旨在为 Postgres 数据库提供可扩展、低···

generative-ai-sagemaker-cdk-demo 开源 免费 仅开源

用CDK一键部署SageMaker上的生成式AI模型，省去手动配置。

这是一个基于AWS CDK的示例项目，旨在帮助开发者通过基础设施即代码的方式，快速部署Amazon SageMa···

web-llm 开源 免费 已失效

在浏览器里直接跑大模型，无需服务器，隐私又省钱

web-llm 是一个高性能的浏览器端大语言模型推理引擎，基于 WebGPU 和 TVM 技术，让 LLM 无需服务器···

zzz-api 开源 可打开

免海外账号和银行卡，直接调用 GPT/Claude/Gemini 等大模型 API

zzz-api 是一个面向企业和开发者的 OpenAI、Claude、Gemini 等大模型 API 代理服务，旨在解决国内用···