基础设施

LLamaSharp 开源

在 .NET 里本地跑大模型，一行代码接入聊天

LLamaSharp 是一个面向 C#/.NET 开发者的本地大语言模型推理库，基于 llama.cpp 的高效 C++ 内核封···

RWKV-Runner 开源

一键跑起 RWKV 模型，8MB 轻量工具，兼容 OpenAI API

RWKV-Runner 是一个专为 RWKV 大语言模型设计的管理与启动工具，体积仅 8MB，提供全自动化操作，并···

stable-diffusion-nodejs 开源

在 Node.js 里直接跑 Stable Diffusion，GPU 加速出图

stable-diffusion-nodejs 是一个基于 Node.js 的 Stable Diffusion 运行时，利用修改后的 ONNX Run···

mlc-llm 开源

一次编译，跑遍所有设备，让大模型部署又快又省

mlc-llm 是一个通用的 LLM 部署引擎，核心思路是用机器学习编译技术将大模型高效地部署到各种硬件后···

OpenGPT 开源

免费封装 GPT API，几行代码接入智能对话

OpenGPT 是一个提供 GPT-3.5/4 实用且易用 API 的开源项目，旨在让开发者快速将自然语言处理能力集···

langkit 开源

给大模型装上监控仪表盘，实时洞察输出质量与安全风险

LangKit 是一个面向大语言模型（LLM）的开源监控工具包，专注于从提示词和模型响应中提取信号，以保···

llm.report 开源

记录 OpenAI 调用日志，分析成本，优化提示词

llm.report 是一个开源的 OpenAI API 日志与分析平台，专门用于记录 ChatGPT API 请求、分析成本并···

Free-GPT4-WEB-API 开源

自建免费AI网关，一次接入GPT、Gemini、Claude等模型，无限调用。

这是一个自托管的免费AI模型API聚合服务，旨在为用户提供无需付费即可访问多种主流大语言模型（如G···

GPT_API_free 开源

免费拿GPT/DeepSeek等大模型API，每日刷新额度，开发测试不花钱

GPT_API_free 是一个提供免费大模型 API 的聚合平台，主要解决开发者调用 GPT、DeepSeek、Claude、···

pezzo 开源

一站式管理提示词，让 LLM 应用开发、发布和监控更高效。

Pezzo 是一个开源、开发者优先的 LLMOps 平台，旨在简化大语言模型应用的整个生命周期管理。它解决···

one-api 开源

一个网关管所有大模型API，统一密钥、分发、监控

one-api 是一个开源的 LLM API 管理与分发系统，旨在解决多个大模型 API 密钥分散、调用方式不统一···

sqlite-ml 开源

在 SQLite 里跑机器学习，用 SQL 直接训练和预测

sqlite-ml 是一个将机器学习能力直接嵌入 SQLite 的扩展库，让你能用 SQL 语句完成模型训练和预测，···

mlops-best-practices 开源

照着做，把机器学习模型稳稳送上线

这是一个关于机器学习运维（MLOps）最佳实践的实用指南，旨在帮助数据科学家和工程师构建端到端的机···

OpenLLM 开源

开源大模型一键变成标准接口，部署上线像点外卖

让任意开源 LLM（如 DeepSeek、Llama）一键以 OpenAI 兼容的 API 形式部署到云端的工具。它屏蔽了模···

edit-anything-app 开源

用无服务器+Stable Diffusion快速搭建AI图像编辑应用

edit-anything-app 是一个基于 fal-serverless 和 Next.js 构建的图像编辑演示应用，展示了如何利用···

pgvecto.rs 开源

在 Postgres 里实现高性能向量搜索，无需迁移数据库。

pgvecto.rs 是一个基于 Rust 开发的 Postgres 向量检索扩展，旨在为 Postgres 数据库提供可扩展、低···

generative-ai-sagemaker-cdk-demo 开源

用CDK一键部署SageMaker上的生成式AI模型，省去手动配置。

这是一个基于AWS CDK的示例项目，旨在帮助开发者通过基础设施即代码的方式，快速部署Amazon SageMa···

web-llm 开源

在浏览器里直接跑大模型，无需服务器，隐私又省钱

web-llm 是一个高性能的浏览器端大语言模型推理引擎，基于 WebGPU 和 TVM 技术，让 LLM 无需服务器···

zzz-api 开源

免海外账号和银行卡，直接调用 GPT/Claude/Gemini 等大模型 API

zzz-api 是一个面向企业和开发者的 OpenAI、Claude、Gemini 等大模型 API 代理服务，旨在解决国内用···

llm-inference 开源

快速搭建基于开源大模型的聊天机器人，省去推理部署烦恼

llm-inference 是一个基于 Python 的 LLM 推理 API 和聊天机器人项目，旨在为开发者提供便捷的大语···

examples 开源

无服务器 GPU 部署示例集，快速上手 Cerebrium

Cerebrium 是一个无服务器 GPU 平台，这个名为 examples 的仓库是它的官方示例集合，包含多种机器学···

qgate-sln-mlrun 开源

一键检查 MLRun 项目质量，交付更放心

qgate-sln-mlrun 是一个面向 MLRun、Iguazio 和 Nuclio 的质量门禁解决方案，用于检查 MLRun 实现和···

seait 开源

一键安装主流 AI 绘画工具，告别命令行折腾

SEAIT 是一个面向 AI 爱好者的图形化安装工具，旨在解决 AI 项目（如 Stable Diffusion WebUI、Com···

awesome-llmops 开源

一站式收藏 LLMOps 工具，快速上手大模型运维

awesome-llmops 是一个专注于 LLMOps（大语言模型运维）领域的精选资源列表，旨在系统整理和展示与···