基础设施

llm-inference 开源 免费 仅开源

快速搭建基于开源大模型的聊天机器人，省去推理部署烦恼

llm-inference 是一个基于 Python 的 LLM 推理 API 和聊天机器人项目，旨在为开发者提供便捷的大语···

examples 开源 仅开源

无服务器 GPU 部署示例集，快速上手 Cerebrium

Cerebrium 是一个无服务器 GPU 平台，这个名为 examples 的仓库是它的官方示例集合，包含多种机器学···

qgate-sln-mlrun 开源 免费 仅开源

一键检查 MLRun 项目质量，交付更放心

qgate-sln-mlrun 是一个面向 MLRun、Iguazio 和 Nuclio 的质量门禁解决方案，用于检查 MLRun 实现和···

kronotop 开源 可打开

用 FoundationDB 撑起的强一致文档库，还带 AI 记忆检索

Kronotop 是一个基于 FoundationDB 构建的分布式事务型文档数据库，用 Java 编写。它把 Foundation···

seait 开源 免费 仅开源

一键安装主流 AI 绘画工具，告别命令行折腾

SEAIT 是一个面向 AI 爱好者的图形化安装工具，旨在解决 AI 项目（如 Stable Diffusion WebUI、Com···

awesome-llmops 开源 免费 仅开源

一站式收藏 LLMOps 工具，快速上手大模型运维

awesome-llmops 是一个专注于 LLMOps（大语言模型运维）领域的精选资源列表，旨在系统整理和展示与···

rwkv.cpp 开源 免费 仅开源

在 CPU 上跑 RWKV 大模型，量化省内存，推理快人一步

rwkv.cpp 是一个专注于在 CPU 上高效运行 RWKV 语言模型的推理引擎，支持 INT4、INT5、INT8 和 FP1···

motorhead 开源 免费 仅开源

给 LLM 装上持久记忆，几行代码接入对话历史与语义检索。

Motorhead 是一个专为大型语言模型（LLM）设计的记忆与信息检索服务器，用 Rust 编写。它解决了 LL···

How-to-use-tesla-p40 开源 免费 仅开源

手把手教你用P40显卡跑Stable Diffusion，省钱又高效

这是一份关于如何使用特斯拉P40 GPU进行AI推理（特别是Stable Diffusion图像生成）的实用手册。它解···

GPTCache 开源 免费 仅开源

给 LLM 加个语义缓存，重复问题秒回，省钱又提速

GPTCache 是一个面向大语言模型（LLM）的语义缓存工具，核心解决 LLM 推理成本高、响应慢的问题。它···

ai-beehive 开源 已失效

一个 Java 网关，统一接入 ChatGPT、Midjourney 等 AI 服务，省去多平台对接麻烦。

ai-beehive 是一个基于 Java 和 Spring Boot 3 构建的多 AI 平台聚合网关，旨在统一接入 ChatGPT、···

selfhostedAI 开源 免费 仅开源

一键自托管 AI，小白也能轻松跑起图像生成

selfhostedAI 是一个提供一键自托管 AI 应用的集合项目，主要聚焦于图像生成领域，同时涵盖 LLM（如···

gpt-tokenizer 开源 免费 可打开

纯 JS 实现 GPT 分词，前端也能算 token

gpt-tokenizer 是 OpenAI tiktoken 的 TypeScript 移植实现，为 GPT 系列模型提供纯 JavaScript 的···

LocalAI 开源 免费 可打开

旧电脑不装显卡，也能本地跑起 AI 全家桶

开源的本地 AI 推理引擎，无需 GPU 即可在任何硬件上运行 LLM、视觉、语音、图像与视频等多种模型，···

node-replicate 开源 仅开源

在 Node.js 里几行代码调用 Replicate 上的 AI 模型

node-replicate 是 Replicate 平台的 Node.js 客户端库，用于通过 JavaScript/TypeScript 调用 Rep···

ComfyUI-Docker 开源 免费 仅开源

一条命令拉起 ComfyUI，告别环境配置地狱

ComfyUI-Docker 是一个为 ComfyUI 提供容器化部署方案的开源项目，通过 Dockerfile 和启动脚本帮助···

log10 开源 可打开

记录 LLM 调用数据，调试评估，提升应用准确率。

log10 是一个 Python 客户端库，旨在提升 LLM 应用的准确性。它通过提供数据记录、调试、评估和反馈···

myriade 开源 可打开

用对话搞定数据仓库，探索、清洗、治理一步到位

myriade 是一个 AI 原生的数据平台，旨在将数据仓库的探索、清洗、转换和治理整合到一个统一界面中···

simpleAI 开源 免费 仅开源

一键自托管 AI API，无缝替换 OpenAI 接口

simpleAI 是一个自托管 AI API 网关，旨在让用户轻松托管自己的 AI 接口，并暴露替代模型，同时兼容···

deployKF 开源 免费 仅开源

在 Kubernetes 上一条命令搭建完整机器学习平台

deployKF 是一个构建在 Kubernetes 之上的机器学习平台工具，旨在将 Kubeflow、Airflow 和 MLflow ···

llama.cpp 开源 免费 仅开源

用普通电脑本地跑大模型，量化后 CPU 也能流畅推理

llama.cpp 是一个用 C/C++ 编写的大语言模型推理引擎，底层依赖自研张量库 ggml，目标是在消费级硬···

LLaMA_MPS 开源 免费 仅开源

在 Mac 上让 LLaMA 跑得更快，用上 GPU 加速推理。

LLaMA_MPS 是一个面向 Apple Silicon 芯片的 LLaMA 模型推理加速项目，主要解决在 Mac 上运行 LLaM···

tiktoken-go 开源 免费 仅开源

在 Go 中轻松切分 token，精准控制 OpenAI 费用

tiktoken-go 是 OpenAI 官方 tiktoken 库的 Go 语言移植版本，用于将文本切分为 token 序列。它解决···

TiktokenSharp 开源 免费 仅开源

C# 项目轻松算 Token，精准控成本

TiktokenSharp 是一个基于 C# 实现的 OpenAI 模型 Token 计算库，支持 o200k_base、cl100k_base、p···