基础设施

rwkv.cpp 开源

在 CPU 上跑 RWKV 大模型，量化省内存，推理快人一步

rwkv.cpp 是一个专注于在 CPU 上高效运行 RWKV 语言模型的推理引擎，支持 INT4、INT5、INT8 和 FP1···

motorhead 开源

给 LLM 装上持久记忆，几行代码接入对话历史与语义检索。

Motorhead 是一个专为大型语言模型（LLM）设计的记忆与信息检索服务器，用 Rust 编写。它解决了 LL···

How-to-use-tesla-p40 开源

手把手教你用P40显卡跑Stable Diffusion，省钱又高效

这是一份关于如何使用特斯拉P40 GPU进行AI推理（特别是Stable Diffusion图像生成）的实用手册。它解···

GPTCache 开源

给 LLM 加个语义缓存，重复问题秒回，省钱又提速

GPTCache 是一个面向大语言模型（LLM）的语义缓存工具，核心解决 LLM 推理成本高、响应慢的问题。它···

ai-beehive 开源

一个 Java 网关，统一接入 ChatGPT、Midjourney 等 AI 服务，省去多平台对接麻烦。

ai-beehive 是一个基于 Java 和 Spring Boot 3 构建的多 AI 平台聚合网关，旨在统一接入 ChatGPT、···

selfhostedAI 开源

一键自托管 AI，小白也能轻松跑起图像生成

selfhostedAI 是一个提供一键自托管 AI 应用的集合项目，主要聚焦于图像生成领域，同时涵盖 LLM（如···

LocalAI 开源

旧电脑不装显卡，也能本地跑起 AI 全家桶

开源的本地 AI 推理引擎，无需 GPU 即可在任何硬件上运行 LLM、视觉、语音、图像与视频等多种模型，···

node-replicate 开源

在 Node.js 里几行代码调用 Replicate 上的 AI 模型

node-replicate 是 Replicate 平台的 Node.js 客户端库，用于通过 JavaScript/TypeScript 调用 Rep···

ComfyUI-Docker 开源

一条命令拉起 ComfyUI，告别环境配置地狱

ComfyUI-Docker 是一个为 ComfyUI 提供容器化部署方案的开源项目，通过 Dockerfile 和启动脚本帮助···

log10 开源

记录 LLM 调用数据，调试评估，提升应用准确率。

log10 是一个 Python 客户端库，旨在提升 LLM 应用的准确性。它通过提供数据记录、调试、评估和反馈···

myriade 开源

用对话搞定数据仓库，探索、清洗、治理一步到位

myriade 是一个 AI 原生的数据平台，旨在将数据仓库的探索、清洗、转换和治理整合到一个统一界面中···

simpleAI 开源

一键自托管 AI API，无缝替换 OpenAI 接口

simpleAI 是一个自托管 AI API 网关，旨在让用户轻松托管自己的 AI 接口，并暴露替代模型，同时兼容···

deployKF 开源

在 Kubernetes 上一条命令搭建完整机器学习平台

deployKF 是一个构建在 Kubernetes 之上的机器学习平台工具，旨在将 Kubeflow、Airflow 和 MLflow ···

llama.cpp 开源

用普通电脑本地跑大模型，量化后 CPU 也能流畅推理

llama.cpp 是一个用 C/C++ 编写的大语言模型推理引擎，底层依赖自研张量库 ggml，目标是在消费级硬···

LLaMA_MPS 开源

在 Mac 上让 LLaMA 跑得更快，用上 GPU 加速推理。

LLaMA_MPS 是一个面向 Apple Silicon 芯片的 LLaMA 模型推理加速项目，主要解决在 Mac 上运行 LLaM···

tiktoken-go 开源

在 Go 中轻松切分 token，精准控制 OpenAI 费用

tiktoken-go 是 OpenAI 官方 tiktoken 库的 Go 语言移植版本，用于将文本切分为 token 序列。它解决···

TiktokenSharp 开源

C# 项目轻松算 Token，精准控成本

TiktokenSharp 是一个基于 C# 实现的 OpenAI 模型 Token 计算库，支持 o200k_base、cl100k_base、p···

E2B 开源

让 AI 智能体安全地运行代码、操作文件，直接对接真实世界工具

E2B 是一个开源的、安全的代码解释环境，专为企业级 AI 智能体设计。它解决了 AI 模型在生成代码或···

ChatGPTAPIFree 开源

免费代理 ChatGPT API，零成本集成智能对话

ChatGPTAPIFree 是一个开源的代理 API 项目，旨在让开发者免费访问 OpenAI 的 ChatGPT API。它通过···

mega 开源

为 AI 代理打造的 Git 兼容 monorepo 引擎，让大规模协作更高效。

Mega 是一个开源的、与 Google Piper 兼容的 monorepo 引擎，专为 AI Agent 时代设计。它解决了传统···

SD-to-CoreML 开源

一键转换 Stable Diffusion 模型为 Apple Core ML 格式，轻松部署到 iPhone 和 Mac。

SD-to-CoreML 是一个用 Shell 脚本编写的工具，旨在将 Stable Diffusion 1.5 模型转换为 Apple 的 ···

cortex 开源

统一管理多模型和智能体工具，一键切换后端AI服务

cortex 是一个开源的 AI 后端控制平面，专注于模型路由、智能体工具和私有工作空间管理。它提供 Op···

Docker-Warp-Socks 开源

一键启动 WARP SOCKS5 代理，让容器内应用秒连 CloudFlare 网络。

Docker-Warp-Socks 是一个基于 Docker 的轻量级工具，用于连接 CloudFlare WARP 服务，并将 WARP 的···

ai-system 开源

一站式管理 AI 模型全生命周期，告别工具碎片化

ai-system 是一个面向 LLM/MLOps/LLMOps 领域的基础设施项目，旨在为机器学习与大型语言模型的全生···