基础设施

Awesome-DiT-Inference 开源

一站式索引扩散模型推理加速论文与代码，快速提升生成效率

Awesome-DiT-Inference 是一个精选的扩散模型推理加速论文与代码资源列表，专注于 DiT（Diffusion ···

csghub 开源

自建 Hugging Face，私有化掌控模型全生命周期

CSGHub 是由 OpenCSG 团队开发的开源大模型管理平台，旨在提供类似 Hugging Face 的功能，但支持私···

csghub-server 开源

自建大模型资产平台，统一管模型数据推理微调

CSGHub Server 是 CSGHub 平台的后端服务，用 Go 语言编写，面向大模型与数据资产的统一管理。它解···

hub 开源

集中登记管理模型版本与元数据，打通实验到生产

Model Registry 是一个用 Go 编写的开源模型注册中心，为机器学习模型开发者提供统一的模型索引与管···

llm-graph-builder 开源

上传文档，一键用LLM自动生成知识图谱

llm-graph-builder 是一个利用大语言模型从非结构化数据自动构建 Neo4j 知识图谱的开源工具。它解决···

sglang 开源

让大模型服务更快更省，复杂提示词场景吞吐翻倍

SGLang 是一个高性能的大语言模型和多模态模型服务框架，旨在解决 LLM 推理服务中吞吐量低、延迟高···

aiops-modules 开源

把 AWS 上 AI 基建打包成积木，快速搭建和运维

AIOps modules 是一套面向 AWS 云上机器学习、基础模型、大语言模型及生成式 AI 开发运维的可复用 ···

openeverest 开源

在 K8s 上一键自动创建和管理多种数据库

OpenEverest 是一个面向 Kubernetes 的开源数据库自动化供给与管理平台，用 TypeScript 编写。它要···

rtp-llm 开源

阿里出品的高性能推理引擎，让LLM部署更快更省

RTP-LLM是阿里巴巴开源的高性能大语言模型推理引擎，旨在为多样化的应用场景提供低延迟、高吞吐的推···

openinference 开源

给 AI 应用装上标准监控，一键追踪 LLM 调用全链路

OpenInference 是一个面向 AI 应用的可观测性开源项目，基于 OpenTelemetry 标准构建。它解决的是 ···

eternal 开源

一个平台跑通多种 AI 模型，快速搭建图像生成工作流

Eternal 是一个实验性的机器学习模型与工作流平台，旨在为 AI 图像生成提供统一、灵活的推理服务。···

chromem-go 开源

Go 项目内嵌向量数据库，零依赖实现本地语义搜索

chromem-go 是一个为 Go 语言设计的嵌入式向量数据库，提供与 Chroma 类似的接口，且零第三方依赖。···

llama-cpp-docker 开源

一条命令在 Docker 里跑起 GPU 加速的本地大模型

llama-cpp-docker 是一个将 llama.cpp 封装进 Docker 容器的开源项目，旨在简化 llama.cpp 的部署和···

gpt_server 开源

一套框架搞定多模态 AI 模型的生产级部署与调用

gpt_server 是一个面向生产环境的 AI 服务部署框架，旨在统一集成多种主流模型能力，包括大语言模型···

PowerInfer 开源

让普通电脑也能飞快跑大模型，省显存不减速

PowerInfer 是一个面向本地部署的高速大语言模型推理引擎，专注于在消费级硬件上实现接近服务器级的···

mixtral-offloading 开源

让 8x7B 大模型在低配电脑上跑起来

mixtral-offloading 是一个让 Mixtral-8x7B 大模型在消费级硬件（如 Colab 免费版或个人桌面）上运···

space 开源

一个框架管好机器学习全流程的存储，告别散乱文件

space 是一个面向机器学习全生命周期的统一存储框架，旨在解决 ML 项目中数据、模型、实验产物等分···

NpgsqlRest 开源

数据库直接变 REST API，省掉写后端代码

NpgsqlRest 是一个用 C# 编写的开源工具，能把 PostgreSQL 数据库直接变成生产可用的独立 REST API···

GPTRouter 开源

一个接口管所有大模型，自动切换保稳定，响应提速不宕机。

GPTRouter 是一个面向多 LLM 与图像模型统一管理的开源基础设施，用 TypeScript 编写。它解决了企业···

sd4j 开源

Java 里跑 Stable Diffusion，无需 Python，直接集成图像生成

sd4j 是一个基于 Java 和 ONNX Runtime 的 Stable Diffusion 推理管线实现，旨在为 Java 开发者提供···

glide 开源

一个网关搞定所有AI模型，快速上线生产应用

glide 是一个用 Go 编写的开源模型网关，旨在为生产级生成式 AI 应用提供极速、简单的接入层。它解···

distributed-llama 开源

把家里闲置设备组集群，跑大模型更快更省

distributed-llama 是一个用 C++ 实现的开源项目，旨在将家庭中的多台设备（如电脑、树莓派等）组成···

tokencost 开源

输入模型和 token 数，秒估 400+ 大模型成本

tokencost 是一个轻量级的 Python 库，为 400 多个大语言模型提供统一的 token 价格估算。它解决了···

chatllm.cpp 开源

纯 C++ 本地跑大模型，开箱即聊不装 Python

chatllm.cpp 是一个用纯 C++ 实现的本地大语言模型推理引擎，目标是在个人电脑上直接运行多种开源模···