基础设施

infinity 开源 免费 仅开源

让嵌入和重排序模型跑得更快更省，轻松支撑大规模检索

Infinity 是一个面向文本嵌入、重排序模型、CLIP、CLAP 和 ColPali 的高吞吐量、低延迟推理引擎。它···

worker-comfyui 开源 仅开源

把 ComfyUI 变成按需付费的 API，秒级调用图像生成

worker-comfyui 是一个将 ComfyUI 部署为 Runpod 无服务器 API 的解决方案。它解决了在 Runpod 平台···

fastembed-go 开源 免费 仅开源

在 Go 里直接生成文本向量，告别 Python 依赖

fastembed-go 是 Qdrant 官方 fastembed 的 Go 语言实现，旨在为 Go 开发者提供轻量、高效的文本嵌···

Awesome-MLOPS 开源 免费 仅开源

一份清单，从零入门到精通 MLOps 全流程。

Awesome-MLOPS 是一个精选资源列表，旨在帮助初学者从零开始系统掌握 MLOps（机器学习运维）。它聚···

fastembed-rs 开源 免费 仅开源

本地生成向量嵌入，让 Rust 应用秒变语义搜索高手

fastembed-rs 是一个用 Rust 实现的向量嵌入与重排序库，旨在本地生成高质量的文本嵌入向量，并支持···

vllm_backend 开源 免费 仅开源

把 vLLM 推理能力快速封装成可调用的服务接口

vllm_backend 是一个面向大语言模型推理服务的后端封装项目，基于 Python 开发，核心目标是把 vLLM···

mistral-inference 开源 免费 仅开源

官方推理库，快速跑通 Mistral 模型，省心部署

mistral-inference 是 Mistral AI 官方发布的推理库，用于加载和运行 Mistral 系列大语言模型。它解···

openllmetry-js 开源 免费 仅开源

给 LLM 应用装上监控，自动追踪调用、成本与性能

OpenLLMetry-js 是 OpenLLMetry 的 TypeScript 姊妹项目，基于 OpenTelemetry 为 LLM 应用提供开源···

biniou 开源 免费 仅开源

一个界面搞定 30+ 生成式 AI，本地部署即开即用

biniou 是一个自托管的 WebUI，聚合了 30 多种生成式 AI 模型，覆盖图像、音频、视频等模态。它基于···

llm-on-openshift 开源 免费 仅开源

在 OpenShift 上快速跑通 LLM 部署与推理

llm-on-openshift 是 Red Hat 官方维护的开源资源集合，面向在 OpenShift 上运行大语言模型（LLM）···

qwen.cpp 开源 免费 仅开源

用 C++ 在本地快速跑通 Qwen 模型，无需 Python 环境。

qwen.cpp 是一个基于 C++ 实现的 Qwen 大语言模型推理库，旨在将通义千问模型高效地运行在本地设备···

Fooocus-API 开源 免费 仅开源

把 Fooocus 变成 API，一行代码接入图像生成

Fooocus-API 是一个为 Fooocus 图像生成工具打造的 FastAPI 接口服务。Fooocus 本身是一个基于 SDX···

fastembed-js 开源 免费 仅开源

在 Node.js 里直接生成文本向量，告别 Python 服务

fastembed-js 是一个面向 Node.js 环境的向量嵌入生成库，基于 TypeScript 编写，旨在为 JavaScrip···

free-one-api 开源 免费 可打开

一个 API 搞定所有免费逆向 AI，OpenAI 格式无缝切换

free-one-api 是一个基于 Python 的 LLM 逆向工程接口管理工具，它通过标准 OpenAI API 格式，统一···

NeumAI 开源 免费 仅开源

一键搭建大规模向量数据管道，让 RAG 应用数据实时同步

NeumAI 是一个专注于大规模向量嵌入创建与同步的框架，旨在解决 RAG（检索增强生成）应用中数据管道···

gpu_poor 开源 免费 仅开源

选显卡前先算一算：模型显存和速度一键估算

gpu_poor 是一个用于估算任意大语言模型（LLM）在本地部署时所需 GPU 显存和推理速度（token/s）的···

tensorrtllm_backend 开源 免费 仅开源

在 Triton 上直接跑 TensorRT-LLM，省去自研推理服务

TensorRT-LLM Backend 是 NVIDIA 为 Triton 推理服务器提供的后端插件，让用户可以在 Triton 上直接···

MLOps 开源 免费 仅开源

让机器学习模型从实验室平滑走向生产，告别手工部署烦恼。

MLOps 是一个面向机器学习生产环境的开源项目，旨在解决模型从实验到部署之间的工程化鸿沟。它提供···

llamafile 开源 免费 仅开源

一个文件搞定大模型，下载即用，跨平台运行

llamafile 是一个将大语言模型（LLM）及其运行环境打包成单个可执行文件的开源工具，旨在解决 AI 模···

one-hub 开源 可打开

统一管理多模型API密钥，轻松分发，自带统计看板

one-hub 是一个基于 Go 语言开发的 OpenAI 接口管理与分发系统，源自 songquanpeng/one-api 并进行···

wingman 开源 免费 仅开源

统一管理所有 AI 模型调用，让推理服务更稳更可控

wingman 是一个面向大规模 AI 推理场景的 Inference Hub，用 Go 语言实现。它旨在解决 AI 模型部署···

ai-dial-core 开源 可打开

一套 API 统一接入多家大模型，业务代码不用改

AI DIAL Core 是 AI DIAL 平台的核心组件，用 Java 编写，提供统一的 API 层来接入多种聊天补全模型···

openllmetry 开源 免费 仅开源

用 OpenTelemetry 一键监控你的大模型应用，看清每次调用和成本。

openllmetry 是一个面向 GenAI 和 LLM 应用的开源可观测性平台，基于 OpenTelemetry 标准构建。它解···

ShannonBase 开源 免费 仅开源

像用 MySQL 一样，为 AI 应用构建统一数据底座

ShannonBase 是一个面向 AI 时代的下一代数据库基础设施，定位为“AI 时代的 MySQL”。它旨在解决传···